若手研究者産学連携
プラットフォーム
このシーズに
問い合わせる
ビジョン
既存のデータグローブの問題点として、バルキーで分厚く、長時間使用した時の違和感が大きいことや、精度が低く単価が高いことなどが挙げられる。原因は掌の圧力検知と手の動き検知が異なる種類のセンサを利用しているため、データグローブの構造が複雑になることにたどり着けられる。それに対して、私は柔らかくて安価な圧力センサだけで、掌の圧力分布と手の動きを両方とも検知できるデータグローブを提案し、Pressure to Posture Glove (P2P-Glove)と名付けた。本研究により、新しい触覚と動作を同時に検知するP2P-Gloveの方式を確立させ、様々な仕事の現場や日常生活への応用の広がりに貢献することが期待できる。
人間の手が500万年以上の進化を経て、現在の様になった。人類の思考、文明、言語の発展に、手は大きいな役割を果たしたことが認知科学、人類学、言語学など多岐にわたって科学研究に相互検証されている。私たちの生活をしていく中で、手を動かすという事は当たり前であり生活するのに欠かせない体の一部である。私は、人間の手の動きや触覚を簡単に測る道具を提案する。この道具は薄くて高感度的なセンサを普通の手袋に縫い付けて、手の動きと触覚、場所を選ばず、計測することができる。
開発中の応用例として、手袋による桃を掴む時の圧力分布の可視化、手袋による手話単語認識や、インソールによる日常動作認識に利用されている。
近い将来、安価的かつ量産可能な柔らかい圧力センサを大量に身まわりの物事に装備し、日常服類、ロボットや、自動車なども、人間が皮膚より、触覚や動きを感知できるようになると思われる。
最終用途例
APPLICATION
触覚を言葉で、はっきり伝えるのは難題であるし、従来の触覚の計測手段も大きく制限されている。例えば、桃の収穫の熟練者と初心者において、桃の掴み方が異なることがわかっているが、正しい掴み方を初心者へはっきり伝えることが難しい。
そこで、P2P-GloveとUI (User Interface)を利用して、手部の触覚をリアルタイムに計測し、可視化表示する。まず、熟練者から、P2P-Gloveを利用したデータ収集、および収集したデータに回帰分析を加えて、正しい掴み方を学習する。次に、初心者が桃を掴むと、UIに即時に、熟練者と初心者のそれぞれの掴み方の差を表示する。従って、初心者は熟練者の正しい掴み方を確認して、自分で訂正することができる。
今年の夏に、桃の収穫訓練システムを福島市の果樹園で、検証実験を行う予定である。
APPLICATION
ろうあ者の人数は日本だけでおよそ３６万人、世界におよそ7000万人もいる膨大な団体になる。ろうあ者が社会の中で孤立せずに地域に根ざした形で生活していくためには、健常者との間にある情報・コミュニケーションの格差を是正することが急務になる。P2P-Gloveを活用し、ろうあ者団体が健常者と自由にコミュニケーションが取れることである。
ろうあ者がグローブを付けて、手話すると、P2P-Gloveから手部のスケルトンデータを抽出し、事前訓練したAI認識モデルに入力し、手話をテキスト文に自動認識して、健常者のスマホに表示する。
2022年度春までに、RGBカメラを利用し、手話単語20個に対して、認識率が40%(top-1), 80%(top-5)になって、これから、認識率を向上するために、CGやGANなどの手法で、訓練データの自動再生手法の探索を進めている。年内に、P2P-Gloveを利用した手話認識率を調査する予定である。
APPLICATION
心肺停止、もしくは呼吸停止の際に、心肺蘇生法などの処置を速やかに実施することにより、死亡率、社会復帰率の改善につながる。そして、心肺蘇生法の実施者は関連する手順・手技を正確に施すことが必要である。書物、医師会・救急隊員・自動車学校等による講習会を利用し、その技術に熟練することは可能だが、調査によると、応急手当指導員講習修了者でも、胸骨圧迫の深さ、および速さは「やや不良」、「不良」の評価が多かった。講習未修了者は、意識の確認が「やや不良」が多く、胸骨圧迫の位置および体勢、気道の確保などの技術レベルも低かった。そのため、市民、救急隊員に関わらず心肺蘇生法の技術を維持するため、定期的な再教育が求められる。新型コロナ感染症の流行に伴い、多くの講習会は開催できない状況にあるが、安価なものでも訓練できる人形があれば、自らの努力で訓練は可能である。しかし、機材があっても専門家が不在ではその効果評価が困難である。
P2P-Gloveと画像処理技術を合わせて、動作・視線の全自動解析可能なシステムを開発している。、P2P-Gloveで、胸骨圧迫の圧力・速さを計測し、さらに、中断の有無、体勢の安定性計測のため、アクションカメラでビデオを撮影。加えてアイトラッカー（視線計測システム）で、意識の確認・蘇生法の手順の正しさを確認する。
2022年度に、P2P-Gloveを利用した胸骨圧迫の圧力・速さを計測する精度を調査する。2023年度に、アイトラッカーと連動し、動作・視線の自動解析システムを試作する予定である。
強み
テクノロジー
人工知能で、圧力データから、指関節の角度を推定し、手の動きを感知する。
導電糸を布に縫い付けて、センサを形成するため、手袋の感触や装着感覚などは、普通の手袋と相違がほぼなく、気楽に利用できる。
共同研究仮説
２種類の圧力センサの量産技術を開発している。一つはミシンでセンサパタンを普通の布に縫い付けて、圧力センサを形成する技術、もう一つはグラスファイバーに銅ペーストをスクリーン印刷することで、圧力センサを形成する技術になる。ロボットや椅子などに、人工皮膚をつける。
動作感知のために、RGBカメラ、慣性センサ、曲げセンサ、圧力センサや、電波センサなどの多種多様なセンサから、アプリケーションの要求に参照し、適切なセンサの組み合わせを選び、カルマンフィルターや機械学習などを利用したセンサデータ融合手法を提案する。
イベント動画
研究者
経歴
2008年10月-2010年3月 会津大学 コンピュータ理工学部 特任講師
2010年4月-2012年3月 同 特任研究員
2012年4月-2019年3月 同 准教授
2019年4月-現在 同 上級准教授
研究開発歴
2008 ~ 2013 MagicRing：指輪型コントローラーの開発
2016 ~ 2017 歯磨き残しを防ぐスマート歯ブラシの開発と商品化
2016 ~ 2017 手書き文字を数字化するスマートペンの共同開発
2014 ~ 現在 WonderSense:汎用無線動作認識センサノードの開発
2017 ~ 現在 P2P-Glove:圧力分布と手の動きを同時に記録できるグローブの開発
受賞歴
1) 国際会議優秀論文賞FC2018、GCCE17、など多数
2) 2022年JKA財団 研究開発助成金
【研究紹介ページ：https://u-aizu.ac.jp/~leijing/】
){kind=link}
){kind=link}
){kind=link}