柔らかい圧力センサだけで、掌の圧力分布と手の動きを両方とも検知できるデータグローブ(Pressure to Posture Glove 略称P2P-Glove)を開発する

USE CASE 01掌の圧力分布を可視化する機能を果樹園の桃の収穫訓練への応用

APPLICATION

P2P-GloveとUIを利用して、掌の触覚をリアルタイムに計測し、可視化表示する

触覚を言葉で、はっきり伝えるのは難題であるし、従来の触覚の計測手段も大きく制限されている。例えば、桃の収穫の熟練者と初心者において、桃の掴み方が異なることがわかっているが、正しい掴み方を初心者へはっきり伝えることが難しい。
そこで、P2P-GloveとUI (User Interface)を利用して、手部の触覚をリアルタイムに計測し、可視化表示する。まず、熟練者から、P2P-Gloveを利用したデータ収集、および収集したデータに回帰分析を加えて、正しい掴み方を学習する。次に、初心者が桃を掴むと、UIに即時に、熟練者と初心者のそれぞれの掴み方の差を表示する。従って、初心者は熟練者の正しい掴み方を確認して、自分で訂正することができる。
今年の夏に、桃の収穫訓練システムを福島市の果樹園で、検証実験を行う予定である。

USE CASE 02圧力分布から、手の動きを推定する機能を手話単語認識への応用

APPLICATION

P2P-Gloveを利用し、ろうあ者と健常者のコミュニケーション補助システムも開発している。

ろうあ者の人数は日本だけでおよそ３６万人、世界におよそ7000万人もいる膨大な団体になる。ろうあ者が社会の中で孤立せずに地域に根ざした形で生活していくためには、健常者との間にある情報・コミュニケーションの格差を是正することが急務になる。P2P-Gloveを活用し、ろうあ者団体が健常者と自由にコミュニケーションが取れることである。
ろうあ者がグローブを付けて、手話すると、P2P-Gloveから手部のスケルトンデータを抽出し、事前訓練したAI認識モデルに入力し、手話をテキスト文に自動認識して、健常者のスマホに表示する。
2022年度春までに、RGBカメラを利用し、手話単語20個に対して、認識率が40%(top-1), 80%(top-5)になって、これから、認識率を向上するために、CGやGANなどの手法で、訓練データの自動再生手法の探索を進めている。年内に、P2P-Gloveを利用した手話認識率を調査する予定である。

USE CASE 03手の触覚と動きの感知機能を救急処置の自主訓練の自動評価システムへの応用

APPLICATION

P2P-Gloveと画像処理技術を合わせて、動作・視線の全自動解析可能なシステムを開発している。

心肺停止、もしくは呼吸停止の際に、心肺蘇生法などの処置を速やかに実施することにより、死亡率、社会復帰率の改善につながる。そして、心肺蘇生法の実施者は関連する手順・手技を正確に施すことが必要である。書物、医師会・救急隊員・自動車学校等による講習会を利用し、その技術に熟練することは可能だが、調査によると、応急手当指導員講習修了者でも、胸骨圧迫の深さ、および速さは「やや不良」、「不良」の評価が多かった。講習未修了者は、意識の確認が「やや不良」が多く、胸骨圧迫の位置および体勢、気道の確保などの技術レベルも低かった。そのため、市民、救急隊員に関わらず心肺蘇生法の技術を維持するため、定期的な再教育が求められる。新型コロナ感染症の流行に伴い、多くの講習会は開催できない状況にあるが、安価なものでも訓練できる人形があれば、自らの努力で訓練は可能である。しかし、機材があっても専門家が不在ではその効果評価が困難である。
P2P-Gloveと画像処理技術を合わせて、動作・視線の全自動解析可能なシステムを開発している。、P2P-Gloveで、胸骨圧迫の圧力・速さを計測し、さらに、中断の有無、体勢の安定性計測のため、アクションカメラでビデオを撮影。加えてアイトラッカー（視線計測システム）で、意識の確認・蘇生法の手順の正しさを確認する。
2022年度に、P2P-Gloveを利用した胸骨圧迫の圧力・速さを計測する精度を調査する。2023年度に、アイトラッカーと連動し、動作・視線の自動解析システムを試作する予定である。