2021年度公募 seeds-1956 - 【北海道・東北】 柔らかい圧力センサだけで、掌の圧力分布と手の動きを両方とも検知できるデータグローブ(Pressure to Posture Glove 略称P2P-Glove)を開発する
  • 機械工学
  • 人間工学
  • 電気電子工学
  • その他工学
  • 医療・ヘルスケア
  • センサ・計測・解析
  • 次世代通信 IoT
  • AI活用
  • ウェアラブルデバイス
  • 人手不足解消
  • コスト削減
VISIONビジョン

このシーズに
問い合わせる

VISION

ビジョン

手の触覚と動きを同時に感知できるデータグローブを開発したい

独自に開発した安価で、量産可能、かつ柔軟な圧力センサを装備したデータグローブを提案した。そのデータグローブは掌の圧力を検知できるだけでなく、圧力分布から、手の形を推定することもできるため、簡単な構成と多様な機能を備えたデータグローブの開発が可能になる。

既存のデータグローブの問題点として、バルキーで分厚く、長時間使用した時の違和感が大きいことや、精度が低く単価が高いことなどが挙げられる。原因は掌の圧力検知と手の動き検知が異なる種類のセンサを利用しているため、データグローブの構造が複雑になることにたどり着けられる。それに対して、私は柔らかくて安価な圧力センサだけで、掌の圧力分布と手の動きを両方とも検知できるデータグローブを提案し、Pressure to Posture Glove (P2P-Glove)と名付けた。本研究により、新しい触覚と動作を同時に検知するP2P-Gloveの方式を確立させ、様々な仕事の現場や日常生活への応用の広がりに貢献することが期待できる。

手の道具としての機能、道具を使う機能、探る機能、伝える機能、および支える機能など、多種多様な手の機能を定量分析や認識することにより、日常生活や仕事現場の様々な場面に変革をもたらすようになる。

人間の手が500万年以上の進化を経て、現在の様になった。人類の思考、文明、言語の発展に、手は大きいな役割を果たしたことが認知科学、人類学、言語学など多岐にわたって科学研究に相互検証されている。私たちの生活をしていく中で、手を動かすという事は当たり前であり生活するのに欠かせない体の一部である。私は、人間の手の動きや触覚を簡単に測る道具を提案する。この道具は薄くて高感度的なセンサを普通の手袋に縫い付けて、手の動きと触覚、場所を選ばず、計測することができる。
開発中の応用例として、手袋による桃を掴む時の圧力分布の可視化、手袋による手話単語認識や、インソールによる日常動作認識に利用されている。
近い将来、安価的かつ量産可能な柔らかい圧力センサを大量に身まわりの物事に装備し、日常服類、ロボットや、自動車なども、人間が皮膚より、触覚や動きを感知できるようになると思われる。

USE CASE

最終用途例

P2P-Gloveが桃収穫、手話認識、医療訓練などへの分野への
応用開発等を進めている。

USE CASE 01掌の圧力分布を可視化する機能を果樹園の桃の収穫訓練への応用

APPLICATION

APPLICATION

P2P-GloveとUIを利用して、掌の触覚をリアルタイムに計測し、可視化表示する

触覚を言葉で、はっきり伝えるのは難題であるし、従来の触覚の計測手段も大きく制限されている。例えば、桃の収穫の熟練者と初心者において、桃の掴み方が異なることがわかっているが、正しい掴み方を初心者へはっきり伝えることが難しい。
そこで、P2P-GloveとUI (User Interface)を利用して、手部の触覚をリアルタイムに計測し、可視化表示する。まず、熟練者から、P2P-Gloveを利用したデータ収集、および収集したデータに回帰分析を加えて、正しい掴み方を学習する。次に、初心者が桃を掴むと、UIに即時に、熟練者と初心者のそれぞれの掴み方の差を表示する。従って、初心者は熟練者の正しい掴み方を確認して、自分で訂正することができる。
今年の夏に、桃の収穫訓練システムを福島市の果樹園で、検証実験を行う予定である。

USE CASE 02圧力分布から、手の動きを推定する機能を手話単語認識への応用

APPLICATION

APPLICATION

P2P-Gloveを利用し、ろうあ者と健常者のコミュニケーション補助システムも開発している。

ろうあ者の人数は日本だけでおよそ36万人、世界におよそ7000万人もいる膨大な団体になる。ろうあ者が社会の中で孤立せずに地域に根ざした形で生活していくためには、健常者との間にある情報・コミュニケーションの格差を是正することが急務になる。P2P-Gloveを活用し、ろうあ者団体が健常者と自由にコミュニケーションが取れることである。
ろうあ者がグローブを付けて、手話すると、P2P-Gloveから手部のスケルトンデータを抽出し、事前訓練したAI認識モデルに入力し、手話をテキスト文に自動認識して、健常者のスマホに表示する。
2022年度春までに、RGBカメラを利用し、手話単語20個に対して、認識率が40%(top-1), 80%(top-5)になって、これから、認識率を向上するために、CGやGANなどの手法で、訓練データの自動再生手法の探索を進めている。年内に、P2P-Gloveを利用した手話認識率を調査する予定である。

USE CASE 03手の触覚と動きの感知機能を救急処置の自主訓練の自動評価システムへの応用

APPLICATION

APPLICATION

P2P-Gloveと画像処理技術を合わせて、動作・視線の全自動解析可能なシステムを開発している。

心肺停止、もしくは呼吸停止の際に、心肺蘇生法などの処置を速やかに実施することにより、死亡率、社会復帰率の改善につながる。そして、心肺蘇生法の実施者は関連する手順・手技を正確に施すことが必要である。書物、医師会・救急隊員・自動車学校等による講習会を利用し、その技術に熟練することは可能だが、調査によると、応急手当指導員講習修了者でも、胸骨圧迫の深さ、および速さは「やや不良」、「不良」の評価が多かった。講習未修了者は、意識の確認が「やや不良」が多く、胸骨圧迫の位置および体勢、気道の確保などの技術レベルも低かった。そのため、市民、救急隊員に関わらず心肺蘇生法の技術を維持するため、定期的な再教育が求められる。新型コロナ感染症の流行に伴い、多くの講習会は開催できない状況にあるが、安価なものでも訓練できる人形があれば、自らの努力で訓練は可能である。しかし、機材があっても専門家が不在ではその効果評価が困難である。
P2P-Gloveと画像処理技術を合わせて、動作・視線の全自動解析可能なシステムを開発している。、P2P-Gloveで、胸骨圧迫の圧力・速さを計測し、さらに、中断の有無、体勢の安定性計測のため、アクションカメラでビデオを撮影。加えてアイトラッカー(視線計測システム)で、意識の確認・蘇生法の手順の正しさを確認する。
2022年度に、P2P-Gloveを利用した胸骨圧迫の圧力・速さを計測する精度を調査する。2023年度に、アイトラッカーと連動し、動作・視線の自動解析システムを試作する予定である。

STRENGTHS

強み

独自開発されたセンシング技術、データ処理技術、及び軽量化AI技術

STRENGTHS 01

布やグラスファイバーに触覚センサを形成する技術

布に導電糸を縫い付けた抵抗敏感センサ、及びグラスファイバーに銅ペーストを印刷した電気容量敏感センサ、2種類の触覚センサを開発している。

STRENGTHS 02

マルチモーダルセンサデータを最適化する技術

カルマンフィルターとCNNを利用した適応的なデータ融合技術を研究している。

STRENGTHS 03

軽量化AIモデルを訓練、実装の技術

量子化技術を利用したAIモデルを採用し、訓練パラメータの数を十分の一以下に減らし、さらに、FPGAに載せて、リアルタイム処理をエッジデバイスに実現できる。

TECHNOLOGY

テクノロジー

P2P-Gloveの特徴:触覚と動きを同時に検知可能、長時間快適に装着でき、
持ち歩き可能

TECHNOLOGY 01

圧力センサだけで、触覚と動きを同時に検知する

人工知能で、圧力データから、指関節の角度を推定し、手の動きを感知する。

TECHNOLOGY 02

P2P-Gloveの感触が普通の布と同じ、薄くて、日常長時間に装着可能

導電糸を布に縫い付けて、センサを形成するため、手袋の感触や装着感覚などは、普通の手袋と相違がほぼなく、気楽に利用できる。

PRESENTATION

共同研究仮説

柔らかいセンサ設計、多種類センサデータ融合、認識手法を活用した新製品を
共に作り上げてみたい

共同研究仮説01

柔らかい圧力センサ配列の作製技術で、圧力検知機能を「身」につける

2種類の圧力センサの量産技術を開発している。一つはミシンでセンサパタンを普通の布に縫い付けて、圧力センサを形成する技術、もう一つはグラスファイバーに銅ペーストをスクリーン印刷することで、圧力センサを形成する技術になる。ロボットや椅子などに、人工皮膚をつける。

共同研究仮説02

多種類センサデータを融合する技術で、アプリケーションに適切なセンシング方法を提案する

動作感知のために、RGBカメラ、慣性センサ、曲げセンサ、圧力センサや、電波センサなどの多種多様なセンサから、アプリケーションの要求に参照し、適切なセンサの組み合わせを選び、カルマンフィルターや機械学習などを利用したセンサデータ融合手法を提案する。

EVENT MOVIE

イベント動画

RESEARCHER

研究者

荊 雷(ケイ ライ) 会津大学コンピュータ理工学部
経歴

経歴
2008年10月-2010年3月 会津大学 コンピュータ理工学部 特任講師
2010年4月-2012年3月 同 特任研究員
2012年4月-2019年3月 同 准教授
2019年4月-現在 同 上級准教授
研究開発歴
2008 ~ 2013 MagicRing:指輪型コントローラーの開発
2016 ~ 2017 歯磨き残しを防ぐスマート歯ブラシの開発と商品化
2016 ~ 2017 手書き文字を数字化するスマートペンの共同開発
2014 ~ 現在 WonderSense:汎用無線動作認識センサノードの開発
2017 ~ 現在 P2P-Glove:圧力分布と手の動きを同時に記録できるグローブの開発
受賞歴
1) 国際会議優秀論文賞FC2018、GCCE17、など多数
2) 2022年JKA財団 研究開発助成金
【研究紹介ページ:https://u-aizu.ac.jp/~leijing/】

 

研究者からのメッセージ

器用な人間の手の動作を感知するため、革新的なセンサ設計、データ融合、認識手法を開発したい

将来の環境が人間の動きを理解でき、予測することもできるようになるので、もっと安心安全、効率的な仕事環境や快適な生活環境を構築可能になります。申請者は手の動きをうまく感知するため、さまざまなセンシング技術や認識手法などの試行錯誤の経験を蓄積してきました。