若手研究者産学連携
プラットフォーム
このシーズに
問い合わせる
ビジョン
本技術は、カメラやマイクなどの機器さえあれば取得可能な顔画像や音声を取得して、マルチモーダル感情推定を行うことで対話している相手の感情をリアルタイムで把握することができる技術です。従来の脳波計や心拍計等の特殊なバイタルセンサを必要とせず、一般的な録音・録画装置さえあれば使用できる点が売りとなります。感情の変化をもとにストレス検出する技術も開発できるため、オンラインで使うことのできるストレス検出サービスや、また、個人適応や環境適応させて安定的な精度が得られれば将来的には、介護などの現場で被介護者の気持ちをリアルタイムで把握できるコミュニケーションロボットなどにも応用できる技術です。
最終用途例
APPLICATION
感情を上手く言語化できずに起こる誤解を最小限にするため、表情や音声などからのマルチモーダル感情推定により、強く表現されているネガティブな表現を緩和するように提案するシステムなどに応用可能です。
APPLICATION
対話時に相手の感情が伝わりにくいときは不安に感じます。相手の感情を数値化して、スマートグラス等の機器を通して目の前に表示する機能を実現できれば、円滑なコミュニケーションが実現できます。
APPLICATION
ストレスの蓄積度合いを把握できる本技術をオンラインでの商談やオンラインでの相談などに使えば、相手のストレス度合いによって話し方や話題を変えてみるなど、業務効率化にも貢献できます。
強み
ストレスが多いと考えられる職場、例えば看護や介護の現場などで面談を行うことで、ストレス蓄積度合いを自らが知る、また、上司や同僚が知ることができれば、お互いを思いやりながら協働することにつながります。忙しくて相手の感情の細かな変化に気付き難い職場での活用を目指します。
テクノロジー
マルチモーダル感情推定では、大規模な学習済みモデルをもとに、効率的なモデル構築を行います。出来上がったモデルのサイズを小さくするために、不要な情報を削減するための特徴選択や、能動学習によって選別されたデータに基づく最適化されたマルチモーダルエンコーダを実装することで従来よりも省メモリな感情推定モデルを実現します。本技術を小型のロボットやカーナビなどの制約の多いエッジデバイス内で動作させることも視野に入れています。
共同研究仮説
共同研究先として、人と人、人と人工物のコミュニケーションをよりよくするためのサービスや製品開発をしている企業を想定しています。本研究で扱うような面談データの取得は倫理的制約もあって大量に集めることが難しい点が問題ですが、共同開発を行うことで、データ面でのバックアップを得られることを期待しています。
イベント動画
研究者
■徳島大学EDB
http://pub2.db.tokushima-u.ac.jp/ERD/person/174482/profile-ja.html
■経歴
2008年 徳島大学大学院工学研究科博士後期課程 修了
2009年～2015年 徳島大学大学院ソシオテクノサイエンス研究部 助教
2016年～2019年 徳島大学大学院社会産業理工学研究部 助教
2020年～ 徳島大学大学院社会産業理工学研究部 准教授
