近年，孤食（一人で食事をすること）を行う頻度が高い人が増加してきている．孤食によって，コミュニケーションの機会・能力の減少や，ストレスの蓄積，栄養の偏りや早食いによる食習慣の悪化等の問題が引き起こされることが懸念されている．
本研究では「食事中の会話によるコミュニケーション」に着目し，立体的アニメーションが組み込まれた2Dキャラクターに，音声対話ができるAIを付与することで，ユーザに対するリアクションや音声会話を可能とし，仮想的な共食環境を提供するシステムを提案する．ユーザの発話を音声認識して，AIを用いた文章生成や音声合成と組み合わせることで，食事中にキャラクターと会話によるコミュニケーションを取ることができる．さらに会話を挟むことで飲食のタイミング，つまり食事ペースを調整する効果を狙う．また，食品を口に運ぶ動作等ユーザの食事中の行動を検出することで，早食いに対する警告など，ユーザの行動に応じたフィードバックを行う．アニメーションでリアクションを返すことで，ユーザに親近感を持たせたり，キャラクターに話しかけやすくする効果を狙う．これらの機能を用いて仮想的な共食環境を提供することで，孤食により引き起こされる問題の軽減を目指す．
システム使用時の様子・システム構成
発表
- 鈴木 瑞帆, 塚田 浩二. 音声対話可能な2Dキャラクターを用いた仮想共食システム. インタラクション2024論文集, インタラクティブ発表, 1B-55, pp.420-424. 2024-3. [PDF]
Skype や Zoom 等に代表されるビデオ会議システムは会議等のフォーマルな場面だけでなくオンライン飲み会などのカジュアルな場面で利用されることが増えてきた．こうした場面では，細かな感情や雰囲気が共有されにくいことや，自宅から参加できることから辞め時が難しいといった様々な課題が生じてくる．本研究では，オンライン飲み会のような複数人でのカジュアルな遠隔コミュニケーション場面において，ユーザが任意のタイミングで効果音を挿入でき，かつ遠隔コミュニケーション中の発話数によってBGM のテンポを自動で調整するシステムを作成した．さらに，評価実験を通してシステムによるコミュニケーションへの影響やユーザの主観的な印象などを調査した．
システムの画面例（ユーザ操作アプリ・音提示アプリ）と、想定する利用場面
発表
- 綿谷 晃太郎, 塚田 浩二. 動的な音を用いたカジュアルな遠隔コミュニケーションの拡張. 情報処理学会研究報告, 2023-HCI-202(16), pp.1-8. 2023-3. [PDF]
- 綿谷 晃太郎, 塚田 浩二. 音を用いたカジュアルな遠隔コミュニケーションの拡張. 情報処理学会研究報告, 2021-HCI-194(11), pp.1-7, 2021-08. [PDF] 【HCI研究会 2021年度学生奨励賞】
運転者と同乗者の間で「あの赤い屋根の家」や「そこの交差点」といった車外の場所を用いたコミュニケーションが行われる．こうしたコミュニケーションは，場所をポインティングする指示者と指示された場所を追随する追随者の間で行う．指示者は注目している目標物の座標（注目点）を言葉や目線，ジェスチャーなどを通して追随者に認識してもらう必要がある．本研究ではこの指示者と追随者の一連の動作をポインティング共有と呼ぶ．一方でポインティング共有は，指示者がポインティングを行っている注目点を追随者にうまく伝えることができず，失敗してしまうことがある．本研究では，目線と声に注目して運転者と同乗者のポインティング共有を支援するシステムを提案する．
システム構成図（左）と車内カメラの配置（右）．
今回の実装では，内側カメラの映像とOpenFaceを用いて視線情報を取得し，指示者の注目点を推定した．
推定した注目点は，外側カメラの映像に重ねて表示する．本動画の赤枠が，推定した注目点を表す．
発表
- 野間 直生，塚田 浩二．車内コミュニケーションを支援する視点共有手法の提案．インタラクション2022論文集，インタラクティブ発表（プレミアム発表），6D-02，pp.751-754，2022-03-02．[PDF]
