Skype や Zoom 等に代表されるビデオ会議システムは会議等のフォーマルな場面だけでなくオンライン飲み会などのカジュアルな場面で利用されることが増えてきた．こうした場面では，細かな感情や雰囲気が共有されにくいことや，自宅から参加できることから辞め時が難しいといった様々な課題が生じてくる．本研究では，オンライン飲み会のような複数人でのカジュアルな遠隔コミュニケーション場面において，ユーザが任意のタイミングで効果音を挿入でき，かつ遠隔コミュニケーション中の発話数によってBGM のテンポを自動で調整するシステムを作成した．さらに，評価実験を通してシステムによるコミュニケーションへの影響やユーザの主観的な印象などを調査した．
システムの画面例（ユーザ操作アプリ・音提示アプリ）と、想定する利用場面
発表
- 綿谷 晃太郎, 塚田 浩二. 動的な音を用いたカジュアルな遠隔コミュニケーションの拡張. 情報処理学会研究報告, 2023-HCI-202(16), pp.1-8. 2023-3. [PDF]
- 綿谷 晃太郎, 塚田 浩二. 音を用いたカジュアルな遠隔コミュニケーションの拡張. 情報処理学会研究報告, 2021-HCI-194(11), pp.1-7, 2021-08. [PDF] 【HCI研究会 2021年度学生奨励賞】
スマートウォッチなどの普及により，個人のライフログを残すことが容易になった．しかし，個人のライフログとして発話情報を利用する試みは少ない．そこで本研究は，話者が気軽に日常を振り返ることを目的に， PC本体から流れる音声（PC音声）とPCを利用するユーザの音声（ユーザ発話）を同時に記録する．さらに，両者をWordCloud等を用いて可視化することで，PCの利用場面と発話内容を同時に可視化する振り返りシステムを提案する．
提案の概要
発表
- 友広 純々野, 塚田 浩二. ワードクラウドを用いたPC利用時の発話場面の分析と応用. 情報処理学会研究報告, 2023-HCI-202(20), pp.1-7. 2023-3. [PDF]
- 友広 純々野, 塚田 浩二. WordCloudを用いたPC利用時の発話可視化手法の提案. WISS2022予稿集, 1-A04. 2022-12. 【ユニティ・テクノロジーズ・ジャパン賞】 [PDF]
運転者と同乗者の間で「あの赤い屋根の家」や「そこの交差点」といった車外の場所を用いたコミュニケーションが行われる．こうしたコミュニケーションは，場所をポインティングする指示者と指示された場所を追随する追随者の間で行う．指示者は注目している目標物の座標（注目点）を言葉や目線，ジェスチャーなどを通して追随者に認識してもらう必要がある．本研究ではこの指示者と追随者の一連の動作をポインティング共有と呼ぶ．一方でポインティング共有は，指示者がポインティングを行っている注目点を追随者にうまく伝えることができず，失敗してしまうことがある．本研究では，目線と声に注目して運転者と同乗者のポインティング共有を支援するシステムを提案する．
システム構成図（左）と車内カメラの配置（右）．
今回の実装では，内側カメラの映像とOpenFaceを用いて視線情報を取得し，指示者の注目点を推定した．
推定した注目点は，外側カメラの映像に重ねて表示する．本動画の赤枠が，推定した注目点を表す．
発表
- 野間 直生，塚田 浩二．車内コミュニケーションを支援する視点共有手法の提案．インタラクション2022論文集，インタラクティブ発表（プレミアム発表），6D-02，pp.751-754，2022-03-02．[PDF]
人々は他者との意思疎通を目的としない発話，いわゆる独り言を日常の中で発している．本研究ではこの発話を私的発話と呼ぶ．私的発話の中でも発話者が意識的に発するとされるセルフトークがスポーツ界において運動パフォーマンスを向上させる手段として注目されている．意識的な私的発話がある一方で，無意識的に発せられている私的発話も存在し，どちらも発話内容が記憶に残りにくいという特徴がある．
本研究は，これらの私的発話を，2 種類のマイク（単一指向性/全指向性）を用いて記録し，音声認識ライブラリを用いて文字起こしされたテキストデータと，音声データを発話者のライフログとして振り返ることができるシステムを提案する．本システムにより，発話時間や発話内容から，話者本人のその日の出来事を想起させたり，隠れたアイデアの発掘ができると考える．
私的発話識別の流れ．個人の発話と周辺音を含む発話を 2 種のマイクで記録し，音声認識ライブラリを用いて発話をテキストデータに変換し，認識文字数を比較する．
記録デバイスの構成（左）と，マイクの装着位置（右）
発表
- 友広 純々野, 塚田 浩二. 日常生活における私的発話識別法の提案. 情報処理学会研究報告, 2021-HCI-194(6), pp.1-6, 2021-08. [PDF]
近年，オンラインショッピングは市場を拡大し続けている．オンラインショッピングでの商品の比較には，レビュースコアやレビューコメントが重要な役割を持つ．本研究では，複数の商品の性質を比較する手法として，WordCloudに着目した．まず，各商品のレビューコメント群を形態素解析して頻出語を抽出する．次に，各語が出現するコメントに対応するスコアを累計し，各語毎のスコアを算出する．こうして得られた頻出語に対して，各語毎のスコアで彩色することで，スコア情報を重畳表現できるWordCloudを作成する．
WordCloud作成例（左）とスコア～色の対応付け（右）．今回の実装では，スコアの平均値に応じて文字色の濃淡を変化させて（高スコアは濃く，低スコアは薄く）表示する．
発表
- 大野 湧，塚田 浩二．スコア重畳型のWordCloudを用いたレビュー提示手法．インタラクション2021論文集，インタラクティブ発表，3B10，pp.554-556，2021-03．[PDF]
