EMSmile: EMSを用いた自然な笑顔支援システム

本研究では,自然に見える笑顔「デュシェンヌスマイル」の表出を支援するシステムを提案する.一般的に,作り笑顔では口角だけが上がるのに対し,デュシェンヌスマイルでは,口角と頬が同時に挙上することに着目した.表情の変化を画像認識(OpenFace) を用いて定量的に判定しつつ,電気筋肉刺激(EMS)を用いて頬の筋肉を駆動するシステムを構築する.応用例として,普段の笑顔/システムで作り出した笑顔がデュシェンヌスマイルにどの程度近いかを判定する事例や,デュシェンヌスマイルの表出を苦手とするユーザを支援するために,口角の挙上を検出したらEMS で頬の筋肉を駆動するトレーニング手法等の構築を目指す.

表情の変化を「作り笑顔」「自然な笑顔」「それ以外」に認識するシステム例

発表

  • 島田 麻飛, 塚田 浩二. EMSmile: EMS を用いた自然な笑顔支援システム. 情報処理学会 インタラクション2025論文集, インタラクティブ発表, 1B32, pp.364-366. 2025-3. [PDF]

複数の歩行軌跡に基づくGPSアートを用いた歩行促進アプリの提案

ウォーキングやランニングなどの歩行活動は,健康維持やメンタルヘルスの向上に効果があるが,多忙などを理由に運動時間を確保できない人が多い.従来の歩行促進手法では,運動のためにまとまった時間が必要であることが課題となっていた.そこで本研究では,GPS アートを活用した新しい歩行促進手法を提案する.提案するシステムは,ユーザが歩行時に記録した軌跡を組み合わせて作品を制作・閲覧できる機能を備えており,楽しみながら日常生活の中で自然に歩行活動を促進することを目指している.

発表

  • 尾本 悦基, 塚田 浩二. 複数の歩行軌跡に基づくGPSアートを用いた歩行促進アプリの提案. 日本ソフトウェア科学会 WISS2024 予稿集, デモ発表 3-B12. 2024-12. [PDF]

SlimeMolder:粘菌ファブリケーションのための自動培養システム

本研究では,粘菌をデジタルファブリケーションの系に組み込むための自動培養システムを提案する.粘菌は環境や刺激に応じて,広がり方が異なる特性を持ち,HCI 研究や芸術表現にとって可能性のあるマテリアルである.一方,粘菌の培養を日常生活環境で行うことは難しい.湿度や温度を一定に保ったり,餌を適度に与えるだけでなく,培地を定期的に交換する必要がある.そこで,本提案では粘菌の自動培養装置「SlimeMolder」を開発し,多彩なインタラクションや表現分野で活用可能な,粘菌ファブリケーション基盤を構築する.

発表・採択

  • 迫田 海斗, 田井 普, 塚田 浩二. SlimeMolder : 粘菌を観察しながら育む粘菌ファブリケーションシステムの提案. 日本ソフトウェア科学会 WISS2024 予稿集, デモ発表 1-B04. 2024-12. [PDF]
  • 迫田 海斗.粘菌ファブリケーションのための粘菌の自動培養システム.独立行政法人情報処理推進機構(IPA)2024年度未踏IT人材発掘・育成事業 採択.https://www.ipa.go.jp/jinzai/mitou/it/2024/koubokekka.html (最終アクセス:2024年6月21日)
  • 迫田 海斗, 塚田 浩二. SlimeMolder:粘菌ファブリケーションのための自動培養システム. 情報処理学会 インタラクション2024論文集, インタラクティブ発表, 3B-35, pp.1220-1222. 2024-3. [PDF]
  • 迫田 海斗.粘菌の自動培養を目的とした「粘菌無限ランニングマシーン」.一般社団法人新雪 2023年度「北海道ITクリエータ発掘・育成事業(新雪プログラム)」 採択.https://shinsetsu.hokkaido.jp/koubo/2023/result (最終アクセス:2023年10月19日)

アナウンス技術の練習支援システムに向けた基礎検討

本研究では,音声情報処理技術を用いたアナウンスの練習支援システムを提案する.アナウンスとは一般的にテレビやラジオなどでアナウンサーが情報を分かりやすく伝えるための技術である.本研究では,高校や大学で行われる競技アナウンスの採点基準を参考にして,アナウンス技術の評価指標を考察する.さらに,アナウンス初心者/経験者の音声データを収集し,評価指標に基づいて実装したシステムを用いて,アナウンス技術の定量的な分析を試みる.こうした分析を通して,アナウンス技術の練習支援システムに向けた基礎検討を行う.

システム構成図

発表

  • 山田 真那子, 塚田 浩二. アナウンス技術の練習支援システムに向けた基礎検討. 情報処理学会研究報告, 2024-HCI-208(34), pp.1-8. 2024-6. [PDF]

大規模言語モデルを用いた日本語ラップ創作支援システム

近年ラップ(HIPHOP)は世界的に人気のある音楽ジャンルであり,J-POP など別ジャンルにおいても,歌詞の一部にラップや押韻表現を取り入れる例が増えている.ラップ歌詞(Verse)の作成は,意味的な表現に加えて,押韻表現(Rhyme)を組み合わせる必要があるため,難易度が高い.
そこで,本研究では Verse 生成の初級者を対象として,任意のキーワードを入力として,大規模言語モデルを介して,意味表現・押韻表現を備えた Verse を生成する創作支援システムを提案する.キーワードの入力やシステムの提示する歌詞候補からの選択を対話的に行うことで,歌詞のテーマやユーザの意思を反映した一貫性のある Verse の生成を目指す.

左:通常の歌詞作成と Rhyme 表現を用いた歌詞作成手順の比較.
右:システム画面の一例.

発表

  • 廣 晴輔, 塚田 浩二. 大規模言語モデルを用いた日本語ラップ創作支援システム. インタラクション2024論文集, インタラクティブ発表, 1B-54, pp.416-419. 2024-3. [PDF]
先頭に戻る