大規模言語モデルを用いた日本語ラップ創作支援システム

近年ラップ(HIPHOP)は世界的に人気のある音楽ジャンルであり,J-POP など別ジャンルにおいても,歌詞の一部にラップや押韻表現を取り入れる例が増えている.ラップ歌詞(Verse)の作成は,意味的な表現に加えて,押韻表現(Rhyme)を組み合わせる必要があるため,難易度が高い.
そこで,本研究では Verse 生成の初級者を対象として,任意のキーワードを入力として,大規模言語モデルを介して,意味表現・押韻表現を備えた Verse を生成する創作支援システムを提案する.キーワードの入力やシステムの提示する歌詞候補からの選択を対話的に行うことで,歌詞のテーマやユーザの意思を反映した一貫性のある Verse の生成を目指す.

左:通常の歌詞作成と Rhyme 表現を用いた歌詞作成手順の比較.
右:システム画面の一例.

発表

  • 廣 晴輔, 塚田 浩二. 大規模言語モデルを用いた日本語ラップ創作支援システム. インタラクション2024論文集, インタラクティブ発表, 1B-54, pp.416-41. 2024-3. [PDF]

WordCloudを用いたPC利用時の発話可視化手法の提案

スマートウォッチなどの普及により,個人のライフログを残すことが容易になった.しかし,個人のライフログとして発話情報を利用する試みは少ない.そこで本研究は,話者が気軽に日常を振り返ることを目的に, PC本体から流れる音声(PC音声)とPCを利用するユーザの音声(ユーザ発話)を同時に記録する.さらに,両者をWordCloud等を用いて可視化することで,PCの利用場面と発話内容を同時に可視化する振り返りシステムを提案する.

提案の概要

発表

  • 友広 純々野, 塚田 浩二. ワードクラウドを用いたPC利用時の発話場面の分析と応用. 情報処理学会研究報告, 2023-HCI-202(20), pp.1-7. 2023-3. [PDF]
  • 友広 純々野, 塚田 浩二. WordCloudを用いたPC利用時の発話可視化手法の提案. WISS2022予稿集, 1-A04. 2022-12. 【ユニティ・テクノロジーズ・ジャパン賞】 [PDF]

車内コミュニケーションを支援する視点共有手法の提案

運転者と同乗者の間で「あの赤い屋根の家」や「そこの交差点」といった車外の場所を用いたコミュニケーションが行われる.こうしたコミュニケーションは,場所をポインティングする指示者と指示された場所を追随する追随者の間で行う.指示者は注目している目標物の座標(注目点)を言葉や目線,ジェスチャーなどを通して追随者に認識してもらう必要がある.本研究ではこの指示者と追随者の一連の動作をポインティング共有と呼ぶ.一方でポインティング共有は,指示者がポインティングを行っている注目点を追随者にうまく伝えることができず,失敗してしまうことがある.本研究では,目線と声に注目して運転者と同乗者のポインティング共有を支援するシステムを提案する.

システム構成図(左)と車内カメラの配置(右).
今回の実装では,内側カメラの映像とOpenFaceを用いて視線情報を取得し,指示者の注目点を推定した.
推定した注目点は,外側カメラの映像に重ねて表示する.本動画の赤枠が,推定した注目点を表す.

発表

  • 野間 直生,塚田 浩二.車内コミュニケーションを支援する視点共有手法の提案.インタラクション2022論文集,インタラクティブ発表(プレミアム発表),6D-02,pp.751-754,2022-03-02.[PDF]

日常生活における私的発話識別法の提案

人々は他者との意思疎通を目的としない発話,いわゆる独り言を日常の中で発している.本研究ではこの発話を私的発話と呼ぶ.私的発話の中でも発話者が意識的に発するとされるセルフトークがスポーツ界において運動パフォーマンスを向上させる手段として注目されている.意識的な私的発話がある一方で,無意識的に発せられている私的発話も存在し,どちらも発話内容が記憶に残りにくいという特徴がある.
本研究は,これらの私的発話を,2 種類のマイク(単一指向性/全指向性)を用いて記録し,音声認識ライブラリを用いて文字起こしされたテキストデータと,音声データを発話者のライフログとして振り返ることができるシステムを提案する.本システムにより,発話時間や発話内容から,話者本人のその日の出来事を想起させたり,隠れたアイデアの発掘ができると考える.

私的発話識別の流れ.個人の発話と周辺音を含む発話を 2 種のマイクで記録し,音声認識ライブラリを用いて発話をテキストデータに変換し,認識文字数を比較する.

記録デバイスの構成(左)と,マイクの装着位置(右)

発表

  • 友広 純々野, 塚田 浩二. 日常生活における私的発話識別法の提案. 情報処理学会研究報告, 2021-HCI-194(6), pp.1-6, 2021-08. [PDF]

先頭に戻る