近年ラップ(HIPHOP)は世界的に人気のある音楽ジャンルであり,J-POP など別ジャンルにおいても,歌詞の一部にラップや押韻表現を取り入れる例が増えている.ラップ歌詞(Verse)の作成は,意味的な表現に加えて,押韻表現(Rhyme)を組み合わせる必要があるため,難易度が高い. そこで,本研究では Verse 生成の初級者を対象として,任意のキーワードを入力として,大規模言語モデルを介して,意味表現・押韻表現を備えた Verse を生成する創作支援システムを提案する.キーワードの入力やシステムの提示する歌詞候補からの選択を対話的に行うことで,歌詞のテーマやユーザの意思を反映した一貫性のある Verse の生成を目指す.
左:通常の歌詞作成と Rhyme 表現を用いた歌詞作成手順の比較. 右:システム画面の一例.
VIDEO
発表
廣 晴輔, 塚田 浩二. 大規模言語モデルを用いた日本語ラップ創作支援システム. インタラクション2024論文集, インタラクティブ発表, 1B-54, pp.416-419. 2024-3. [PDF]
日本の様々な地域で古くから民俗芸能が伝承されているが,昨今の情勢により伝承の形が変化し始めている.道場に赴いて練習をする機会が減り,代わりにインターネットにアップロードされている動画を参考にするなどして,自宅で練習する機会が増えた.しかし,動画を参考にして練習する方法には,練習者が踊りを間違って解釈してしまいかねないという課題がある.そこで本研究では,岩手県北上市の「鬼剣舞(おにけんばい)」と呼ばれる芸能を対象に,鬼剣舞の特徴である「跳躍や屈伸」と「ザイを切る動作」に着目した練習支援システムを提案する.
跳躍や屈伸の支援(姿勢推定技術の使用)
練習者の踊りと練習に用いる動画内の踊りを比較し,2つの踊りの差異を練習者にフィードバックするシステムを開発した.ユーザと動画内の演者を赤と青の骨格で表し,並べて提示することで大まかな大まかな踊りの振り付けの差異を確認できる.また,赤と青の骨格を重畳表示し,ユーザに注意してもらいたい部分を黄色で示すことで,屈伸動作の比較に役立たせることを狙う.
VIDEO
ザイを切る動作の支援(6 軸慣性センサを使用)
首を大きく振り,頭部用の装束であるザイを素早くなびかせる動作を「ザイを切る」と呼ぶ.主に踊り手の判断で行われる動作で,動きやタイミングに明確な基準が存在していないため,練習が困難である.そこで,6 軸慣性センサを用いて踊り手の頭頂部と背面腰部の加速度・角速度を取得し,ザイを切る動作区間を自動抽出した上で,その特徴を動画と合わせて可視化することで,踊り手の練習支援を図るシステムを開発した.
動作の特徴をアニメーションやパラメータで可視化する
発表
近藤 勝伍, 塚田 浩二. 「ザイを切る」動作に着目した鬼剣舞の練習支援システムの試作. 情報処理学会研究報告, 2024-HCI-207(33), pp.1-8 . 2024-3. [PDF]
近藤勝伍, 塚田浩二. 「ザイを切る」動作に着目した鬼剣舞の練習支援システムの提案. インタラクション2024論文集, インタラクティブ発表, 3A-13, pp.1121-1126. 2024-3. [PDF]
近藤勝伍, 塚田浩二. 岩手の郷土芸能「鬼剣舞」の練習支援に関する研究. 第2回日本ダンス研究会.2022-11-26.
近藤 勝伍,塚田 浩二.鬼剣舞の練習を支援するシステムの提案.インタラクション2022論文集,インタラクティブ発表(プレミアム発表),4D-03,pp.522-525,2022-03-01.[PDF]
本研究では,車体にかかる荷重位置をリアルタイムに可視化するデバイスを製作する.このデバイスでは,荷重移動を検知するセンサ部と可視化するディスプレイ部で構成される.センサ部では加速度センサと角速度センサを用いて荷重移動を推定し,ディスプレイ部では水面のメタファで可視化を行う.ドライバーに荷重移動を分かりやすく伝達することで,運転技術の向上を目指す.
試作デバイスの外観と水面の可視化例.可視化手法は容器に入った水が揺れ動く様をモチーフにして,真上から見たときの波紋と横から見たときの水面が波打つ様子を,LEDの点灯アニメーションで表現している.
試作デバイスを車に設置して使用している例
発表
老沼 響,塚田 浩二. カーレースの技術向上を支援する荷重位置可視化デバイス. インタラクション2023論文集, インタラクティブ発表, 2A-10, pp.494-497. 2023-3. [PDF]
本研究では、粘菌(真正粘菌モジホコリ)を使用した画材を用いて人と共に作品を生み出す新たな表現手法を提案する。 粘菌には、刺激によって広がり方が変わるという性質と着色できるという性質がある。そこで、着色した粘菌を画材とした「粘菌絵の具」 を作成し、誘因インク・忌避インク・テクスチャ等の刺激を活用することで、人の意図と粘菌のランダム性を組み合わせた表現を目指す。
発表・採択
迫田 海斗,塚田 浩二. 人と粘菌が共創する表現手法. 情報処理学会 インタラクション2023論文集, インタラクティブ発表, 3B-34, pp.914-916. 2023-3. [PDF]