モノづくりワークショップを対象とした振り返り動画作成支援システム

近年,FabLab などのモノづくりコミュニティが主催する,デジタル工作機器を用いたモノづくりワークショップが頻繁に開催されている.こうしたワークショップでは,制作物だけでなく,その制作過程も重要な体験である.しかし,主催者/参加者ともに,自身の作業に追われてしまうため,制作過程を手軽に記録して振り返ることは難しい.

本研究では,こうしたモノづくりワークショップの振り返り動画の作成を支援するシステムを提案する.本システムは,「ハンズフリー/複数視点からの撮影機能」と「振り返りと一体化した動画編集機能」から構成され,動画編集機能には「ツール認識」「笑顔認識」「両手作業認識」等の画像認識を用いたシーン探索機能を備える.本論文では,システムの設計/多視点動画の分析/実装について述べる.さらに,評価実験を通してシーン探索機能の性能等を検証する.

本システムの動画編集画面(図上)とシーン探索機能(図下)の一例.

本システムは,視点の異なる複数の動画を同時に再生でき,ユーザが興味の有る箇所/重要と思う箇所をタップするとその操作を記録する.ユーザが視聴を終えてCreateボタンを押すと,記録情報をもとに1本の振り返り動画を生成する.閲覧中にユーザが重要度を判断するために,「利用中の工具」「両手作業」「参加者の笑顔」等の情報(シーン探索機能)をタイムライン上に視覚化する.

発表

  • 中江 一哉, 塚田 浩二, モノづくりワークショップの振り返り支援システム, 情報処理学会研究報告, vol.2018-HCI-177, No.6, pp.1 – 8, 2018. [PDF]
  • Kazuya Nakae and Koji Tsukada. 2018. Support System to Review Manufacturing Workshop through Multiple Videos. In Proceedings of the 23rd International Conference on Intelligent User Interfaces Companion (IUI’18). Article 4, 2 pages, 2018.[PDF]
  • 中江 一哉,沖 真帆,塚田 浩二,モノづくりワークショップを対象とした振り返り動画作成支援システム,インタラクション2017論文集,インタラクティブ発表(プレミアム発表),pp.499-502, 2-509-34, Mar, 2017.[PDF]

CookSum:動画レシピ作成支援システム

現在,料理のレシピは数多く存在するが,その多くは文字や画像で説明されたものである.しかし,素人が文字や画像のみのレシピを参考にしてその通りに料理を再現することは難しい.そこで,本研究では,調理の様子を確認可能な動画レシピに着目し,短時間で効率的に閲覧可能な「高速動画レシピ」の作成を支援するシステム「CookSum」を提案する.本システムは,まず調理している様子を撮影し,その中で特徴的なタスクを検出し字幕を生成する.検出方法には,二次元マーカーを利用した方法と音声認識を利用した方法の2 つを採用する.さらに,動画の字幕付きの部分とそうでない部分の再生速度を変換して動画を圧縮する.このように,動画を圧縮することで短時間でレシピの概要を効率的に理解することができる.

発表

  • 橋本遼太朗,塚田浩二,栗原一貴: CookSum:動画レシピ作成支援システム, ソフトウェア科学会WISS2014 論文集, pp. 131-132 (Nov, 2014) [PDF]

先頭に戻る