近年，IoTが一般化している中で，ArduinoやRaspberry PiなどのIoTデバイスの動作や仕組みを他者と共有する場面が増えてきている．この際，ソースコードやテキストのみではデバイスの振る舞いを伝えることは困難であるため，オンラインでのチュートリアル動画が広く利用されている．また，IoTプログラミング学習では，動画の内容やソースコード，ユーザの手元にあるデバイスや回路と言った複数の要素を意識して学習していく必要がある．そのため，初学者は複数の要素のどれを意識すればいいのか・どこから見ればいいのか，分からずに困ってしまうということがある．また，チュートリアル動画は，従来のテキスト形式と比較すると，ソースコードとのリンクが弱く，動画上のデバイスの挙動の詳細理解が難しいという問題がある．

そこで本研究では，IoTデバイスのチュートリアル動画にスクリプト言語を埋め込むことで，実世界のIoTデバイスとWeb上でのソースコード提示を制御し，動画視聴者の学習を支援するシステムを提案・開発する．本システムでは，動画上のデバイスの動きに対応して，実世界のデバイス操作とソースコードの提示を行うことができる．たとえば，動画でデバイスのLEDが光ると，ユーザの手元のデバイスのLEDも光り，システム画面でLED点灯のソースコードが表示される（下図参照）．システムを用いることで，動画視聴者のデバイスに関する理解度の上昇やモチベーションの向上といった効果が期待できる．

発表

• 川谷 知寛，塚田 浩二，栗原 一貴．実世界と順序型コンテンツを連携したIoTプログラミング学習支援システム．登壇発表（ロング）．WISS2021予稿集，pp.43-49．2021-12．[PDF]【サイバーエージェント賞】
• 川谷 知寛，塚田 浩二，栗原 一貴．実世界と動画を連携したIoTプログラミング学習支援システム．インタラクション2021論文集，インタラクティブ発表（プレミアム発表），1A01，pp.103-108，2021-03．[PDF]

概要

FabLab では，ユーザが機材を用いて作品制作を行う際，簡単な「制作ノート」を記録することが多い．制作ノートには，作品名，制作時間，使用した機材とその設定，補足や注意点などのメモを記録することができる．こうした制作ノートは，紙ベースで情報量が少ないことが多く，スキャンしてデジタル化するだけでは検索性や再利用性に欠ける問題があった．
本研究では，スマートフォン／タブレット等に適した，制作ノートを手軽に記録／閲覧可能なシステムを提案する．全ての制作ノートはオンラインのデータベースに保存され，FabLab 内外で主催者の設定に応じて共有することができる．さらに，制作ノートを元にFabLab の活動状況を時間単位／機材単位等で視覚化し，活動の振り返りを支援するツールを提案する．これにより，データ化した制作ノートを活用して多彩な振り返りを可能にする．

謝辞

本研究を進めるにあたり，FabLabSENDAI – FLAT にご協力いただきました．ありがとうございました．

発表

• 及川 遼，塚田 浩二，FabLabの制作ノート振り返り支援システム，インタラクション2019論文集，インタラクティブ発表，2B-28，pp.568-571，2019．[PDF]

FabLab 等のファブコミュニティにおいては,ユーザは 3D プリンタ等を用いた作品だけでなく,それを他者にシェアするための手順書の作成も期待されている.しかし,こうした手順書作成の負担は大きいため,実現されないことも多い.また,画像やテキスト中心の従来の手順書では細かい手技等は表現できないため,ユーザに一定の知識や技術を暗に要求してしまう問題もある．

本研究では,スマートウォッチとスマートフォンを組み合わせることで,机上での組み立て操作を手軽に記録/編集して,動画マニュアルの作成を支援するシステムを提案する.まず,モノづくり中の組立動作を両腕に付けたスマートウォッチと机上に固定したスマートフォンで記録し,モーションデータ/動画を Web 上に保存する.次に,モーションデータを元に特徴的な動作に対して,動画に手動/自動でタグ付けを行うことで,自動的にチャプターや字幕が作成され,動画マニュアルのドラフトとして活用できる.

発表

• 会津 慎弥, 塚田 浩二, スマートウォッチを用いたモノづくりマニュアル作成支援システムの提案, 研究報告ヒューマンコンピュータインタラクション（HCI）, 2018-HCI-180(9), pp.1-7, Nov,2018. [PDF]
• Shinya Aizu and Koji Tsukada, Support System for Creating Manufacturing Manual using Smart Watches, In Proceedings of the 2018 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2018 ACM International Symposium on Wearable Computers (UbiComp ’18). pp. 323-326, Oct, 2018.[PDF]
• 会津 慎弥，塚田 浩二， スマートウォッチを用いたモノづくりの動作検出に対する試み，WISS2017論文集，1-A07 ，Dec，2017. [PDF]

近年，FabLab などのモノづくりコミュニティが主催する，デジタル工作機器を用いたモノづくりワークショップが頻繁に開催されている．こうしたワークショップでは，制作物だけでなく，その制作過程も重要な体験である．しかし，主催者／参加者ともに，自身の作業に追われてしまうため，制作過程を手軽に記録して振り返ることは難しい．

本研究では，こうしたモノづくりワークショップの振り返り動画の作成を支援するシステムを提案する．本システムは，「ハンズフリー／複数視点からの撮影機能」と「振り返りと一体化した動画編集機能」から構成され，動画編集機能には「ツール認識」「笑顔認識」「両手作業認識」等の画像認識を用いたシーン探索機能を備える．本論文では，システムの設計／多視点動画の分析／実装について述べる．さらに，評価実験を通してシーン探索機能の性能等を検証する．

本システムは，視点の異なる複数の動画を同時に再生でき，ユーザが興味の有る箇所／重要と思う箇所をタップするとその操作を記録する．ユーザが視聴を終えてCreateボタンを押すと，記録情報をもとに1本の振り返り動画を生成する．閲覧中にユーザが重要度を判断するために，「利用中の工具」「両手作業」「参加者の笑顔」等の情報（シーン探索機能）をタイムライン上に視覚化する．

発表

• 中江 一哉, 塚田 浩二, モノづくりワークショップの振り返り支援システム, 研究報告ヒューマンコンピュータインタラクション（HCI）, vol.2018-HCI-177, No.6, pp.1 – 8, 2018. [PDF]
• Kazuya Nakae and Koji Tsukada. 2018. Support System to Review Manufacturing Workshop through Multiple Videos. In Proceedings of the 23rd International Conference on Intelligent User Interfaces Companion (IUI’18). Article 4, 2 pages, 2018.[PDF]
• 中江 一哉，沖 真帆，塚田 浩二，モノづくりワークショップを対象とした振り返り動画作成支援システム，インタラクション2017論文集，インタラクティブ発表（プレミアム発表），pp.499-502, 2-509-34, Mar, 2017．[PDF]

デジタルカメラの小型化/低価格化は著しく,ほとんどの PC /スマートフォン/タブレットに搭載されるなど,コモディティ化が進んでいる.しかし,こうした IoT(Internet of Things)的応用においては,実世界での適切な固定方法,センサと連携した実世界の認識機能,クラウドと連携した適切な認識/フィードバック機能等が必要となり,カメラモジュール自体は安価になっても,それを用いた開発には多くの労力が必要であった.そこで本研究では,実世界の様々な箇所に手軽に固定し,様々なセンサと連動しつつ,クラウドと連携した柔軟な画像処理やフィードバックが行えるカメラベースのデバイスツールキット「AttachCam」を提案する.

対外発表

• 仲松 聡，沖 真帆，塚田 浩二，AttachCam: センサやクラウドと連携するカメラベースのデバイスツールキットの提案，インタラクション2016論文集，インタラクティブ発表，pp.345-349，Mar, 2016．[PDF]
• 仲松 聡，沖 真帆，塚田 浩二, AttacheCam: センサやクラウドと連携するカメラベースのデバイスツールキットの構築, ソフトウェア科学会 WISS2015論文集, pp.207-208, 3-R18, Dec,2015.　[PDF]