実世界と動画を連携したIoTプログラミング学習支援

近年,IoTが一般化している中で,ArduinoやRaspberry PiなどのIoTデバイスの動作や仕組みを他者と共有する場面が増えてきている.この際,ソースコードやテキストのみではデバイスの振る舞いを伝えることは困難であるため,オンラインでのチュートリアル動画が広く利用されている.また,IoTプログラミング学習では,動画の内容やソースコード,ユーザの手元にあるデバイスや回路と言った複数の要素を意識して学習していく必要がある.そのため,初学者は複数の要素のどれを意識すればいいのか・どこから見ればいいのか,分からずに困ってしまうということがある.また,チュートリアル動画は,従来のテキスト形式と比較すると,ソースコードとのリンクが弱く,動画上のデバイスの挙動の詳細理解が難しいという問題がある.

そこで本研究では,IoTデバイスのチュートリアル動画にスクリプト言語を埋め込むことで,実世界のIoTデバイスとWeb上でのソースコード提示を制御し,動画視聴者の学習を支援するシステムを提案・開発する.本システムでは,動画上のデバイスの動きに対応して,実世界のデバイス操作とソースコードの提示を行うことができる.たとえば,動画でデバイスのLEDが光ると,ユーザの手元のデバイスのLEDも光り,システム画面でLED点灯のソースコードが表示される(下図参照).システムを用いることで,動画視聴者のデバイスに関する理解度の上昇やモチベーションの向上といった効果が期待できる.


発表

  • 川谷 知寛,塚田 浩二,栗原 一貴.実世界と順序型コンテンツを連携したIoTプログラミング学習支援システム.登壇発表(ロング).WISS2021予稿集,pp.43-49.2021-12.[PDF]【サイバーエージェント賞】
  • 川谷 知寛,塚田 浩二,栗原 一貴.実世界と動画を連携したIoTプログラミング学習支援システム.インタラクション2021論文集,インタラクティブ発表(プレミアム発表),1A01,pp.103-108,2021-03.[PDF]

3Dプリンターを用いたギアボックス造形支援システム

3Dプリンターの普及によって,個人でも利用可能なモデリングツールが多数登場しつつある.例えば,2Dスケッチやプリミティブな3Dモデルを組み合わせてモデルを生成できるツール(例:Autodesk社 Fusion 360)や,独自のプログラミング言語によってコードを記述してモデルを生成できるツール(例:OpenSCAD)等がある.こうしたツールに習熟することで,単純なケース等はもちろん,歯車やスライドといった機構部品を設計し,3Dプリンターで出力することができる.しかし,こうしたツールの習熟には時間と労力が必要である.特に,複数の機構部品を組み合わせて実用的な機構設計を行うことは,部品の噛み合わせや組み立てを考慮する必要があり,一層困難であった.

そこで本研究では,こうした機構の例としてギアボックスに着目し,ユーザーにとって分かりやすいパラメータ(例:ギア比,外径サイズ,固定方法等)を入力として,カスタマイズしたギアボックスを手軽に設計し,3Dプリンターで一体造形可能な支援システムを提案する.今回は,遊星ギアを対象とした3Dモデル作成システムをOpenJSCADをベースで作成し,出力・組立ができることを確認した.


 

発表

  • 中川 瑠星,新山 大翔,塚田 浩二,3Dプリンターを用いたギアボックス造形支援システム,インタラクション2020論文集,インタラクティブ発表,1B-39,pp.330-334, 2020-03-09. [PDF]

3Dプリンターにおける組立不要な一体造形手法の提案

3D プリンターを活用したモノづくりの中で,複数の部品が組み合わさって動く立体物を一回でプリントする「一体造形手法」が用いられることがある.これは,組立作業が不要なため,「時間/手間のコストを抑えながら試作検証ができる」,「入れ子構造のような複雑な形状を制作できる」等のメリットがある.しかし,造形を成功させるためには,部品間の隙間を適切に設けたり,サポート材を除去しやすい形状や出力設定を模索したりと,設計/出力時に配慮すべき点が多い.この試行錯誤には手間と時間を要するため,初心者には難しい手法であった.そこで本研究では,3D プリンターを用いた一体造形に適する機構設計を試みる.

発表

  • 新山 大翔,沖 真帆,塚田 浩二, 3Dプリンターによる一体造形式回転機構の提案, WISS2019論文集,登壇/デモ発表,pp.31-36,Sep,2019. [PDF]
  • 新山 大翔,沖 真帆,塚田 浩二,3Dプリンターにおける組立不要な一体造形手法の提案,インタラクション2019論文集,インタラクティブ発表(プレミアム発表),2B-25,pp.559-561,2019.【インタラクティブ発表賞 PC推薦[PDF]

FabLabの制作ノート振り返り支援システムの提案

概要

FabLab では,ユーザが機材を用いて作品制作を行う際,簡単な「制作ノート」を記録することが多い.制作ノートには,作品名,制作時間,使用した機材とその設定,補足や注意点などのメモを記録することができる.こうした制作ノートは,紙ベースで情報量が少ないことが多く,スキャンしてデジタル化するだけでは検索性や再利用性に欠ける問題があった.
本研究では,スマートフォン/タブレット等に適した,制作ノートを手軽に記録/閲覧可能なシステムを提案する.全ての制作ノートはオンラインのデータベースに保存され,FabLab 内外で主催者の設定に応じて共有することができる.さらに,制作ノートを元にFabLab の活動状況を時間単位/機材単位等で視覚化し,活動の振り返りを支援するツールを提案する.これにより,データ化した制作ノートを活用して多彩な振り返りを可能にする.

謝辞

本研究を進めるにあたり,FabLabSENDAI – FLAT にご協力いただきました.ありがとうございました.

発表

  • 及川 遼,塚田 浩二,FabLabの制作ノート振り返り支援システム,インタラクション2019論文集,インタラクティブ発表,2B-28,pp.568-571,2019.[PDF]

3Dプリンタを用いた弾力調整可能なコイルスプリングジョイント機構の提案

本研究では,弾力を調整可能なコイルスプリングジョイントを提案する.径/全長/ピッチ等のパラメータをプログラム上で調整し 3D プリンタで出力することで,弾力や強度の異なるスプリングを作成するシステムを試作した.コイルスプリングを専用の連結ジョイントで繋ぐことにより,スプリングを辺とした立体構造物を作成できる.さらに,本機構の応用例の一つとして導電性フィラメントで出力したスプリングを使った押し込みセンサを試作した.

 
OpenSCADで実装したコイルスプリングの例.特徴として,接続用のネジ溝とサポート部の除去を助ける傾斜を備える.

 
左から,3Dプリンタで出力したコイルスプリング,専用ジョイントとの連結,立体構造物の例.

発表

  • 新山 大翔, 沖 真帆, 塚田 浩二,3Dプリンタを用いた弾力調整可能なコイルスプリングジョイント機構の試作と評価,研究報告ヒューマンコンピュータインタラクション(HCI), 2019-HCI-182(33), pp.1-8 (2019-03-11). [PDF]
  • 新山 大翔,沖 真帆,塚田 浩二,3Dプリンタを用いた弾力調整可能なコイルスプリングジョイント機構の提案,インタラクション2018論文集,インタラクティブ発表(プレミアム発表),3A14,pp.913-916,2018.[PDF]

スマートウォッチを用いた共創的モノづくり環境のための動画マニュアル制作支援システム

FabLab 等のファブコミュニティにおいては,ユーザは 3D プリンタ等を用いた作品だけでなく,それを他者にシェアするための手順書の作成も期待されている.しかし,こうした手順書作成の負担は大きいため,実現されないことも多い.また,画像やテキスト中心の従来の手順書では細かい手技等は表現できないため,ユーザに一定の知識や技術を暗に要求してしまう問題もある.

本研究では,スマートウォッチとスマートフォンを組み合わせることで,机上での組み立て操作を手軽に記録/編集して,動画マニュアルの作成を支援するシステムを提案する.まず,モノづくり中の組立動作を両腕に付けたスマートウォッチと机上に固定したスマートフォンで記録し,モーションデータ/動画を Web 上に保存する.次に,モーションデータを元に特徴的な動作に対して,動画に手動/自動でタグ付けを行うことで,自動的にチャプターや字幕が作成され,動画マニュアルのドラフトとして活用できる.

デバイス構成と利用時の様子
システム構成
スマートウォッチを用いた収集データの一例.
特に右手(利き手)のセンサデータに特徴が見られる.

発表

  • 会津 慎弥, 塚田 浩二, スマートウォッチを用いたモノづくりマニュアル作成支援システムの提案, 研究報告ヒューマンコンピュータインタラクション(HCI), 2018-HCI-180(9), pp.1-7, Nov,2018. [PDF]
  • Shinya Aizu and Koji Tsukada, Support System for Creating Manufacturing Manual using Smart Watches, In Proceedings of the 2018 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2018 ACM International Symposium on Wearable Computers (UbiComp ’18). pp. 323-326, Oct, 2018.[PDF]
  • 会津 慎弥,塚田 浩二, スマートウォッチを用いたモノづくりの動作検出に対する試み,WISS2017論文集,1-A07 ,Dec,2017. [PDF]

モノづくりワークショップを対象とした振り返り動画作成支援システム

近年,FabLab などのモノづくりコミュニティが主催する,デジタル工作機器を用いたモノづくりワークショップが頻繁に開催されている.こうしたワークショップでは,制作物だけでなく,その制作過程も重要な体験である.しかし,主催者/参加者ともに,自身の作業に追われてしまうため,制作過程を手軽に記録して振り返ることは難しい.

本研究では,こうしたモノづくりワークショップの振り返り動画の作成を支援するシステムを提案する.本システムは,「ハンズフリー/複数視点からの撮影機能」と「振り返りと一体化した動画編集機能」から構成され,動画編集機能には「ツール認識」「笑顔認識」「両手作業認識」等の画像認識を用いたシーン探索機能を備える.本論文では,システムの設計/多視点動画の分析/実装について述べる.さらに,評価実験を通してシーン探索機能の性能等を検証する.

本システムの動画編集画面(図上)とシーン探索機能(図下)の一例.

本システムは,視点の異なる複数の動画を同時に再生でき,ユーザが興味の有る箇所/重要と思う箇所をタップするとその操作を記録する.ユーザが視聴を終えてCreateボタンを押すと,記録情報をもとに1本の振り返り動画を生成する.閲覧中にユーザが重要度を判断するために,「利用中の工具」「両手作業」「参加者の笑顔」等の情報(シーン探索機能)をタイムライン上に視覚化する.

発表

  • 中江 一哉, 塚田 浩二, モノづくりワークショップの振り返り支援システム, 研究報告ヒューマンコンピュータインタラクション(HCI), vol.2018-HCI-177, No.6, pp.1 – 8, 2018. [PDF]
  • Kazuya Nakae and Koji Tsukada. 2018. Support System to Review Manufacturing Workshop through Multiple Videos. In Proceedings of the 23rd International Conference on Intelligent User Interfaces Companion (IUI’18). Article 4, 2 pages, 2018.[PDF]
  • 中江 一哉,沖 真帆,塚田 浩二,モノづくりワークショップを対象とした振り返り動画作成支援システム,インタラクション2017論文集,インタラクティブ発表(プレミアム発表),pp.499-502, 2-509-34, Mar, 2017.[PDF]

ファブ時代に適した新たなジョイント機構の提案

従来のジョイントは,金型を用いて工場で製作される高精度なワンオフの接合方法(例:嵌め合わせ)が市販製品では多く見られる一方,個人レベルでは,接着剤などを用いて,外観や構造を気にせずに「とりあえずくっつけばよい」という刹那的な固定方法が一般的であった.このため,個人の作るプロトタイプと市販製品では,その外観や強度等に大きな差が出ていた.一方,近年の低価格な3D プリンターの普及に伴い,個人レベルでも3D モデルを設計/出力してワンオフのジョイントを出力できる環境が整いつつある.しかしながら,3D プリンターの特性を考慮しつつ,実用的なジョイントを設計することは一般の利用者には難しい.そこで本研究では,3D プリンターの利用を前提として,様々な部品や日用品同士を固定/調整可能なジョイント機構を設計,及びジョイントの調整が可能なシステムの構築を行い,ファブ時代の構造設計の効率化を目指す.

マルチクリップ3枚
作成したジョイント例

対外発表

  • 新山 大翔, 沖 真帆, 塚田 浩二, 3Dプリンターの特性に配慮した汎用ジョイント機構の提案, エンタテインメントコンピューティングシンポジウム2016論文集, pp.252-258, Nov, 2016. [PDF]
  • 新山 大翔,沖 真帆,塚田 浩二, ファブ時代に適した新たなジョイント機構の提案, ソフトウェア科学会 WISS2015論文集, pp.169-170, 2-R16, Dec,2015. [PDF]

AttachCam:センサやカメラと連携するカメラベースのデバイスツールキットの構築

デジタルカメラの小型化/低価格化は著しく,ほとんどの PC /スマートフォン/タブレットに搭載されるなど,コモディティ化が進んでいる.しかし,こうした IoT(Internet of Things)的応用においては,実世界での適切な固定方法,センサと連携した実世界の認識機能,クラウドと連携した適切な認識/フィードバック機能等が必要となり,カメラモジュール自体は安価になっても,それを用いた開発には多くの労力が必要であった.そこで本研究では,実世界の様々な箇所に手軽に固定し,様々なセンサと連動しつつ,クラウドと連携した柔軟な画像処理やフィードバックが行えるカメラベースのデバイスツールキット「AttachCam」を提案する.

筐体の様々な場所にセンサやカメラを固定できる「AttachCam」
システム全体の構成図

対外発表

  • 仲松 聡,沖 真帆,塚田 浩二,AttachCam: センサやクラウドと連携するカメラベースのデバイスツールキットの提案,インタラクション2016論文集,インタラクティブ発表,pp.345-349,Mar, 2016.[PDF]
  • 仲松 聡,沖 真帆,塚田 浩二, AttacheCam: センサやクラウドと連携するカメラベースのデバイスツールキットの構築, ソフトウェア科学会 WISS2015論文集, pp.207-208, 3-R18, Dec,2015. [PDF]
Scroll to top