実世界と動画を連携したIoTプログラミング学習支援

近年,IoTが一般化している中で,ArduinoやRaspberry PiなどのIoTデバイスの動作や仕組みを他者と共有する場面が増えてきている.この際,ソースコードやテキストのみではデバイスの振る舞いを伝えることは困難であるため,オンラインでのチュートリアル動画が広く利用されている.また,IoTプログラミング学習では,動画の内容やソースコード,ユーザの手元にあるデバイスや回路と言った複数の要素を意識して学習していく必要がある.そのため,初学者は複数の要素のどれを意識すればいいのか・どこから見ればいいのか,分からずに困ってしまうということがある.また,チュートリアル動画は,従来のテキスト形式と比較すると,ソースコードとのリンクが弱く,動画上のデバイスの挙動の詳細理解が難しいという問題がある.
そこで本研究では,IoTデバイスのチュートリアル動画にスクリプト言語を埋め込むことで,実世界のIoTデバイスとWeb上でのソースコード提示を制御し,動画視聴者の学習を支援するシステムを提案・開発する.本システムでは,動画上のデバイスの動きに対応して,実世界のデバイス操作とソースコードの提示を行うことができる.たとえば,動画でデバイスのLEDが光ると,ユーザの手元のデバイスのLEDも光り,システム画面でLED点灯のソースコードが表示される.システムを用いることで,動画視聴者のデバイスに関する理解度の上昇やモチベーションの向上といった効果が期待できる.


発表

  • 川谷 知寛, 塚田 浩二, 栗原 一貴. IoTeach: 実世界と順序型コンテンツを連携したIoT学習支援システムの試作と評価. コンピュータ ソフトウェア, 2023, 40 巻, 3 号, p. 3_97-3_112. 2023-08-29.  https://doi.org/10.11309/jssst.40.3_97
  • Tomohiro Kawatani, Koji Tsukada, and Kazutaka Kurihara. IoTeach:Learning Support System for IoT Programming by Integrating Real Devices and Sequential Contents. In Companion Proceedings of the 28th International Conference on Intelligent User Interfaces (IUI ’23 Companion). pp.16–20. 2023-03. https://doi.org/10.1145/3581754.3584121
  • 川谷 知寛,塚田 浩二,栗原 一貴.実世界と順序型コンテンツを連携したIoTプログラミング学習支援システム.登壇発表(ロング).WISS2021予稿集,pp.43-49.2021-12.[PDF]【サイバーエージェント賞】
  • 川谷 知寛,塚田 浩二,栗原 一貴.実世界と動画を連携したIoTプログラミング学習支援システム.インタラクション2021論文集,インタラクティブ発表(プレミアム発表),1A01,pp.103-108,2021-03.[PDF]


FabNavi

FabNavi is a support system to capture assembling processes with videos/pictures and replaying data on (remote) tabletop. The system records works on tabletop with an overhead camera, and presents full scale videos/pictures on the tabletop (Figure 1).

Figure 1. The FabNavi system

The FabNavi system proposes visual instruction to assemble physical objects in remote places: (1) Recording the assembly processes easily, (2) Sharing these instruction on the web, (3) Replaying them on the (remote) tabletop (Figure 2).

Figure 2. Basic Concept of the FabNavi system

The system also aims to collect data of FAB processes in the real world, understand them using recognition techniques, and generate “recipes” (semi-) automatically (Figure 3).

Figure 3. Understanding FAB processes for generating recipes.

Implementation

The FabNavi system mainly consists of  (1) API server, (2) Capture client, (3) Browser Client.

  • API Server
    • Running on Amazon EC2 & S3. Ready for Big data.
  • Capture Client
    • iPhone & Android Client.
  • Browser Client
    • Electron App both for Win/Mac.

Applications will be delivered on http://fabnavi.org/

Screen capture of fabnavi web app

 Project Members

 Reference

  • Koji Tsukada, Keita Watanabe, Daisuke Akatsuka, and Maho Oki, FabNavi: Support system to assemblephysical objects using visual instructions, Paper presented at Fab10, Barcelona, 2-8 July (2014) [PDF]

先頭に戻る