実世界と動画を連携したIoTプログラミング学習支援

近年,IoTが一般化している中で,ArduinoやRaspberry PiなどのIoTデバイスの動作や仕組みを他者と共有する場面が増えてきている.この際,ソースコードやテキストのみではデバイスの振る舞いを伝えることは困難であるため,オンラインでのチュートリアル動画が広く利用されている.また,IoTプログラミング学習では,動画の内容やソースコード,ユーザの手元にあるデバイスや回路と言った複数の要素を意識して学習していく必要がある.そのため,初学者は複数の要素のどれを意識すればいいのか・どこから見ればいいのか,分からずに困ってしまうということがある.また,チュートリアル動画は,従来のテキスト形式と比較すると,ソースコードとのリンクが弱く,動画上のデバイスの挙動の詳細理解が難しいという問題がある.
そこで本研究では,IoTデバイスのチュートリアル動画にスクリプト言語を埋め込むことで,実世界のIoTデバイスとWeb上でのソースコード提示を制御し,動画視聴者の学習を支援するシステムを提案・開発する.本システムでは,動画上のデバイスの動きに対応して,実世界のデバイス操作とソースコードの提示を行うことができる.たとえば,動画でデバイスのLEDが光ると,ユーザの手元のデバイスのLEDも光り,システム画面でLED点灯のソースコードが表示される.システムを用いることで,動画視聴者のデバイスに関する理解度の上昇やモチベーションの向上といった効果が期待できる.


発表

  • 川谷 知寛, 塚田 浩二, 栗原 一貴. IoTeach: 実世界と順序型コンテンツを連携したIoT学習支援システムの試作と評価. コンピュータ ソフトウェア, 2023, 40 巻, 3 号, p. 3_97-3_112. 2023-08-29.  https://doi.org/10.11309/jssst.40.3_97
  • Tomohiro Kawatani, Koji Tsukada, and Kazutaka Kurihara. IoTeach:Learning Support System for IoT Programming by Integrating Real Devices and Sequential Contents. In Companion Proceedings of the 28th International Conference on Intelligent User Interfaces (IUI ’23 Companion). pp.16–20. 2023-03. https://doi.org/10.1145/3581754.3584121
  • 川谷 知寛,塚田 浩二,栗原 一貴.実世界と順序型コンテンツを連携したIoTプログラミング学習支援システム.登壇発表(ロング).WISS2021予稿集,pp.43-49.2021-12.[PDF]【サイバーエージェント賞】
  • 川谷 知寛,塚田 浩二,栗原 一貴.実世界と動画を連携したIoTプログラミング学習支援システム.インタラクション2021論文集,インタラクティブ発表(プレミアム発表),1A01,pp.103-108,2021-03.[PDF]


AttachCam:センサやカメラと連携するカメラベースのデバイスツールキットの構築

デジタルカメラの小型化/低価格化は著しく,ほとんどの PC /スマートフォン/タブレットに搭載されるなど,コモディティ化が進んでいる.しかし,こうした IoT(Internet of Things)的応用においては,実世界での適切な固定方法,センサと連携した実世界の認識機能,クラウドと連携した適切な認識/フィードバック機能等が必要となり,カメラモジュール自体は安価になっても,それを用いた開発には多くの労力が必要であった.そこで本研究では,実世界の様々な箇所に手軽に固定し,様々なセンサと連動しつつ,クラウドと連携した柔軟な画像処理やフィードバックが行えるカメラベースのデバイスツールキット「AttachCam」を提案する.

筐体の様々な場所にセンサやカメラを固定できる「AttachCam」
システム全体の構成図

発表

  • 仲松 聡,沖 真帆,塚田 浩二,AttachCam: センサやクラウドと連携するカメラベースのデバイスツールキットの提案,インタラクション2016論文集,インタラクティブ発表,pp.345-349,Mar, 2016.[PDF]
  • 仲松 聡,沖 真帆,塚田 浩二, AttacheCam: センサやクラウドと連携するカメラベースのデバイスツールキットの構築, ソフトウェア科学会 WISS2015論文集, pp.207-208, 3-R18, Dec,2015. [PDF]

FingerPhone:指紋認証装置を一体化したスマートインターフォン

生体認証を用いたID システムは,個人識別の手法として急速に普及しつつありますが,銀行の決済や開錠システムなど,その用途の多くは単純な認証決済などに限られていました.本研究では,指紋センサを用いる際の「指先で特定の表面に触れる」という物理的制約に着目し,インターフォンの押しボタンに指紋センサを統合することで指紋認証を無意識/簡易的な個人識別サービスとして活用する応用例「FingerPhone」を提案します.

発表

  • Maho Oki, Koji Tsukada, Kazuhiro Kimura, and Satoshi Nakamatsu, FingerPhone: smart interphone integrated with a fingerprint sensor, In Adjunct Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2015 ACM International Symposium on Wearable Computers (UbiComp/ISWC’15 Adjunct), pp.277-280 [PDF]
  • 木村和弘,沖真帆,塚田浩二: FingerPhone:指紋認証装置を一体化したスマートインターフォン, ソフトウェア科学会WISS2014 論文集,pp.197-198 (Nov, 2014) [PDF]
  • 池田昂平, 山本貴文, 木村和弘,作品展示,第9 回金の卵オールスターデザインショーケース,AXIS Gallaly(六本木),2014/08/28-09/07,http://www.axisinc.co.jp/building/eventdetail/344

先頭に戻る