1

StudI/O:ブロックの組み立てと記録を支援するプロジェクション装置

お茶の水女子大学基幹研究院自然学系

教授 椎尾 一郎

2

・ブロック作品の記録と組立支援システム、StudI/Oを実装

・評価実験により、システムの有用性を確認

・他のトイブロック製品や家具などに応用したい

発表概要

3

本研究の背景ブロック遊びの変遷

ソフトウェアの登場(2004年)

仮想的に作品を作成し，インターネット上で共有

組み立て説明書の導入(1964年)

説明書に従えば誰もが完成度の高い作品を作れるように

おもちゃ用ブロックの登場(1947年)

遊びを通して創造力を伸ばす

4

本技術の目的

簡単な操作で正確にブロックを記録

簡単な操作で正確にブロックを記録

直感的な操作でわかりやすく

直感的な操作でわかりやすく

5

先行研究事例立体物の組み立てや形状認識を支援するシステム

DuploTrack: A Real-time System for Authoring and Guiding Duple Block Assembly

Anti Gupta, Dieter Fox, Brian Curless

(UIST 2012)

・Kinectを使ってDuplo blockを認識

・ユーザの前に設置したディスプレイにリアルタイム表示

・HMD(Head Mounted Display)とARマーカーを使用

・家具の組み立てを支援

Authoring of a Mixed Reality Assembly Instructor for

Hierarchical Structures

Jurgen Zauner, Michael Haller, Alexander Brandl, Werner Hartmann

(ISMAR 2003)

KinectFusion: Real-time Dynamic Reconstruction and Interaction Using a Moving Depth Camera

Shahram Izadi, David Kim, Otmar Hilliges,David Molyneaux, Richard Newcombe, Pushmeet Kohli, Jamie Shotton, Steve Hodges, Dustin Freeman,Andrew Davison,Andrew Fitzgibbon

(UIST 2011)

・Kinectのdepth画像からリアルタイムで３Dモデルを構築

6

深度カメラ

立体物の組み立てや形状認識を支援するシステム

HMD(Head Mounted Display)

従来技術

現実感の高いARはより効果的な作業支援を可能に

装着することに抵抗を感じる人も…

高精度な位置検出が必要

カメラ画像からだけでは内部構造まで把握できない

7

システム構成

プロジェクタとPCのみのシンプルな構成

Projector

PC(OS X 10.9.4)

47.5cm

本技術：StudI/O

8

StudI/O：投影状態

組み立て前 組み立て後

突起：ブロックの色(ex. 黄色)

矩形：ブロックの色の補色(ex. 青色)

9

本システムで扱える作業空間

StudI/O：作業空間

ずれが認識できない投影範囲：θ = 約4度

必要解像度：約36dpi

現在の設定

解像度：約74dpi

ずれが認識できない投影範囲：約3.9%

・約２倍まで拡張可能

・約96.1%が利用可能

10

組み立て支援

11

LDD(Lego Digital Designer)

変換

Ldraw(レゴ組立のためのオープン規格)

Processing

・高さ順にソート・ずれの計算

…etc

組み立て支援

12

記録支援

13

オリジナル作品 LDD(Lego Digital Designer)

Ldrawデータ形式に変換

記録支援

14

実験手法：2つのLEGO作品の組立作業(提案手法/紙の説明書)

被験者：8名(いずれも20代の情報科学科大学院生)

目的：従来の紙の説明書で作った場合に比べて、提案手法ではどのくらい早く間違いなく作ることが出来るのか

提案手法

紙の説明書

作品(x)

作品(y)

組み立て実験

15

組立作業時間(秒)の比較

被験者 A B C D E F G H

組立順序 投影→紙

投影→紙

投影→紙

投影→紙

紙→投影

紙→投影

紙→投影

紙→投影

作品順序 (X)→(Y) (X)→(Y) (Y)→(X) (Y)→(X) (X)→(Y) (X)→(Y) (Y)→(X) (Y)→(X)

0

50

100

150

200

250

300

350

400

450

500

A B C D E F G H 平均

manual(s)

StudI/O(s)

組み立て実験①

16

アンケート結果

組み立て実験②

・紙の説明書よりも簡単に組み立てが行えた・ブロックに投影がぴったり合うのが気持ち良い・間違いにすぐに気付くことができる

・被験者全員が提案手法の方がより短い時間で作業を終了した・紙の説明書を用いた組み立ての際には2名に組み立て位置に間違いが見られたのに対し、本システムを用いた組み立てではすべての被験者が間違いなく組み立てを行うことができた

・ブロックを１つずつ組み立てる→機械的で単調な作業に陥りやすい→１段ごとのまとまりがわかりにくい

・くぼんだところへの投影(右図)がわかりにくい

17

実験手法：2つのLEGO作品の記録作業(提案手法/LEGO社のLDD)

被験者：8名(いずれも20代の情報科学科大学院生)

目的：LEGO社のLDDで作品の記録を行った場合に比べて、提案手法ではどのくらい早く間違いなく出来るのか

作品(x)

作品(y)

提案手法 LEGO社のLDD

記録実験

18

0

200

400

600

800

1000

1200

I J K L M N O P 平均

LDD（秒）

StudI/O(秒)

保存作業時間(秒)の比較

被験者 I J K L M N O P

保存順序 投影→LDD

投影→LDD

投影→LDD

投影→LDD

LDD→投影

LDD→投影

LDD→投影

LDD→投影

作品順序 (X)→(Y) (X)→(Y) (Y)→(X) (Y)→(X) (X)→(Y) (X)→(Y) (Y)→(X) (Y)→(X)

記録実験①

19

0

2

4

6

8

10

12

14

I J K L M N O P 平均

LDD

StudI/O

間違えて記録したブロックの数の比較

記録実験②

20

アンケート結果

記録実験③

・ほとんどの被験者の作業時間が半分程度に短縮された・ほとんどの被験者がLDDより記録ミスが少なかった・一方で本システムのほうが記録ミスの多い被験者もいた

・操作方法が簡単・直感的に操作することができる

・ちゃんと保存できているか不安→１段ごとに確認したい→保存した際のフィードバックが欲しい

・一度間違えて保存してしまうと訂正ができない

21

考察結果

ユーザビリティ検証

• StudI/Oの作業における間違い• ブロックの大きさを指定する際に多く見ら

れる

→選択したブロックの投影手法に工夫を

• LDDの作業における間違い• ブロックを他のブロックに積み重ねる際に多

く見られる• マウスとキーボードを併用した複雑な操作に

嫌悪感

22

想定される用途

• LEGOブロックもしくは類似したトイブロック

の組み立てと記録を支援する装置

• 趣味・エンターテイメント・アトラクション

（LEGOランド）

• 組み立て家具の作業支援(マーカー付加)

• プロジェクタを利用した組み立て支援

23

本技術に関する知的財産権

発明の名称：立体物の組み立て支援装置及びプログラム

出願番号 ：特願2014-238159

出願人 ：お茶の水女子大学

発明者 ：椎尾一郎、橋本菜摘

24

お問い合わせ先

お茶の水女子大学

研究協力課社会連携担当 髙水

ＴＥＬ 03-5978-5162

ＦＡＸ 03-5978-2732

e-mail s-kenkyo＠cc.ocha.ac.jp