2004年 卒業論文

Wizard-of-Oz法に基づいたジェスチャ認識システムの研究

A Study for Gesture Recognition System

based on Wizard-of-Oz Approach

提出日:平成17年2月2日

指導：中島 達夫教授

早稲田大学理工学部情報学科学籍番号：1G01P086-5

平川 康史yasufumi@ruri. waseda. jp

概 要

近年コンピュータは小型化され, ネットワークへ接続可能であることが当然となり, 日常生活で扱われる様々な物にコンピュータが組み込まれることが可能となった. そのようなユビキタスコンピューティング環境では, コンピュータを使用する状況が多様化しているため, それに適したコントローラ (本研究では人が直接入力可能な単体のヒューマンインタフェースデバイスと定義する)が必要となることは必然である. 多様な環境に適したコントローラが作られれば, 多様なコントローラの出現の可能性が考えられる. その中で我々が必要とするのは低コストで使いやすいコントローラである.本研究では, コンピュータビジョンを使って, 低コストなカメラによるジェスチャ認識を利用したコントローラを提案する. また既存の研究では少なかったが “使い易いジェスチャとは何か”を考慮することによって, 操作の複雑さを回避しユーザの負担を少なくする. 具体的には, 使い易いジェスチャを調査するための実験を行い, その実験に基づき、ケーススタディとしてウィンドウ操作を実現するジェスチャ認識システムを設計, 実装し, 評価, 考察する.今回, ケーススタディとしてウィンドウ操作をするためのジェスチャ認識システムを構築し, 解析したジェスチャの有効性を示す.

Abstract

In these days, computer can be downsized , and it is necessity that computer

can connect to network. In such a ubiquitous computing enviroment, the situ-

ations that we use computer are complicated, so we need (tekisita) controlers.

So, in this reserch, I propose the way that is used gesture recognition with

computer vison , which is low cost and easy to use. In particular, I think it is

important that ” anyone can use”

目 次

第 1章 序論 31.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3 論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

第 2章 関連研究 52.1 Wizard-of-Oz 法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 OpenCV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.3 ポスチャ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.4 ジェスチャ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.5 アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.6 その他 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

第 3章 実験 83.1 目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83.2 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.3 実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.4 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

第 4章 設計 144.1 構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.2 ウィンドウの操作 . . . . . . . . . . . . . . . . . . . . . . . . . . 144.3 フィードバック . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

第 5章 実装 175.1 ジェスチャ認識 . . . . . . . . . . . . . . . . . . . . . . . . . . . 175.2 フィードバック . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

第 6章 評価 196.1 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196.2 結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

第 7章 考察 217.1 実験結果の考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . 217.2 将来課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

第 8章 結論 24

1

図 目 次

3.1 デスクトップ上のウィンドウ . . . . . . . . . . . . . . . . . . . 93.2 実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103.3 得られたジェスチャ . . . . . . . . . . . . . . . . . . . . . . . . 12

5.1 実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175.2 操作内容の表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.3 デスクトップ画面 . . . . . . . . . . . . . . . . . . . . . . . . . . 18

7.1 左：ウィンドウを上からつかむジェスチャ右:ウィンドウを横からつまむジェスチャ . . . . . . . . . . . . . . . . . . . . . . . . 21

7.2 誤認識したジェスチャ . . . . . . . . . . . . . . . . . . . . . . . 227.3 誤認識したジェスチャ . . . . . . . . . . . . . . . . . . . . . . . 23

2

第1章 序論

本章では, 本研究に至る背景, 目的, 本研究の構成について述べる.

1.1 背景近年, コンピュータの小型化がされ, ネットワーク接続可能であることが当然となった. これにより日常生活の様々な物にコンピュータを埋め込むことが可能となり, コンピュータを使用する状況が多様化しつつある. まさに日常生活を多くのコンピュータが支援する, ユビキタスコンピューティング [1]の時代が到来しつつあるといえる. そのような環境ではコンピュータを操作するために様々なコントローラが出現する可能性があると考えられる. その多くのコントローラの中, 今後要求されるのは, 簡単に操作可能であり, 低コストなものでると推測する.

1.2 目的本研究では低価格で入手し易いWebカメラを使用し, 簡単に操作可能なジェスチャ認識システム構築手法を提案する. またその手法を使い,ケーススタディとしてウィンドウ操作を行うジェスチャ認識システムを構築し, 評価を取り, 本研究で選出したジェスチャの有効性を示す.

1.3 論文の構成本章以降の論文の構成は以下となっている.

• 2章：関連研究を挙げる. ジェスチャ,ポスチャとは本研究ではどのように扱うかを論じ,関連論文を紹介する. また本研究で使用したWizard-of-Oz法, Intelのコンピュータビジョンライブラリ, OpenCVを紹介する.

• 3章：Wizard-of-Oz法を利用した今回行った実験についての詳細を述べる.

• 4章：3章で得られた結果を元に今回実装するシステムの設計を述べる.

• 5章：実装, ジェスチャ認識の手法, ユーザへのフィードバックについて述べる.

3

• 6章：完成した実際のジェスチャ認識システムを動作させ, その評価をする.

• 7章：6章で得られた評価から考察を行い, 将来課題について述べる.

• 8章：本研究全体の結論について述べる.

4

第2章 関連研究

2.1 Wizard-of-Oz 法Wizard-of-Oz法とは, 人間 (Wizard)がシステムのふりをして被験者と対話することにより, 実際のシステムとの対話に近いデータを取得する手法である.本研究ではこのアプローチを使って, ジェスチャ認識システムを振る舞い, 有効なジェスチャを抽出する実験を行う.

Wizard-of-Oz法を使うこととなった大きな要因の 1つは Carolineらの論文[2]がある. この論文ではプロダクトデザインのためのジェスチャインタフェースで扱われるジェスチャに意味を持つ必要性を唱えている. 被験者 (プロダクトデザイナ)がある製品を見ながらジェスチャを行い, その意味から, Wizardは製品の絵を描きフィードバックとして被験者に与えるWizard-of-Oz実験を行っている. Wizardが描いた絵と実際の製品を比較すると, 非常に似ているという結果であった. これはジェスチャの可能性, Wizard-of-Oz法が強力であることを十分示唆している.しかしこの論文では実際に製品開発が可能であることを示しつつも,ジェスチャの解釈の難点さから現時点では実装は行っていない.

その他にWizard-of-Oz法を使用した研究として, 岡本らの論文 [3]がある.この論文ではWizard-of-Oz法と機械学習を組み合わせた対話型エージェントの構築手法を提案し, 人間の負荷の減少が可能であることを示している. Wizard-of-Oz法を調査するに当たり, 参考にさせていただいた.

2.2 OpenCV

OpenCV [4]とは Intel R©のOpen Source Computer Vision Libraryのことで,ポピュラーなイメージ処理やコンピュータビジョンを実現するアルゴリズムを実装した関数, C++のクラスのコレクションである.本研究はこのライブラリを使用し,ウェブカメラの認識から映像取得,イメージ処理, 保存, 手の輪郭抽出をしている. DirectShowプログラミングと比較すると, プログラミングもわかりやすく, また Linux上でも動作するので今回使用した.

5

2.3 ポスチャ本研究でポスチャは, 静止しているときの手の形, 両手の位置関係を示すも

のと定義する. その中で最終的に我々が必要とするポスチャはWizard-of-Oz法で抽出した有効性があると思われるポスチャの一部分である. また本研究でのジェスチャ認識とはポスチャ認識を含める.

2.4 ジェスチャポスチャが静止である状態に対し, ジェスチャとは時間経過ごとにポスチャ

が変化する一連の動作全体を指す.そのジェスチャの中で本研究で使用するのは, 米岡らの論文 [5]で分類している能動ジェスチャである.能動ジェスチャとは

手招きのようにある信号を送るために能動的になされる行動

と上記論文では定義している.この論文ではさらにその他に周りの影響によって無意識になされるジェスチャを受動ジェスチャ, 体がゆれる, まばたきをする等, 全く偶発的になされるものを偶発ジェスチャと定義している.最終的に我々が必要とするジェスチャは, 能動ジェスチャからさらに絞った

Wizard-of-Oz法を利用して抽出した有効性があると考えられるジェスチャである. 有効性があるジェスチャとは人が自然に扱うことができるジェスチャであると考える. ここで問題となるのは “人が自然に扱うことができるジェスチャ”とは何かということである.自然に扱うことができるジェスチャとは被験者があるタスクを扱うために, 物理的な環境による制限, またフィードバックによる制限を受けながら, 直感的,もしくは少し考えて思いつくジェスチャで, 多くの被験者が振舞うものを指す.ジェスチャの分類についての論文はCarolineらの論文 [2]にも様々な分類を見ることができる.本研究で詳細なジェスチャの分類は将来課題にする.

2.5 アルゴリズム本研究で使用したアルゴリズムは Jakubらの論文 [6]を参考にしている. こ

の論文では 2つのカメラを使用し, 3次元で指先の座標, 方向を抽出を可能とするアルゴリズムを紹介している. 本研究ではウェブカメラの数を 1つにし, 2次元空間での座標と指先の方向を抽出するアルゴリズムに変更している.

6

2.6 その他Shahzadらの [7]では, [6]のアルゴリズムを使用し, 両手を使用したジェス

チャでGUI操作を行っている. この論文では使用したジェスチャが有効であるかについて述べられていない. 本研究ではその有効性について述べる.

7

第3章 実験

2.4でも述べたが本研究では有効なジェスチャを得るためにWizard-of-Oz法を利用した実験を行う.

3.1 目的この実験ではあらかじめジェスチャ認識を行うシステムが存在することを被験者に伝え, 被験者にジェスチャを行ってもらう.実際にはシステムは存在せず,実験者がそのシステムを振舞い,被験者にフィードバックを返すことで, 被験者にシステムが実際には存在するように見せ, 直感的な (もしくは少し考えて思いつく)ジェスチャを抽出する.今回の実験ではWizard-of-Oz法を使用し, ケーススタディとして, 被験者にデスクトップ上に配置した 3つのウィンドウ (図 3.1参照)を操作してもらう.ウィンドウ操作で行ってもらう内容は以下の 4つである.

• ウィンドウ選択

• ウィンドウ移動

• ウィンドウ拡大・縮小

• ウィンドウを閉じる

この 4つの操作で被験者の行うジェスチャから有効なジェスチャを抽出する.

8

3����������������

����� �����

図 3.1: デスクトップ上のウィンドウ

9

3.2 実験Wizard-of-Oz法を使った実験を行うため, 以下の環境を用意した.

Experimenter

Subject

FeedbackSubject don’t know experimenter is.

Webcam and display

Subject does gestures

and get feedback

図 3.2: 実験環境

この環境で被験者, 実験者 (Wizard)にとって重要なポイント, 制約内容を以下に述べる.

被験者

• Wizard-of-Oz法の特性上, 被験者はジェスチャ認識システムがあると想定しており, 人 (Wizard)がシステムを演じているとは知らない.

• 被験者は任意のジェスチャを行うことができる.• 被験者にはウェブカメラ, モニタが与えられている. モニタには実験者側のデスクトップ画面が映し出され, 3つのウィンドウと被験者へのフィードバックとして, 被験者側のウェブカメラの映像を表示している. (図 3.1参照)

• 被験者がウィンドウ操作を行うとデスクトップ画面にあるウィンドウが操作され, 被験者のモニタにその変化が映る.

実験者 (Wizard)

• Wizard-of-Oz法の特性上, 実験者はシステムを演じる際, 被験者にウィンドウを操作していることを知られてはならない.

10

• 実験者のデスクトップ画面には被験者のジェスチャの映像が映し出されているウィンドウが存在する.

• 実験者は被験者のジェスチャが移っている映像から, どのような操作をしたいか判断し, ウィンドウ操作を行う. (被験者にフィードバックとして返す)

制約

• あらかじめ被験者にはウィンドウを操作をするということ, 4つの操作(選択・移動・拡大縮小・閉じる)をするということを説明をする.

• カメラが映し出す範囲でポスチャ, ジェスチャを行わなければならない.

3.3 実験結果以上の実験環境・制限を保ちつつ, 被験者にジェスチャを行ってもらい, ウィンドウ操作のためのジェスチャを抽出した.以下が実験結果である.

11

得られたジェスチャの種類 得られたジェスチャの図を示す. ジェスチャごとにA～Rのアルファベットを振った

図 3.3: 得られたジェスチャ

ジェスチャごとの行われた数 上記図 3.3のアルファベットA～Rが振られたジェスチャを行った人数を表として示した.

操作方法 選択 移動 拡大・縮小 閉じる

種類 A B C D E F G H I J K L M N O P Q R人数 (/人) 6 1 1 3 1 1 1 1 4 1 1 1 1 2 1 1 1 1

表 3.1: ジェスチャに対する人数

12

3.4 考察今回有効なジェスチャとして選んだ基準は 6つある.1つ目は各操作に最もよく見られたジェスチャ, つまり直感的, 少し考え思いつくジェスチャと思われるものを選んだ.多くの被験者が行うジェスチャは一般性を持つ可能性が高いと判断した.

2つ目はシステム上で複数の意味を持たないジェスチャを選んだ.3つ目は直感的でないことと, リソースの制限のため, 思い付きづらいジェスチャを除いたジェスチャを選んだ.

4つ目は技術的に実装困難なジェスチャを除いたジェスチャを選んだ.5つ目はポスチャとしては同じであるがジェスチャとして異なるものは除外しなかった.

6つ目はある操作に複数のジェスチャの存在を許した.その結果行った人数が多かった黒線で囲んだジェスチャA, D, I, Nとポスチャとしてみると同じではあるものの, ジェスチャとしては意味の異なるE, Jを実装することにした.

13

第4章 設計

4.1 構成設計は現在はWindowsXPのみでしか動作確認を行っていないが, 最終的に

Linux, Windows両方に対応しやすいよう, OSに依存する部分のクラスと分類している.

4.2 ウィンドウの操作ウィンドウの操作方法であるが以下のように規定し, 実装を行った.

ウィンドウの選択

選択のジェスチャはマウスポインタを動作させることができる. 実験中ジェスチャのタイプによって直接ウィンドウを指すものがあったが,現段階ではウェブカメラから得られる映像の解像度は低いので映像をそのまま実際のデスクトップのサイズにマッピングするのは難しい. よってノートＰＣによく取り入られているタッチパッドの動作を実装することで, ある程度の正確な動作を実現できるようにした.

選択のジェスチャから異なるジェスチャへ移行した時, そのポインタ部分にウィンドウがあれば, アクティブ1にしている. これによってウィンドウの選択完了となるこのジェスチャによる遷移に正当性を与えるにあたってどのようにウィンドウを選択したらよいかの考察を以下に示す.本研究でこの考察を示す理由としては, Wizard-of-Oz法があくまでもシステムがない状態でのシミュレーションのための技法であり, 実際の結果がそのまま実装不可能なケースを引き起こす場合があることを明らかに示すためである.

ウィンドウ選択手段の考察 当初, 他のジェスチャに移行する時ではなく, 選択のジェスチャを行っている状態でウィンドウを前面にし, アクティブにしたいと考えた. なぜなら別のジェスチャに変化した場合にアクティブになるより

1本研究でウィンドウをアクティブにすると言った場合, ウィンドウを最前面し, アクティブにすることを指す.

14

も, 被験者にも理解しやすいと考えられるからである.しかし実際以下の問題が発生し困難と考えた

• ウィンドウをアクティブにしようとしているのか, マウスポインタを移動しているのか判別が困難.

• ウィンドウ上にポインタがきた場合にアクティブにするケースを考えると, ポインタ移動時にアクティブにしたくないウィンドウがアクティブになり, 他のウィンドウを隠す可能性.

これにより最終的に意識的にウィンドウをアクティブにすることが可能である上記の方法にすることに至った.

ウィンドウの移動

ウィンドウを移動する際に必要である条件として,

• 移動するウィンドウがアクティブである.

• マウスポインタが移動するウィンドウ上にある.

という 2つ挙げた.前者はユーザにどのウィンドウを操作するべきかについてを示している. 後者はジェスチャの誤認識を減らすとともに, 選択から移動というジェスチャの流れを意識したものとなっている.

ウィンドウの拡大・縮小

ウィンドウを拡大・縮小するには基本的に意識しているものはウィンドウの移動と同じである.

• 拡大・縮小するウィンドウがアクティブである.

• マウスポインタが拡大・縮小するウィンドウ上にある.

ウィンドウを閉じる

ウィンドウを閉じるジェスチャも上記 2つ, 移動, 拡大・縮小と条件は等しい

• 閉じるウィンドウがアクティブである.

• マウスポインタが閉じるウィンドウ上にある.

15

4.3 フィードバックユーザへのフィードバックとしては以下のものとなっている.

• ユーザの行っているジェスチャの映像, また取得できている指先へ色を塗る.

• 現在行っているジェスチャがどのような操作であるかウィンドウ上に表示する.

その他, 音, またデスクトップへ描画することにより, ウィンドウにアフォーダンス2を与える等を考えているが, 今回は設計には入れていない.

2アフォーダンスとはノーマンの定義によると [8]

16

第5章 実装

5.1 ジェスチャ認識ジェスチャ認識は Jakubらの論文 [6]を参考にしている.背景を黒にすることで余分なノイズを減らし, コンピュータで余分に複雑なイメージ処理をすることを避け, ユーザの手と背景を最終的に二値化して表現した 5.1右図. この画像から手と背景の境界線を抽出, その値から, 指先と指先の方向という特徴を検出, ジェスチャを判断させた.下図 5.1は指先とその方向を検出し, 色づけしたものである. 5.1の左の図は実際にユーザへのフィードバックとして与えている.

図 5.1: 実験環境

5.2 フィードバック5.1の左図以外にもユーザへ以下のフィードバックを用意した. 行っているジェスチャを示すフィードバックとして, 以下の画像を表示している.

17

図 5.2: 操作内容の表示

これらの図はウェブカメラから入力される画像を解析した結果とジェスチャの移り変わりから, 状態を判断し, その結果にあわせ, 変化する.すべてを合わせた最終的なデスクトップ画面は以下の図 5.3のようになった.

図 5.3: デスクトップ画面

このシステムを使用し, 次の章では評価を取る.

18

第6章 評価

評価は上記システムを実際に使用してもらい, 実際にウィンドウの選択・移動・拡大・縮小・閉じるを行うことが可能であるか調査した.

6.1 実験被験者は 5人である. この 5人にはシステムを直感的に操作してもらうため,どのようなジェスチャが存在するかは知らせていない. ウィンドウ操作に当たり私が説明した内容は以下である.

• 3つの操作可能なウィンドウと, 2つの操作不可能なフィードバックのためのウィンドウがあること

• フィードバックは現在のジェスチャがどのような状態を示しているか. (図5.2の存在の説明)

• カメラが取得しているジェスチャが映し出され, 検出している指に色が塗られていること. (図 5.3)

• ジェスチャでウィンドウを選択・移動・拡大・縮小・閉じることが可能であるということ.

• 自由にジェスチャを行ってよいこと. 両手が使用可能であること.

そして, どのジェスチャも 3分間操作してもらい, できなかった場合にヒントとしてどのようなジェスチャを行えばよいか言葉で示した.

• 選択:ウィンドウを指してください

• 移動:ウィンドウをつかむ動作を行ってください

• 移動:両手を使ってかまいませんと明らかに示唆

• 閉じる:ウィンドウの閉じるボタンから連想してください

各操作で 5分経過した場合には, 解答として操作方法をジェスチャで示した.

19

6.2 結果被験者をA, B, C, D, Eとする. 全員, 情報系の学生で, コンピュータの扱いには慣れている. 以下に表として結果を示す.ここで図中に出現する”h”とはヒントを 3分後に与えたという意味である. また”*”がついている欄は 5分経過しても被験者が操作するためのジェスチャを思いつかなかったことを指す.例えばCの閉じる欄にある”5+h *”とは 3分後にヒントを与えて 5分経過してもジェスチャが思いつかなかったことを指す.

時間 (分)人 選択 移動 拡・縮 閉じる

A 0 4+h 0 0

B 3 2 0 3+h

C 3+h 3+h 0 5+h *

D 0 3+h 0 5+h *

E 0 3 0 2

平均 1. 2 3 0 3

表 6.1: 実験結果

次章でこの結果について考察する.

20

第7章 考察

本章では 6章の評価について考察する.

7.1 実験結果の考察表 6.1を参照し各操作について述べる.

選択 選択であるが一人ヒントを要求したものの, 他 4人はヒントは必要がなかった. つまりウィンドウを指してくださいというフィードバックを最初から与えることによって, このジェスチャは現段階では完全に扱うことができると考えられる.

移動 ウィンドウ移動のジェスチャは 6割がヒントを必要とした.つかむ事まで考える被験者はいるのだが, 上からつかむ動作 (図 7.1左)であったり, 掴む動作で最終的に指を閉じてしまう状態 (図 7.1右)になってしまうため, 認識ができない状況が多かった.

図 7.1: 左：ウィンドウを上からつかむジェスチャ右:ウィンドウを横からつまむジェスチャ

拡大・縮小 拡大・縮小はすべて時間が 1分以内で行うことが全員できた. しかし, 実際行った被験者がジェスチャは当初予定していた実装したジェスチャとは違うジェスチャであった.被験者の全員は手を広げたジェスチャを必ずする. そのときにカメラの外に親指があるため, 4本指 7.2となり誤認識が起きてしまったのが原因である.実装のミスから起きた間違えではあるがいくつかわかったことがある.

• 被験者はまず非常に簡単な手の形からはじめる.

21

• 被験者は学習したことを優先とする.

前者は, 被験者のほとんどがまずシステムの感触を確かめるように手を広げた自然なジェスチャから始める. これがご認識の原因となった.後者であるが, 被験者は最初に行ったジェスチャでウィンドウサイズを変更できると, それについてどのように行ったか学習しようとする. 一度動かし方を知ると, そのジェスチャが正しいと思い込む. つまり直感的に行ったジェスチャからそれに対するフィードバックを学習し, 様々なジェスチャを試し, 動作を学習する.

図 7.2: 誤認識したジェスチャ

閉じる 閉じるジェスチャであるが, 5分以内にウィンドウを操作できなかったジェスチャはこれのみであり, 今回実装した中のジェスチャでユーザ一番思いつかないジェスチャという結果となった.また一部のユーザには速い時間で思いつく結果となっている.原因として, 閉じるジェスチャの元となったウィンドウズの×印 7.3についてユーザの注目度合いが考えられる.このアイコンは不断はそれほどユーザに意識されることがない. つまり×印を押すという行動をかなり意識的に行い, ウィンドウを閉じるということがあまりないように思われる.これはWindowsXPに慣れている人ほど, 起こりやすいと思われる. このため,情報系の学生であるが, なかなか思いつかない学生が多いと考えられる.

22

図 7.3: 誤認識したジェスチャ

7.2 将来課題以上の考察から

• 全く経験を必要としない直感とある程度経験を必要とする直観の区別

• ユーザの学習性の考慮

• 直感, 直観, 学習性を向上させるフィードバックの研究

が将来研究に必要であると考える.これらを考察することにより, より人が簡単に扱えるジェスチャを追求することが可能であると思われる.その他にジェスチャ認識を toolkit化することにより, 様々な環境でコントローラとして使用可能にすることを考えている.

23

第8章 結論

本研究では低コスト, 人がより簡単に扱えるコントローラを求め, ジェスチャ認識システムの構築手法を提案し, 実際にケーススタディとしてウィンドウ操作のためのジェスチャ認識システムを構築した. またその評価を行うことにより, 一部のジェスチャは直感的に扱えることがわかり, また他のジェスチャには簡単に扱えるコントローラにするための課題を見出すことができた.今後は toolkit化を達成させ, 様々な環境でのジェスチャ認識システムの構築を行い, その結果からジェスチャに必要な直感性, 直観性, 学習性について追求することにする.

24

謝辞

本研究のために指導していただいた中島達夫教授, また我がグループのリーダであり, 幅広く多大な情報を提供していただいた徳永さん, 本研究について夜遅くまで話し合ってくださった小林さんに厚く御礼申し上げます.また様々な面でサポートして下さった若林さん, 助言を与えてくださった先輩,同輩方, 友人に深く感謝します.

25

関連図書

[1] Mark Weiser, ”The Computer for the 21st Century”, Scientific American,

p94-104, Sep 1991

[2] Caroline Hummels, Pieter Jan Stappers, ”Meaningful Gesture for Human

Computer Interaction: Beyond Hand Postures”, IEEE Computer Society

Press, pp. 591-596, 1998

[3] 岡本 昌之, 山中 信敏, ”Wizard of Oz法を用いた学習対話型Webエージェントの構築”,人工知能学会論文誌 17巻 3号, p293-300, 2002

[4] Intel R©, ”OpenCV”, http://www.intel.com/research/mrl/research/opencv/

[5] 米岡充裕, 林正樹, バーチャルアクターのジェスチャー自動生成に関する検討

[6] Jakub Segen, Senthil Kumar Brll Laboratories,”Human-Computer Inter-

action using Gesture Recognition and 3D Hand Tracking” , IEEE,1998

[7] Shahzad Malik, Joe Laszlo, ”Visual Touchpad: A Two-handed Gestural

Input Device”, Department of Computer Science University of Toronto

[8] Donald A. Norman, ”The Psychology of Everyday Things”, Basic Books,

1988

[9] Shahzad Malik, ”Real-time Hand Tracking for Interaction”

26