インタラクティブシステムとソフトウェアVII
日本ソフトウェア科学会WISSﾕ99, 近代科学社, 1999.12.1-3.

FieldMouseによる実世界インタラクション Real-world Interaction with the FieldMouse

椎尾一郎　　増井俊之　　福地健太郎 *

Summary. We introduce an inexpensive position input device called the FieldMouse, with which computer can tell the position of the device on any paper or a flat surface without using special input tablets or position detection devices. A FieldMouse is a combination of an ID recognizer like a barcode reader and a mouse which detects relative movement of the device. Using a FieldMouse, a user first detects an ID on paper by using the barcode reader, and then drags it from the ID using the mouse. If the location of the ID is known, the location of the dragged FieldMouse can also be calculated by adding the amount of movement from the ID to the position of the FieldMouse. Using a FieldMouse in this way, any paper or a flat surface can work as a pointing device that support absolute position input, just by putting an ID tag somewhere on the surface.

1 　はじめに

遍在するコンピュータ[18]、携帯する／身につけるコンピュータにより、コン ピュータは実世界で使用されるようになりつつある。そこでは、コンピュータの存在 を透明にすることと[10]、日用品を使った直感的な操作を提供すること[6]が重要にな る。このような、コンピュータにより強化された環境を実現するために、従来の机[3] [19]や紙[2][1]などを使って情報を入出力するシステムが多数試作されている。

このようなシステムにおいて、実世界情報とコンピュータ情報を変換することが重 要な課題である。たとえば、多くの拡張現実 (AR: Augmented Reality) システムでは、ユーザとシステムの位置を検出するために、ビデオカメラや3D位置トラッカーが使 われている。これらのデバイスは通常、重く大きく高価であり、調整が面倒である[4]。 紙や平面上でのユーザ操作を入力するためにも、通常タブレットやビデオカメラが使 われる。普通の紙や机の機能を強化するためにはこのような装置が不可欠であった。

そこで筆者らは、FieldMouseと名づけた安価な入力装置を提案する。これにより特 別なタブレットや位置検出装置を使わずに、任意の紙や平面の上での位置入力が可能 になる。FieldMouseは、バーコードリーダのようなIDタグ認識装置と、マウスのよ うな相対位置検出装置を組み合わせた入力デバイスである。最初にユーザは、本装置 で場所のわかっているIDタグを読み込む。つぎに本装置を動かすと、相対位置検出 部からの情報によりその場所の絶対位置を知ることができる。

*Itiro Siio, 玉川大学工学部, Toshiyuki Masui, ソニーCSL, Kentaro Fukuchi, 東京工業大学

FieldMouseにより、平面にバーコードなどのIDタグを貼るだけで、任意の紙や平面 をタブレットのような絶対位置入力装置として利用することができる。またIDタグ を読み込んだ後の移動量や方向を解析することで、従来のコンピュータ画面でのGUI (Graphical User Interface)に基づく操作を、紙や任意の平面の上で実現することができ る。

2 　FieldMouse

FieldMouseはIDタグ検出装置と相対位置検出装置の任意の組み合わせで構成され る。前者にはバーコード、二次元コード、RFID (Radio Frequency Identification)リーダなどが、また後者にはマウス、ジャイロ、加速度検出装置などが利用可能である。

最も簡単な組み合わせは、ペン型のバーコードリーダとペン型の機械式マウスの組 み合わせである。図1に、機械式ペンマウス(APPOINT社Computer Crayon)とバーコードリーダ(AIMEX社BR-530AV)*1を組み合わせた実装例を示す。

機械式マウスは通常精密な位置入力装置として設計されていないので、精度に問題 があることが予想された。そこで一般的な再湿壁紙（東急ハンズH-8701）の上での移 動量に対するマウスのロータリーエンコーダカウント値を測定して、再現性と直線性 を調べた。使用したマウスは80cmのx,y方向の往復において3%未満の誤差であった ものの、斜め45度方向の移動では30%カウント値が減少した。しかしこの角度依存 特性は再現性があったため、移動方向角度に対してカウント値を補正することで全体 の誤差を5%程度に押さえることができた。この程度の誤差が受容できる用途におい ては、機械式マウスを位置入力装置として利用できる。

マウス移動量の誤差は、原点のIDタグからの移動量と共に累積する。FieldMouseを 原点に戻して移動し直すと、累積誤差は解消する。移動量が多く、かつ精度が要求さ れる分野への応用分野では、IDタグを複数の場所に貼りつけ、補正の機会を増やして 精度を改善する手法も考えられる。

FieldMouseの相対位置検出部には、固体ジャイロ素子を利用することもできる。図 2に、ペン型のバーコードリーダと回転運動を検出するためにジャイロ素子を内蔵し た「ジャイロマウス」(Gyration社GyroPoint)*2を組み合わせた実装例を示す。ジャイ ロ素子を利用した相対位置検出精度は良くないものの、平面に押し当てることなく空

図1. FieldMouseの例。機械式ペンマウスとバーコードリーダの組み合わせ。

図2. ジャイロ式マウスを使ったFieldMouse。

*1 http://aimex.co.jp/ *2 http://www.gyration.com/html/gyropoint.html

中で使用することができるので、機械式マウスに比べてジェスチャー入力が容易であ る。

以下では、実際に試作したシステムを交えて、FieldMouseの応用について述べる。

3 　指示型アプリケーション

平面上の対象物を指示するデバイスとして用いることが、FieldMouseの最も単純な 応用である。GUI画面におけるポイント＋クリック操作が、FieldMouseのIDタグス キャン＋ドラッグ＋クリック操作で実現できる。これにより、任意の紙や平面の任意 の点が指示可能になる。

例えばWWWページのハードコピーにバーコードが一つ印刷されていれば、ハード コピーの中の複数のリンク情報にアクセスすることが可能である。また、雑誌の全 ページの余白にバーコードが印刷されていれば、雑誌の任意のページがタブレットの ように利用できる。

3.1 　ActiveBook

Active Bookは、ページの一部に貼りつけたバーコードを起点に、FieldMouseを動か すことで、紙の上に埋め込まれた情報にアクセスできる本である。図3は試作した Active Bookの例である。絵本のページの左上のバーコードを読み取った後、登場人 物の上に移動してボタンをクリックすると、登場人物の台詞が音声で再生される。

この実験絵本は、Living Booksシリーズの製品[13]を元にして作られた。これはコ ンピュータ画面に絵本の画面を表示して、ユーザが画面の中のキャラクターをクリッ クすることで音やアニメーションを楽しむことができるインタラクティブ絵本の一つ である。製品には、オリジナルの紙の絵本が付属している。

図3のActiveBookの各ページはHTMLで記述されている。Living Booksのソフトウェアで使われている音声データを抽出して、これへのリンクをHTMLのクリッカブ ルマップに埋め込んだ。紙の絵本の各ページの隅に、このHTMLファイルの名前をエ ンコードしたバーコードラベルを貼りつけた。FieldMouseにより、ページの中のバー

図3. 試作したAcriveBook。(*3)

図4. AcriveBookのオーサリング。(*3)

*3 ｩ1994-1999 The Learning Company and Mark Schlichting ｩ1987, 1994 Marck Schlicting

コードが走査されると、対応するHTMLファイルが読み込まれ、次に絵本の中のキャ ラクターの一つが選択されると、ここに埋め込まれた音声データが再生される。

HTMLを採用したことで、クリッカブルマップをサポートしている数多くのHTML エディター（たとえば図4）をオーサリング作業に利用できるメリットがある。さら に、サウンドデータ以外にもさまざまなデータをWWW経由で配布することができる メリットもある。また、作成したHTMLファイルをWWW上で公開する目的に流用 することも可能である。

絵本のほか、(1) テレビ番組雑誌に適用して、赤外リモコンインタフェース経由で録 画予約を行なったり、チャンネルを切り替える、(2) 地図帳に適用して、ナビゲーションシステムに目的地や現在地を入力する手段として使う、(3) ビデオテープタイトルやカラオケ曲名のメニューブックに応用して、目的のコンテンツの再生を行なうなどの 応用が可能である。

本のリンク領域すべてにバーコードを配置すれば、FieldMouseを使用しなくとも Active Bookを実現できる。これに対してFieldMouseを使った手法は、ページ毎に1 個のバーコードを貼りつけることで実現できるので、バーコードが本来の印刷情報の 邪魔になりにくいという利点がある。

４ 　紙GUI

FieldMouseは、オブジェクトを指示する以外に、紙を使ったさらに複雑なGUIの手 段としても使用できる。図5は紙GUI部品を採用したTVリモコンである。ユーザが スライダーの上のバーコードをFieldMouseで読み取った後、左右に動かすと、その移 動量が検出される。これによって、音量などのアナログ量のコントロールをおこな う。また、パイメニューのバーコードを読み取った後、さまざまな方向に移動させる ことで、パイメニューの項目にある入力ソースを切り替えることもできる。

紙GUIの手法により、従来のバーコードの応用分野が拡がる。通常のバーコードは、 GUIで言うところのボタンの役割を果たしており、アナログ量をコントロールするこ とはできない。また、通常のバーコードによるメニュー選択システムでは、一つの バーコードに対して一つの機能が割り当てられる。FieldMouseでバーコードを読み取 れば、従来のバーコードにアナログ量をコントロールするスライダーや、複数の選択 項目のあるメニュー機能を加えることができる。Active Bookにおいても、台詞言語

図５. 紙リモコン。

図６. 紙リモコン（AV機器の接続切り替え）。

の切り替えや音量調整に紙GUIを使うことができる。

図6は、VCRやTVなどのAV機器を操作するための紙GUIである。複数の機器が IEEE1394のような高速シリアルバスに接続されれば、簡単な配線でAV機器を集中管 理できる。しかし明示的な入出力信号配線によってAV機器を区別することができな くなるので、現在のAV機器操作以上にユーザが混乱することが予想される。例えば それぞれのAV機器に名前を付けて、ﾓcopy VCR1 to VCR2ﾓという操作をコンソールやリモコンのボタンで行う操作が考えられるが、機器の名前や入出力指定の順 番を覚えておく必要があり、誤操作を招きやすい。

FieldMouseを使った紙GUIにより、AV機器の接続操作が簡単に行なえる。図6の 紙にはVCRやTVの絵がバーコードと一緒に描かれ、それぞれが線で結ばれている。 映像信号の出力と入力を指示して接続するためには、ユーザは信号の流れに従って二 つの機器を結ぶように紙の上をなぞるだけでよい。信号の流れとFieldMouseの移動が 対応するので、直感的な操作が実現される。

図5、図6のバーコード以外のグラフィカルな表現は、従来の画面GUIにおける3D 表現されたボタンと同様、ユーザ操作の視覚的な手がかりとなる。紙GUIにおける FieldMouseの動きをユーザにアフォードするように、この部分をデザインすることが 重要である。

5 　簡易型ARシステム

FieldMouseを実世界の平面の位置検出装置として用い、コンピュータ情報を表示す る携帯型ディスプレイと組み合わせることで、簡易型のARシステムを作ることもで きる。

5.1 　Scroll Browser

図7は壁の中にある情報を閲覧するための装置、Scroll Browserである。これはFieldMouseと片手で持つ携帯ディスプレイを組み合わせたシステムである。ユーザが FieldMouseで壁の上をこすると、ディスプレイに表示された内容がスクロールして、 指示した場所の壁の中の配線や柱の様子をのぞき見ているかのような幻想を得ること ができる。

現在のほとんどのARシステムは3Dのモデルを採用しているが、2Dだけでも十分 な応用分野は多い。たとえば、改築やメンテナンスのために、壁や地下の配線や配管 の様子がわかると便利である。

このような応用で情報を表示するためには、平面の上の2Dの位置検出ができれば 十分である。その有用性を確認するために、図8に示す90cm x 90cmの大きさの合板に壁紙を貼りダミーの壁を作り、この中の様子を表示するシステムを試作した。ダ ミーの壁の中央にはスイッチを埋め込み、背面には電気配線と柱を取りつけた（図 9）。壁の表面には、アイコンや説明が添えられた複数のバーコードステッカーが貼り つけられている。ユーザが一つのバーコードをFieldMouseで読み取ると、それぞれに 対応する画像がディスプレイに表示され、FieldMouseの移動に伴って反対方向に移動 量だけスクロールする。図9は壁の裏を閲覧するときに表示される写真である。

このシステムは非常に大きな図面を直感的にスクロールしながら閲覧する目的でも

図７. Scroll Browserで壁の中の配線を閲覧している様子。

図８. 試作した試験用の壁。

図9. 試験用壁裏側の写真。

図10. ねずみのイラスト。

利用できる。図10は壁の中で遊ぶネズミの大きなイラストであり、ユーザがこれを 選択するとその一部を覗き見するような感覚で閲覧することができる。

6 　プログラミングとオーサリングへの応用

ARシステムの多くは、コンピュータ情報を実世界に結びつける簡単な手段や、プ ログラムを書く手段を提供していなかった。FieldMouseのように実世界の任意の面を

指示できる装置により、実世界指向プログラミング[8]やオーサリングを容易にするこ とができる。

例えば目的地に近づいたらスケジュール情報を表示する機能を、位置を知ることが できるPDAに実現する場合を考える。おそらく、以下のようにPDAをプログラムす ることになるであろう。

dest.longitude = 135.2358;
dest.latitude = 39.3871;
if(distance(curpos, dest) < 500.00) {
show_schedule; }

このプログラミングでは、実行時に文字情報が使われないのにもかかわらず、文字 ベースのプログラミング言語を使用している。ちょうどビジュアルなツールを使用せ ずにGUIプログラムを開発する状況に相当する。ビジュアルなGUI のプログラミングに、ビジュアルプログラミング環境を使うと、プログラムの表現と操作対象が近い ために、理解が容易になる。同様に、実世界の対象を扱う実世界指向プログラミング では、実世界の事物を使ってプログラムすることが適していると考えられる。上記の 例では、距離比較の式と目的地に近い状況の間に直感的な対応関係が無いため、現在 地点が目的地に近づいている状況を表現するプログラムが面倒になっている。

FieldMouseのようなデバイスを使用すれば、このプログラム作成は容易になる。例 えば、同様のプログラムは以下の手順で作成できる。

・PDAをマクロ定義モードに切り替える

・FieldMouseを紙の地図の上でドラッグして領域指定を行い、if文の条件の部分 を指定する

・PDAを操作してthen文の実行内容を指定する

・マクロ定義モードを終了する

ActiveBookで現在採用しているHTMLエディターによるオーサリング方法のかわり に、絵本の上のリンク領域をFieldMouseで囲むようにドラッグして直接指定するオー サリング方法も考えられる。同様に、任意の情報を、バーコードさえ貼ることができ れば、簡単な直接操作で実世界平面に貼りつけることが可能である。

7 　関連研究

さまざまなARシステムの研究に加えて、実世界とコンピュータ情報とのギャップ を埋めるための試みが多数ある。

MEMO-PEN[9]システムは、圧力センサーと小型カメラを使用して、ペンストロー クを記憶するシステムである。これをFieldMouseのID認識部として用いることもで きる。

ActiveBookのように、実際の紙にコンピュータの情報を結びつけるさまざまの手法 が研究されている[2][16][17]。またIBMのCrossPad[1]は紙に手書きされたメモ書きを コンピュータ情報とリンクさせる最初の製品である。

AcriveBookでは、開けられている本のページをバーコードで識別した。PaperIcons [11]やEnhancedDesk[7]では二次元コードを、また、Ultra Magic Key[17]ではページに印刷された特殊な図形をビデオカメラで読み込み、画像処理によりページを識別して

*4 http://www-nishio.ise.eng.osaka-u.ac.jp/AMCP/

いる。ビデオカメラを使用すれば、指先などによる直接的な操作が実現できる。これ に対してActiveBookはペン型デバイスを必要とするものの、ビデオカメラが不要で、 安価で設置場所を選ばないという特徴がある。

Chameleon[5]やNaviCam[12]はScroll Browserと同様な携帯ディスプレイを使用して位置依存情報を提示する。Scroll Browserは、IDタグを貼るだけで安価に容易に設置できる簡易版Chameleonといえる。NaviCamではビデオカメラで撮影した実世界の画 像をコンピュータ情報と合成して表示している。Scroll Browserは平面上にデバイスを当てて使用するので、コンピュータ情報の帰属する場所が明白であると考え、実世 界画像の合成を行なっていない。

IconSticker[15]は、デスクトップメタファーのアイコンを、アイコンイメージとバー コードが印刷されたステッカーとして実世界に取り出し利用するシステムである。 FieldMouseをIconStickerと統合することで、コンピュータ情報を実世界に結びつける 操作をさらに容易に実現できる。

Scroll Display[14]は、超小型ディスプレイで大きな情報をスクロールしながら閲覧 する操作を容易にする目的で、小型携帯コンピュータの背面にマウス装置を組み込ん だシステムである。携帯コンピュータを机上で移動すると、これに同期して表示内容 がスクロールする。これにより、あたかも大きな文書の一部をディスプレイ枠を通し て閲覧しているかのような操作感をユーザに提供する。Scroll Browserは、Scroll Dis playを拡張してAR分野へ応用したシステムである。

7.　評価

試作したアプリケーションの内、図1に示した機械式マウスを使ったFieldMouseに よるScroll BrowserとActiveBookのシステムを、デモンストレーション発表などで実 演した。とくに、Scroll BrowserはDynamic Media Contest (*4)に出品して3日間にわたりのべ374名の見学者にデモを行なった。

Scroll Browserは90cm x 90cmのダミー壁の全体で、電気配線やねずみのイラスト(図 9および図10)などをスクロール表示するデモを行った。ActiveBookは、B5 変形サイズの絵本のページに、3cm x 3cm程度以上の選択領域を複数設定して、サウンドファイルをアクセスした。いずれの用途においても、機械式マウスを使ったFieldMouseは 十分を持っていたので、安価なデバイスにも関わらず快適な操作が実現できているこ とが評価された。

一方、ペン型マウスの平面に対する角度の許容範囲が狭かったため、ペン型マウス に慣れていない使用者は、特に垂直の平面を対象にしたScroll Browser システムにおいて、角度を一定に保てずスクロールに失敗することがあった。接地角度が保たれる ような形状（たとえば3 点以上で接地する箱形）の検討が必要である。

本装置では、マウスの傾きを計測していないので、正しい座標値を得るためには、 マウスをまっすぐに持つ（マウスの水平・垂直軸を本や壁の水平・垂直軸に合わせる） 必要がある。しかし、このことを操作上の注意として説明することで、試用したほと んどの見学者は、問題なく操作することができた。

長時間操作しているうちに、スクロール動作 が不安定になる現象が現れた。これも、大きな平面を対象とするScroll Browserのデモで顕著であった。壁紙を対象にした場合の、機械式マウスのカウント値の変化を図11に示す。これによると5m 程度の移動

図11. 壁紙上での移動距離に対するマウスカウントの変化。

でマウスボールがスリップしはじめる様子がわかる。マウスボールを洗浄すると正常 に戻ることから、壁紙の汚れ（壁紙の繊維もしくは糊）をマウスボールが巻き込み、 内部ローラーとの接触が不良になっていると推定できる。本や書類のような清浄な平 面でなく、壁や床を対象にして本装置を実用化する場合には、汚れにくいボール素 材、クリーニング機構、非接触な移動検出方式などを検討する必要がある。

8.　まとめと今後の予定

バーコードラベルなどを貼りつけた任意の平面の上での位置を入力できる新しい入 力装置FieldMouseを提案した。また、これを使用したさまざまなアプリケーションに ついて、一部の実装例と共に紹介した。

今後もアプリケーションの検討、実装、有用性評価をすすめていくと同時に、現在 使用している位置センサやIDリーダ以外の組み合わせを検討して、改良していきた い。

[謝辞]

Living Booksシリーズ「ハリー君とおばけやしき」の絵本、ソフトウェア プログラム内における画像、音声の使用許可をいただいたザ・ラーニングカンパニー（株）に 感謝する。

本研究は、新エネルギー・産業技術総合開発機構(NEDO)「新規産業創造型提案公募 事業」の支援を受けた。

[参考文献]

1.

CrossPad. http://www.cross-pcg.com/.

2.

Toshifumi Arai, Dietmar Aust, and Scott E. Huson. Paperlink: A technique for hyperlinking from real paper to electronic content. In Proceedings of the ACM Conference on Human Factors in Computing Systems (CHIﾕ97), pages 327-334. Addison-Wesley, April 1997. http://www1.acm.org:82/sigs/sigchi/chi97/proceedings/paper/seh.htm.

3.

Toshifumi Arai, Kimiyoshi Machii, Soshiro Kuzunuki, and Hiroshi Shojima. Interactive desk: a computer-augmented desk which responds to operations on real objects. In CHIﾕ95 Conference Companion, pages 141-142. Addison-Wesley, May 1995.

4.

Ronald T. Azuma. A survey of augmented reality. Presence: Teleoperators and Virtual Environments, 6(4):355-385, August 1997. http://www.cs.unc.edu/azuma/ARpresence.pdf.

5.

George W. Fitzmaurice. Situated information spaces and spatially aware palmtop computers. Communications of the ACM, 36(7):39-49, July 1993. http://www.acm.org/pubs/citations/journals/cacm/1993-36-7/p39-fitzmaurice/.

6.

Hiroshi Ishii and Brygg Ullmer. Tangible bits: Towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM Conference on Human Factors in Computing Systems (CHIﾕ97), pages 234-241. Addison-Wesley, April 1997. http://www.acm.org/sigchi/chi97/proceedings/paper/hi.htm.

7.

Motoki Kobayashi, Hideki Koike. EnhancedDesk: Integrating Paper Documents and Digital Documents. In Proceedings of Asia Pasific Computer Human Interaction (APCHI 98), pages 57-62. IEEE Computer Society, July 1998.

8.

増井俊之:実世界指向プログラミング, 第40 回プログラミングシンポジウム報告集, pp.19‐ 25, 1999.

9.

Shinji Nabeshima, Shinichirou Yamamoto, Kiyoshi Agusa, and Toshio Taguchi. MEMO-PEN: A new input device. In CHIﾕ95 Conference Companion, pages 256-257. Addison-Wesley, May 1995. http://www.acm.org/pubs/citations/proceedings/chi/223355/p256-nabeshima/.

10.

Donald A. Norman. The Invisible Computer: WhyGood Products Can Fail, the Personal Computer Is So Complex, and Information Appliances Are the Solution. The MIT Press, 1998.

11.

Jun Rekimoto. Pick-and-Drop: A Direct Manipulation Technique for Multiple Computer Environments. In Proceedings of the ACM Symposium on User Interface Software and Technology (UISTﾕ97), pages 31-39. ACM Press, October 1997

12.

Jun Rekimoto and Katashi Nagao. The world through computer:. In Proceedings of the ACM Symposium on User Interface Software and Technology (UISTﾕ95), pages 29-36. ACM Press, November 1995.

13.

Mark Schlichting. Harry and the Haunted House. Living Books, 1994.

14.

Itiro Siio. Scroll display: Pointing device for palmtop computers. In Asia Pacific Computer Human Interaction 1998 (APCHI98), pages 243-248. IEEE Computer Society, July 1998.

15.

Itiro Siio and Yoshiaki Mima. IconStickers: Converting computer icons into real paper icons. In Proceedings of HCI Internationalﾕ99, August 1999. to appear.

16.

Lisa J. Stifelman. Augmenting real-world objects: A paper-based audio notebook. In CHIﾕ96 Confer-ence Companion, pages 199-200. ACM Press, April 1996. http://lisa.www.media.mit.edu/people/lisa/chi96.html.

17.

Hiroshi Usuda and Mitsuhiro Miyazaki. The multimedia interface using ﾔpaperﾕ: Ultra Magic Key. In Proceedings of Asia Pacific Computer Human Interaction 1998 (APCHIﾕ98), pages 393-397. IEEE Comnputer Society Press, July 1998.

18.

Mark Weiser. Some computer science issues in ubiquitous computing. Communications of the ACM, 36(7):75-84, July 1993.

19.

Pierre Wellner. Interacting with paper on the DigitalDesk. Communications of the ACM, 36(7):87-96, July 1993.