インターネットを用いたマルチメディア通信会議，遠隔教育，分散仮想環境における協調作業，及びネットワーク型ゲーム等の分散マルチメディアアプリケーションに対する要求が高まっています．
この種のアプリケーションにおいて，コンピュータデータ，ビデオ(視覚メディア)，音声(聴覚メディア)だけでなく，触覚，味覚，嗅覚メディアが一緒に扱われようとしています(すなわち，五感情報通信)．
当研究室では，このうち，視覚･聴覚･触覚･嗅覚メディア通信を研究対象としています．

インターネットのようにサービス品質(QoS: Quality of Service)が保証されないネットワークを介して，これらのメディアを転送すると，ネットワーク遅延やその揺らぎ，及びパケット欠落等によって，それらのメディアのQoSが大きく劣化する可能性があります．これを避け，高品質な分散マルチメディアアプリケーションを実現するためには，QoS制御が必要となります．

当研究室では，分散マルチメディアアプリケーションの代表例として，触覚メディアを用いた協調作業，触覚を利用した遠隔制御システム，触覚メディア・ビデオ伝送システム，嗅覚・触覚メディア伝送システム，ネットワーク型リアルタイムゲーム，力覚フィードバックを用いた遠隔ロボットシステムを扱っています．以下に，これらの概要を示します．

触覚インタフェース装置を用いて，3次元仮想空間内のオブジェクトに触り，遠隔設計や手術シミュレーション等の協調作業を行います．触覚メディアと音声やビデオを併用することによって，作業効率が大きく改善されることが期待されます．

下の図では，二人の利用者が触覚インタフェース装置を用いて，3次元仮想空間内のオブジェクト(剛体の立方体)を挟んで動かし，オブジェクトが目標物体(球)を内包するように動かしている様子を示しています．なお，目標物体は，円軌道に沿って等速円運動しています．

触覚インタフェース装置を用いた協調作業（デモビデオ）

従来の研究の多くは，3次元仮想空間内のオブジェクト数が少なく，単純な作業を扱っています．そこで，本研究では，複数のオブジェクト（26個の積み木）からなる積み木遊びを検討対象としています．協調作業として，二人で一緒に持って積み上げる場合，別々に交互に持って積み上げる場合，手渡して積み上げる場合の三通りを扱います．そして，ネットワーク遅延揺らぎとパケット欠落が協調作業のしやすさに及ぼす影響を主観評価と客観評価より調査します．下の図では，二人の利用者が触覚インタフェース装置を用いて，3次元仮想空間内にばらばらに配置された積み木を一緒に協力しながら積み上げ，家を組み立ている様子を示しています．

触覚を利用した積み木遊び（デモビデオ）

今後，さらに多様なアプリケーションを研究対象とする予定です．

一つの触覚インタフェース装置を用いて，遠隔にある別の触覚インタフェース装置を制御します． そのようなシステムの例として，遠隔教育システム(遠隔習字システム, 遠隔描画教示システム, 遠隔ペン習字システム)及び遠隔制御システムを扱っています．
遠隔習字システムでは，下の図に示すように，３次元仮想空間において，先生が生徒の手の上から手を添えて，生徒の毛筆を誘導し，文字を教示します．生徒は，先生の筆の動きを触感することができます．
また，一人の先生が複数の生徒に対し，マルチキャスト通信により文字を教示することを可能としています．これにより，一人の生徒に文字を教示するときよりも，教育の効率化が図れます．

遠隔習字システム（デモビデオ）

遠隔描画教示システムは，先生と生徒がインタラクティブに力覚を共有できるようになっており，絵画や図形の描き方等を教示します．生徒だけでなく，先生も相互に画筆の動きを触感することができますので，高効率な運筆の誘導を可能とします．

遠隔描画教示システム（デモビデオ）

遠隔ペン習字システムでは, 下図に示すように, 両端末の触覚インタフェース装置にホワイトボードマーカーを取り付けており, 先生が生徒の端末の触覚インタフェース装置を遠隔制御することにより, 文字や図形などの書き(描き)方の教示を行います. 先生と生徒は互いに文字や図形を書いて(描いて)いるところをビデオで見ながら教示を行います.
また, 先生の端末にビデオカメラ及びホワイトボードマーカーを取り付けないシステムについても扱っています.
そして, それぞれのシステムにおいて, 先生から生徒へ力覚を片方向に伝達する場合と, 両端末間を双方向に伝達する場合について扱っており, 力覚の伝達方向とネットワーク遅延の影響を調査しています.

遠隔ペン習字システム（デモビデオ）

遠隔制御システムでは, マスタ端末の触覚インタフェース装置を用いてスレーブ端末の触覚インタフェース装置を遠隔制御し, 文字や図形を書く(描く)等の作業を行います.
このシステムにおいて, 力覚の伝達方向とネットワーク遅延の影響を調査した結果, ネットワーク遅延が小さいときには力覚を双方向に伝達し, ネットワーク遅延が大きいときには力覚を片方向に伝達する方が, 作業がしやすく感じるということが分かっています. そして, ネットワーク遅延に応じて力覚の伝達方向を動的に切り替える制御を提案しています.
また, 力覚の伝達方向を切り替える際に, 作業内容によって, 切り替えに要する時間の最適値が異なることも判明しています. そこで, 作業内容に応じて最適な切り替え時間を自動的に選択できるようにしています.

遠隔制御システム（デモビデオ）

触覚メディア・ビデオ伝送システムは，ある利用者の手元にある実際の物体の触感を，遠隔地にいる利用者に伝えます(下図参照)．下図は，ルービックキューブに触っている様子を示しています．

触覚メディア・ビデオ伝送システム（デモビデオ）

マスタ端末の利用者が実際の物体に触ったときの触感と，触っている様子をビデオでスレーブ端末の利用者に伝える場合と，スレーブ端末の利用者がマスタ端末のところにある実際の物体のビデオを見ながら，主体的にその物体に触り，触感を得る場合の二通りを扱っています．前者の場合には，触覚メディアが片方向に伝送されるのに対して，後者の場合には，両方向に伝送されます．従って，後者の場合の方がインタラクティブ性が要求されます．

このシステムを用いて，触覚メディアとビデオ間の同期誤差の影響を調査しています．特に，メディア間同期誤差の知覚限界(これ以上誤差が小さいと，気づかない)と許容限界(これ以上誤差が大きいと，許容できない)を明らかにしています．

また，上記の両方向に触覚メディアが伝送される場合のシステムを２組用いることにより，スレーブ端末の利用者は協調作業を行うことができます（下図参照）．下図は，遠隔操作されたマスタ端末の触覚インタフェース装置を用いて箱を挟んで持ち上げ，台の上に載せる作業を示しています．なお，このシステムの扱い方としては，２台の触覚インタフェース装置を一人の利用者が両手で扱う場合と，遠隔地に居る二人の利用者が１台ずつ扱う場合があります．このようなシステムは，将来的には，遠隔手術への応用が考えられます．

触覚メディア・ビデオ伝送システムを用いた協調作業

この他，このシステムにサウンドを追加して，触覚メディア・サウンド・ビデオ伝送システム（下図参照）を構築し，ネットワーク遅延の影響の調査を行っています．下図は，タンバリンを叩いている様子を示しています．

触覚メディア・サウンド・ビデオ伝送システム

今後，より高品質に触感を伝える方法を検討する予定です．

嗅覚・触覚メディア伝送システムは，香り，反力をそれぞれ提示する嗅覚ディスプレイ(SyP@D2)，触覚インタフェース装置を用いて，ネットワークを介して複数の利用者間で作業空間を共有することができます．そのようなシステムの例として，嗅覚・触覚メディア提示システムと遠隔生け花システムを扱っています．

嗅覚・触覚メディア提示システムでは，下の図に示すように，3次元仮想空間における果物狩りを行うことができます．このシステムは，利用者が仮想空間内の樹木から果実をもぎとると，果実が利用者の鼻に近付き，その果実の香りとそのときの反力を利用者に提示します．

嗅覚・触覚メディア提示システム(デモビデオ)

嗅覚・触覚メディアなどをネットワークを介して伝送すると，ネットワーク遅延やその揺らぎによって,メディア間同期誤差が発生する可能性があります．このシステムを用いて，嗅覚・触覚メディアの出力タイミングを変化させ，香りと反力の間(嗅覚及び触覚メディア間)の同期誤差の影響を明らかにしています．このシステムはスタンドアロンですが，ネットワーク化し，ネットワーク遅延やその揺らぎ，パケット欠落に対するQoS制御を検討しています．

遠隔生け花システムでは，下の図に示すように，3次元仮想空間内で，地理的に離れた先生が生徒に生け花を教えることができます．先生及び生徒が触覚インタフェース装置を用いて反力を感じながら，花を持って，茎の長さを調整し，剣山に挿すことができます．

遠隔生け花システム(デモビデオ)

花の香りは，花冠を中心として，一定距離まで届くとします．即ち，香りの届く範囲は，下の図に示すような球(香り空間と呼ぶ)となります．先生または生徒の視点が香り空間に入ると，花の香りが感じられます．

花の香り空間

ネットワークを介して，臨場感の高い生け花を実現するためのQoS制御として香りの動的出力タイミング制御などを提案しています．

ネットワーク型リアルタイムゲームとして，レーシングゲームとシューティングゲーなどを検討対象としています．ネットワーク型レーシングゲームでは，利用者は，自分の車を操作して，対戦相手の車と競争します． ネットワーク型シューティングゲームでは，自分の機体(ファイター)を移動しながら，対戦相手の機体を撃ちます．また，撃たれないように機体を障害物(ビルディング)の後ろに隠したりします．

レーシングゲーム（デモビデオ）		シューティングゲーム

触覚メディアを利用したネットワーク型ゲームとして，下の図に示すように，二人の利用者が触覚インタフェース装置を用い，仮想空間内のオブジェクト(剛体の立方体)を操作し，目標物体を消去する回数を競います．各利用者は，触覚インタフェース装置カーソルで，各自のオブジェクトを持ち上げ，目標物体を内包するように移動させます．目標物体は，どちらかのオブジェクトに内包されると消滅し，ランダムに決定される新たな場所に表示されます．因果関係，一貫性，及び利用者間の公平性を維持することが要求されます．

触覚メディアを利用したゲーム（デモビデオ）

ゲームの画面と一緒に，利用者の音声やビデオを出力することにより，更に臨場感のあるゲームを実現することができます．

また，協調作業を含む対戦型ゲームも扱っています．下の図に示すように，四人の利用者は二人ずつの組(組α，組βとする)に分かれて，触覚インタフェース装置を用いて，組内の二人でオブジェクトを挟んで持ち上げ，目標物体を内包するように移動させます．目標物体は，どちらかのオブジェクトに内包されると消滅し，ランダムに決定される新たな場所に表示されます．協調作業と競合作業を同時に扱っているため，ゲームの作業効率と公平性を維持することが要求されます．

触覚メディアを利用した協調作業を含む対戦型ゲーム

この他，嗅覚・触覚メディア提示システムを拡張した果物狩り競争ゲームも扱っています．

一人の利用者が触覚インタフェース装置を用いて，力覚センサを有する遠隔の産業用ロボットを操作する，力覚フィードバックを用いた遠隔ロボットシステムを構築し，システムの安定化と高品質化を狙い，安定化制御とQoS制御の研究を行っています．

力覚フィードバックを用いた遠隔ロボットシステムの構成

小さな文字を書いたり，柔らかさの異なるいくつかのボールを押す作業を扱い，ネットワーク遅延などが大きくなっても，文字を書くときに感じる筆圧や，ボールを押すときの柔らかさを正確に伝送するための制御を検討しています．針の穴に糸を通せるような精度の高い制御を実現します．

文字を書く作業とボールを押す作業の様子（ボールを押す作業のデモビデオ）

また，システムを二つ用いて，物体を一緒に運んだり，手渡したりする協調作業を行い，そのときに要求される時空間同期制御（同じ時間的タイミングで，同じ高さや角度で動作させる制御）を検討しています．移動可能なロボットを操作することも想定し，ロボットアームを動かしながら手渡すことなども実現しています．大きな力が物体に加わり，物体が破損するようなことがないように作業できることが必要です．

物体を一緒に運ぶ作業と手渡す作業の様子（手渡す作業のデモビデオ）

今後は，実際に移動可能なロボットを遠隔から操作することを考えています．

この他，当研究室では，以下の研究も行ってきました．

触る分散仮想博物館では，下図に示すように，利用者は触覚インタフェース装置を用いて展示物(エジプトのミイラ像，恐竜の化石，ゴッホのひまわり)に触りながら，触っている箇所の説明を自動的に聞くことができます．また，オブジェクトの重さを感じるため，そのオブジェクトを持ち上げて動かすこともできます．さらに，一人の説明員がアバタとして，展示物の向きを変えながら，音声・ビデオ等を用いて説明します．複数の利用者は，展示物に触りながら，その説明を聞くとともに，説明員に質問を行ったりします．

触る分散仮想博物館の構成（デモビデオ）

作業空間の大きさ等の仕様が異なる触覚インタフェース装置を相互接続する場合，いずれかの装置において，仮想空間内に作業を行えない領域が存在する等の問題が発生します．そこで，各装置の作業空間を仮想空間にマッピングすることで，この問題を解決することができます．協調作業と競合作業に対して，いくつかのマッピング方法を検討しています．

下図の協調作業では，二人の利用者がそれぞれSPIDAR-G AHSとFalconを用いて，3次元仮想空間内のオブジェクト(剛体の立方体)を協力して挟んで持ち上げ，オブジェクトが目標物体(球)を内包するように動かしています．なお，目標物体は，円軌道に沿って等速円運動しています．

SPIDAR-G AHSとFalconを用いた協調作業

下図では，四人の利用者が触覚インタフェース装置を用い，仮想空間内のオブジェクト(剛体の立方体)を操作し，目標物体を消去する回数を競う作業の様子を示しています．各利用者は，カーソルで各自のオブジェクトを持ち上げ，目標物体を内包するように移動させます．目標物体は，いずれかのオブジェクトに内包されると消滅し，ランダムに決定される新たな場所に表示されます．

四つの異種触覚インタフェース装置を用いた競合作業

今後，さらに多様なアプリケーションを研究対象とする予定です．

以上のアプリケーションにおいては，複数のメディアが一緒に扱われるだけでなく，時間的に相互に関係付けられています．また，インタラクティブ性が重要であり，ネットワーク遅延に対する制約が厳しくなっています．
更に，複数の利用者が参加し，一つの情報を同時に全利用者に転送することも必要となります．
したがって，ネットワーク資源の有効利用のため，マルチキャスト通信が要求されます．

当研究室では，この種の分散マルチメディアアプリケーションの高品質化･高機能化を目指して，その要素技術の研究を行っています．
要素技術として，QoS制御，メディア同期方式，及びマルチメディア通信プロトコルを中心に研究しています．