「てのひら」をタッチスクリーンにするAR技術を開発！

人類はスマホを開発し、コンピュータは持ち運ぶものになりました。

そしてAR/VR技術の発展、AR/VRグラスの登場により、どこでも仮想空間を楽しんだり、目の前にスクリーンを映し出せるようになりました。

では、次のステップは何でしょうか？

アメリカのカーネギーメロン大学（CMU）に所属するヴィマル・モリン氏ら研究チームは、「てのひら」をタッチスクリーンにするAR技術を開発しました。

近い将来、スマホのような操作デバイスすら必要のない時代が来るかもしれません。

研究の詳細は2024年10月11日付の科学誌『Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology』に掲載されました。

目次

• AR技術が踏む次のステップは？
• 「てのひら」をタッチスクリーンにする新技術

AR技術が踏む次のステップは？

私たちはVR（仮想現実）ゴーグルによって仮想世界へ旅立つことができます。

そしてAR（拡張現実）ゴーグルを利用すれば、現実世界と仮想世界を融合させることも可能です。

現実世界である自分の部屋や道に、ゲームのキャラクターを登場させたり、他の人には見えないスクリーンを作り出して映画を楽しんだりできるのです。

最近では、軽量で普通のメガネと見た目がほとんど変わらない「ARグラス」も開発されています。

いずれはメガネや軽いゴーグルをかけているだけで、誰かと電話したり、店の棚に並んでいる商品の詳細情報を表示させたり、映画を楽しんだりすることが当たり前の時代が来るはずです。

しかし課題もあります。

そのARグラスを操作するために「別のデバイスが必要になる」ということです。

もちろん音声入力は可能ですが、操作がすべて音声操作というのは現実的ではありません。また音声認識の精度、騒音による影響、プライバシーの問題、多言語・方言への対応不足など、ユニバーサルデザインを考える場合にも様々な限界があります。

せっかくコンパクトなウェアラブルデバイスによってARがハンズフリーな技術へと近づいたのに、操作の利便性を求めると、「ハンズフリーであるというメリット」を捨てなければいけないのです。

実際、スマホなしで電話したり映画を見たりできても、結局のところ、別の操作デバイスを持つ必要があるのであれば、「別にスマホでいい」と感じるかもしれません。

これの解決策の1つには、SF映画に出てくるような「空間をインターフェースにする」技術が該当するかもしれません。

しかしこれは現状では技術的に実現が困難です。

まずデバイス側に触れる位置の深度を認識させることが難しいため、ボタンを押しているのか、ボタンに触れずに指を移動しているだけなのかを解釈させることが上手くできません。

また視界と手の位置を上手く一致させることも難しく、触れた感覚がないため、ものすごく大きなボタンを押すことはできるでしょうが、細かな操作をすることができません。

特に触れている感覚がないというのは、操作する側に取ってはかなり使いづらいデザインです。

タッチスクリーンが広まった現代で、物理ボタンの復活が一部始まっていることを考えると、操作した時の触覚が大切であることは十分理解できます。

では、AR技術の発展において、次の順当な着地点はどこになるでしょうか。

それは、モリン氏ら研究チームの「てのひらをタッチスクリーンにする技術」かもしれません。

手のひらにARで操作用のタッチスクリーンを投影し、まるでスマホを扱うかのように、指で操作し、ARグラスやARゴーグルのコンピューターに指示を送るというのです。

「指」と「てのひら」の両方から触覚情報が得られるので、従来のタッチスクリーンよりも使い心地が良いかもしれません。

この技術であれば、ユーザーはARグラス以外にデバイスを持ち運ぶことも身に着ける必要もないでしょう。

では、この新技術がどのように機能するのか、詳細は次項で紹介します。

「てのひら」をタッチスクリーンにする新技術

モリン氏ら研究チームが開発する「EgoTouch」は、てのひらをタッチスクリーンにする技術です。

過去にもこのよう技術は存在していました。

例えば、今回の研究に参加しているクリス・ハリソン氏が開発した「OmniTouch」も、壁や人間の皮膚にキーボードなどを投影し、インターフェースとして利用することができました。

この技術には物体までの距離情報を取得できる「深度カメラ」が必要です。

深度カメラによって、現実世界の指の位置を追跡することで、人間の操作を反映させられるからです。

しかし、深度カメラは特殊で扱いづらく、一般的なARゴーグルには内蔵されていません。

対照的に、モリン氏らが今回開発したEgoTouchは、一般的なAR/VRゴーグルにすでに備わっている「RGBカメラ（RGB optical camera）」を利用しています。

RGBカメラは赤緑青の光を検出する一般的なカラー撮影用カメラであり、デジタルカメラやスマホなど、日常的に使用されている多くの撮影機器に搭載されています。

そしてこのカメラは、現実世界においてユーザーがてのひらを指で押したときの影や皮膚の変形を捉えることができます。

微妙な視覚的情報の違いをAIに収集・処理させることで、ユーザーがどこをタッチしているのか、どのような指の動きをしているのか判断し、インターフェースとして活用するのです。

この技術の開発にあたって、研究チームは15人のユーザーに協力してもらい、様々な条件（タッチの方法、肌の色、毛深さ、照明、皮膚の場所、タッチの種類）でAIをトレーニングしました。

その結果、EgoTouchは手のひらのタッチを96％以上の精度で検出できるようになりました。

誤検出率はわずか5％です。

またタッチが軽いか強いかも、98％の精度で分類することができるようになりました。

単にタッチを検出するだけでなく、ドラッグしたりスワイプしたりするような動作も認識できました。

こうした検出能力は、私たちがタッチスクリーンを使用する時の動作（スクロール、ズームイン、スワイプ、長押し）を反映させる上でも重要です。

また実験では、肌の色や毛深さが異なっていても、腕の前面・背面、てのひら・手の甲など、手や腕の様々な部分で同じように機能することを証明できました。

ただし、指の関節など骨のある部分では上手く機能せず、これは皮膚の変形が大きくないからだと考えられます。

そしてモリン氏は、このシステムの汎用性について次のように述べています。

「私たちは全てのヘッドセットにすでに搭載されているカメラだけを使用するシステムを開発しました。

このモデルは、調整なしで即座に使用できます」

EgoTouchシステムは、今のところ開発途中にありますが、近い将来、これが製品化し、ARグラスと組み合わされるなら、私たちの世界は次のステップに進むはずです。

その新しい世界では、街中を歩く誰もがスマホや時計、音楽プレイヤーなどのデバイスを持ち運びません。

スマートなARグラスをかけて、てのひらをなぞりながら、これまでスマホでしていた全てのことを行っていくのです。

参考文献

Future AR/VR Controllers Could Be the Palm of Your Hand
https://hcii.cmu.edu/news/future-ar-vr-controllers-could-be-palm-your-hand

EgoTouch tech lets VR users’ palms serve as touchscreen interfaces
https://newatlas.com/vr/egotouch-palm-vr-interface/

元論文

EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras
https://doi.org/10.1145/3654777.3676455

ライター

大倉康弘: 得意なジャンルはテクノロジー系。機械構造・生物構造・社会構造など構造を把握するのが好き。科学的で不思議なおもちゃにも目がない。趣味は読書で、読み始めたら朝になってるタイプ。

編集者

ナゾロジー 編集部