「視界に映っているもの」を画像検索し文章なら翻訳してくれるARグラス

知らない言葉や知識に出会うと、街中でも即座にスマホで検索して調べるという人は多いでしょう。

しかし、これからはそれが単に視界に収めるだけで出来るようになるかもしれません。

シンガポールの新興企業「Brilliant Labs」は、複数のAIモデルを統合し、視界に入ったものの情報を即座に調べて表示するARグラス「フレーム（Frame）」を発表しました。

このARグラスを装着していると、「見たもの」をすぐに検出し、画像検索をかけて情報を集めたり、外国語の文章を視界に入れた場合は、それを翻訳して表示することができるといいます。

目次

• 日常の様々な場面で役立つARグラス「フレーム」

日常の様々な場面で役立つARグラス「フレーム」

「メガネに様々な機能を追加する」というアイデア自体は、特に新しいわけではなく、既に様々な企業が開発に取り組んでいます。

中でもARグラスは、視覚情報を拡張することができるため、大きな可能性を秘めています。

Magic Leap 2 の MRTK ハンドトラッキングのデモ#MRTK#MRTKv2#LEAPERSJAPAN pic.twitter.com/R3q1j2200b
— Sadao Tokuyama (@tokufxug) December 17, 2022

しかし映像を投影して楽しんだり、作業したりするようなARグラスでは、用途がいくらか限られます。

私たちが映画や漫画、小説などで憧れてきた「日常生活を便利にするメガネ」には、もう一歩及んでいないのです。

それでも最近、シンガポールのBrilliant Labs社は、その一歩を縮める機能を私たちに提示しました。

彼らが開発したARグラス「フレーム」は、重量40g未満の一見普通のメガネです。

しかしその中には、「見たもの」を認識するためのカメラ、音声対話のためのマイクが組み込まれています。

またARレンズも搭載しており、文字や画像などの情報を自分の視界にだけ追加できます。

視力矯正のための「度付きレンズ」を選択することもできるため、どんな視力の人でもARを利用できます。

そしてフレームのシステムは、モバイルアプリ「ノア（Noa）」と連動するようになっており、常時稼働のAIアシスタントによって複数のAIモデルを活用できます。

例えば、ARグラスを通して「ある建物」を見ると、画像認識とWeb検索により、その名称や建てられた日付など、詳細が文字で表示されます。

また知らない外国語を見た時も、翻訳機能によって翻訳後の文字を表示してくれます。

自分が海外に出かけた時、また海外からの旅行者に道を説明する時など、様々な場面で役立つことでしょう。

動画のように、お酒を手に取り、「ノア、これは何？」と尋ねて、その詳細をすぐに知ることもできます。

ケーキを見て、今日はどれだけ食べていいのか教えてもらったり、砂糖がどれだけ入っているか調べたりすることも可能なようです。

さらに一目見て気に入ったスニーカーが、「どこで手に入るのか」「いくらで購入できるのか」などといった情報も瞬時に入手できるでしょう。

このような「ちょっとした情報」を調べるためには、これまでスマホを取り出して操作する必要がありました。

ARグラスのフレームを活用するなら、そんな情報をハンズフリーですぐに入手できます。

まさに、「日常生活をぐっと便利にする機能」だと言えますね。

しかもBrilliant Labs社によると、フレームは1回の充電で、1日中AR機能やアプリを利用し続けることが可能なのだとか。

現在、ARグラス「フレーム」には、黒、グレー、クリアの3色が用意されており、349ドル（約5万2000円）で予約販売されています。

そしてフレームの設計やコードはオープンソースとして公開されており、自分で改造することも可能です。

現在のスマホやスマートウォッチのように、誰もがARグラスを装着する未来は、そう遠くはないのかもしれませんね。

参考文献

Frame smart glasses put multiple AI models on tap
https://newatlas.com/wearables/brilliant-labs-frame-smart-glasses/

open-source AR glasses use AI to translate languages, detect images, search web and more
https://www.designboom.com/technology/open-source-frame-ai-glasses-ar-brilliant-labs-openai-02-09-2024/#

fully open-source frame AI glasses
https://brilliant.xyz/

ライター

大倉康弘: 得意なジャンルはテクノロジー系。機械構造・生物構造・社会構造など構造を把握するのが好き。科学的で不思議なおもちゃにも目がない。趣味は読書で、読み始めたら朝になってるタイプ。

編集者

海沼 賢: 以前はKAIN名義で記事投稿をしていましたが、現在はナゾロジーのディレクションを担当。大学では電気電子工学、大学院では知識科学を専攻。科学進歩と共に分断されがちな分野間交流の場、一般の人々が科学知識とふれあう場の創出を目指しています。