NianticハンケCEOに聞く Vision ProからAR技術の未来

Nianticのジョン・ハンケCEO(写真は2023年3月撮影)

「ポケモン GO」「モンスターハンターNow」などの位置情報ゲームの開発で知られるNianticのジョン・ハンケCEOへの単独インタビューをお届けする。これらのゲームの背後では、AR(Augmented Reality、拡張現実)技術プラットフォームが動いている。広告などにも広く使われており、世界最大級のARプラットフォーム企業、といってもいい。

そんな同社は、そしてハンケCEOは、Apple Vision Proのような製品の登場をどう見ているのだろうか?

現在はスマートグラスを含め、様々な機器が登場しつつあるが、それらと位置情報ゲームの関わりはどうなっていくのかなど、同社の方向性について聞いた。なお、取材はオンラインで行なった。

Vision Proは画質が印象的だが……

まずはVision Proに関する感想から聞いてみよう。インタビューは発売日(2月2日)の翌週に行なっている。今は製品の感想も一通り出揃った時期だが、ハンケ氏の見方はもちろん気になるところだ。

Apple Vision Pro

ハンケCEO(以下敬称略)：はい。もちろん体験済みです。社員や友人にも買った人は多いですしね。自分のものはまだ持っていませんが。

ビジュアルの忠実度はとても高く、まずそれが印象的でした。恐竜のデモ(本体同梱アプリ「Encounter Dinosaurs」)は、面白かったですね。表示がとにかくしっかりしていて、トラッキングも解像度もいい。

私は、まだ細かい機能まで幅広く使ったとは言えません。そこから感じるのは、これはVRヘッドセットの一種だということ。そして、ARのプロトタイピングデバイスのようなものです。

屋内でのパススルーARとしては、実にうまく機能していると感じます。室内をトラッキングし、マッピングし、頭をトラッキングし、目をトラッキングし、手をトラッキングする。

それらがうまく機能しているので、室内で快適に使えるのです。

この点は筆者も同感だ。機構としてはVR用機器に似ているが、カメラを使ったビデオシースルー方式を利用することを前提として製品全体が組み立てられているので、「室内向けのAR機器」として非常によくまとまっている。画質が高いことも、現実感を高めることに寄与している。

同梱アプリ「Encounter Dinosaurs」は、内容的にはまさしくデモであり、他のVR機器でもあったようなものではあるのだが、画質の面で大きな差があり、Vision Proのポテンシャルを感じさせた。

ハンケ：ただ、室内で使うヘッドセットの用途はあまり多くはないと考えています。なぜなら、人々はそれぞれが隔離されてしまうからです。

とはえ、映画を見るような用途は注目されると思います。アップルも旅行向けをアピールしていますが、飛行機の中で映画を見たり、ホテルの部屋で映画を見たりするのにはとてもいいと思います。

また、大型スクリーンを使った生産性向上、という方向性もあるかもしれません。しかし、キーボードやタイピングの解像度に問題があります。それらの点に関しては、まだこれから改善が進むでしょう。

屋内よりも「屋外」に可能性

Nianticはこれまで「屋外」を中心にアプリケーションを展開してきた。位置情報ゲームも、人々を屋外に連れ出し、活動的にすることを狙ったサービスでもある。

それとVision Proが狙う「屋内」はベクトルが逆だ。その点、「屋外」「屋内」それぞれにどのような可能性を見ているのだろうか?

ハンケ：屋外向けについて、現状では、ログを記録するようなツールを使っています。「Ray-Ban Meta」のような製品です。

私は現状、限定的なAR機能を普通のメガネに搭載するような「スマートグラス」的フォームファクターに注目しており、この種のデバイスのための体験を構築することに興奮しています。屋外でも使えますからね。もちろん、まだ派手な3Dグラフィックはありません。でも、限定的な機能とはいえ、屋内よりも役に立つと思います。

では、自社ではどのような試みをしているのだろうか? Nianticは屋外向けARハードウェアも試作を進めている。

ハンケ：すでに屋外用ARのリファレンスデザインを作りました。いわゆる光学式シースルーで、(Vison Proなどが採用する)ビデオパススルー方式ではありません。パートナーであるQualcommが次のリファレンスデザイン・ハードウェアを開発する予定です。

ハンケCEOがいうLightshipプラットフォームとは、Nianticが展開しているAR開発プラットフォームだ。最新バージョンは、昨年10月に公開された「Lightship ARDK 3.0」。同社の位置情報ゲームでも使われているが、ウェブブラウザーからも使える簡便さもあり、マーケティングキャンペーンなどで使われることもある。

Lightshipは現在スマートフォン向けだが、今後は幅広いプラットフォームへと拡大していく予定となっている。

その一つとして、同社は2022年11月、Qualcommとともに屋外向けのAR対応HMDのプロトタイプを作っている。詳細は以下の動画で見ることができる。

2022年11月にNianticがQualcommと共同開発した、屋外用AR機器のプロトタイプ

ハンケ：そのほかにも、中国企業や日本企業の屋外用3D ARグラスの初期バージョンをいくつか見ました。私はこれから、屋外用のデバイスがたくさん出てくるのではないかとワクワクしています。

今後2、3年のうちに、「Lightshipプラットフォーム」を活用したゲームを作ることができるようになるでしょう。

複数の企業がそれぞれデバイスを開発していますが、それぞれ良いところが違うと思います。XREALの作るような製品(XREAL Airなど)は、映画やビデオゲームを見るのには適していますが、動き回るのには適していません。

大きなスクリーンが欲しいというユースケースは、特殊なものですが確実にあります。電車の中やホテルの部屋など、大きなスクリーンがない場所で使いたいのです。

でも、それは私にとってあまり興味深いユースケースではない。小さなアパートに住んでいたり、両親と一緒に住んでいて、プライベートを確保したい人には便利でしょうが、それは私たちが焦点を当てたい部分ではありません。

でも、他の会社が開発しているものも、まだ発表されていないものもいくつかあります。

この種のグラス型デバイスは、今年のCESでも多数の製品が見られた。そのうち1つである、XREALのCEOインタビューを以下に示しておく。製品が増えているということは市場がここから盛り上がるということであり、注目しておく必要はある。

「音のAR」「2D AR」にも大きな可能性

ハンケCEOが「興味深い」と例示した「Ray-Ban Meta」は、昨年9月にMetaがアメリカなどで発売したスマートグラスだ。筆者もアメリカで購入し、レビューした。

Ray-Ban Meta。カメラとマイクが内蔵されているスマートグラスで、ハンケCEOも買ったという

日本では販売されていないためあまり注目されていないが、海外ではかなり評価が高い。

ただしこの製品はディスプレイを備えておらず、「自分が見たものをカメラで撮影する」「スマホと連動し、AIの回答や通知を音で知らせる」といったデバイスだ。すなわち、視界に映像を重ねるタイプのARは使えないことになる。

だがハンケCEOは、こうした製品もARとして非常に有用だと話す。

ハンケ：確かに映像は出ませんが、「2D AR」と呼ばれるものに最適だと思います。

外にいるとき、ポケモンが近くにいるとか、レアなモンスターが近くにいるとか、Ingressのポータルが近くにあるとか。そこからボイスコマンドで、ポータルまでの道順を示し、ゲームプレイができます。

もちろん、自分がしていることを続けながら、です。だからこの種のデバイスは、とても人気があります。

音声も面白い。私はポッドキャストをよく聞きますが、このようなデバイスでオーディオを聴くのは本当にいいと思います。

2D ARとオーディオ・ストーリー、オーディオ・ゲームプレイの組み合わせは、楽しいカテゴリーになるんじゃないでしょうか。

さらに、同社のゲームと画像を伴わないスマートグラスの関係について、次のようなアイデアも語る。

ハンケ：スマートグラスに内蔵された機能を使う場合、「Pokémon GO Plus」のように、サポートデバイスとして使うのは楽しいかもしれません。スマートフォンはポケットに入れたまままで、道具やポケモンを手にいれるわけです。ちょっと大変かもしれませんが、楽しいでしょうね。

Pokémon GO Plusとは、ポケモンGOがスタートした2016年秋に発売された周辺機器。スマホを出さず、ボタンを押すだけでポケモンGOがプレイできる。

ハンケ：オーディオでナビすることで、特定の場所に案内してくれるかもしれない。そういう実験的なことを、いずれやってみたいと考えています。

実は数年前、スマートフォン向けにオーディオを生かしたゲームを作りましたが、その知見も活かせるでしょう。

同社は過去にソニーと組み、周囲の音を生かしたゲーム体験の開発を手がけたことがある。その流れとして、音声中心のスマートグラス活用の方向性がある……ということだ。

ハンケ：うまくいきそうなアイデアがいくつかあります。

1つの要因として、小型ディスプレイがかなり近いうちに登場しそうな点があります。今年の後半にも、いくつかの企業が発売すると思いますが。そうすれば、もう少し多くのことができるようになります。

音声を流すだけでなく、ちょっとしたアイコンやテキストを表示したりできるようになりますしね。

現在、スマートグラスはAIとの連動も検討されている。前述の「Ray-Ban Meta」も、Metaは生成AIをキャラクターとして連動させたり、撮影した画像についてAIが答えたりすることを想定している。ハンケCEOも、そうした部分にももちろん興味がある。

ハンケ：ゲームでのAIの活用は、プロトタイプをいくつか作って、どんな感じか確認する必要があります。ゲームを操作するために話すことが、感情的にどう感じられるかということなのですが。

音声認識は、AIによって信じられないほど良くなっています。ほとんど完璧です。合成もとても良くなっていて、返事は完璧です。さまざまなアクセントや話し手を再現できますしね。

ただ多くの人は、人前で話すことに抵抗があると思います。スマートグラスと一緒に使える小さなコントローラーがあれば、いいコンビになりそうです。これから実験して、いろいろなことを試して、どんな感じか見てみるつもりです。

ゲームを作るという観点からは、とてもエキサイティングな時期ですね。

屋外向けと屋内向けは補完し合う

では、屋外向けのデバイスと屋内向けのデバイスの併存はどうだろうか?

これについてもハンケCEOは否定しておらず、「面白いと考えている」と話す。

ハンケ：数年前、ソフトバンクと一緒に六本木ヒルズで、HoloLensを使ったプロジェクトを行ないました。3Dの都市模型を作り、Ingressでのプレイヤー同士の戦いを見るものですが。Ingressのプレイヤーは普段スマートフォンでプレイしていますが、ヘッドセットがあれば、マップを3Dで見ることができます。

これが今再現できたら、面白い体験になると思います。

この話は、2018年10月に、ソフトバンクとNiantic、森ビル、THINK AND SENSEが組んで行なわれたデモのことだ。イメージ動画も用意されている。

森ビルが作った六本木の街の立体模型上に、Ingressで実際に行なわれたプレイの情報が重ねられ、HoloLensから見られるようになっていた。今ならば、3D地図ごと生成し、状況を見ることもできるだろう。

立体模型の上にIngressのプレイデータを重ね、その変化をHoloLensで確認。こうした楽しみは、最新のプラットフォームでも実現できそうだ

ハンケ：屋内用のヘッドセットであっても、屋外で行なわれるゲームやPeridotのようなゲームのための素晴らしいコンパニオン・デバイスになります。Peridotのようなバーチャル・ペットでは、スマートフォンを持って、外を一緒に散歩することができます。

でも、家にいるのなら、ヘッドセットで遊ぶのが理にかなっているかもしれないです。

Peridotは実景のなかでバーチャルペットと暮らすゲーム。Vision Proのようなプラットフォームとの相性は確かに良さそうだ

2023年3月都内で撮影。自身のPeridotを見せるハンケCEO

ハンケ：屋内ARと屋外ARのハイブリッドゲームプレイについて、私たちはより多くの製品を作っていくつもりです。

Vision Proで発売されたばかりのアプリにも、このカテゴリーに属するものがあります。

「SKATRIX」というアプリなのですが、NianticのLightshipプラットフォームで作られています。

スマホの上で遊ぶゲームですが、Vision Proのコンパニオンアプリがリリースされたんです。屋外＋屋内という似たようなアイデアで、同じ製品でありながら異なる体験ができます。

Vision Proで動作する「SKATRIX Pro」。街中でスキャンして作ったコースデータをVision Pro内に持ち込んでプレイできる

なお、Vision Pro版は日本で未発売だが、スマートフォン版のSKATRIXは日本でも配信されており、iOSとAndroidの両方で楽しめる。

ヘッドセットとスマホの併存が重要 未来は「WebXR」

現在市場は、Vision Proを含め複数のプラットフォームがある。それぞれ発展途上ではあるが、その将来をハンケCEOはどう見ているのだろうか? NianticはLightshipプラットフォームを持っているが、それらとの関係はどうなっていくのだろうか?

ハンケ：Lightshipについて、おそらく最もエキサイティングなバージョンは、VR用ヘッドセット向けでしょう。

すでにMeta Quest 3ではサポートしていますが、Vision Proはまだサポートしていない技術があります。最終的にはアップルが採用してくれることを願っていますが、アップルのことですから、様子を見なければならないでしょう。

その上では、スマートフォンとヘッドセットの間で共同プレーができるデモアプリをいくつか作りました。つまり、同じバーチャルオブジェクトを多人数参加型の環境で知覚することができ、プレイヤーの何人かはスマートフォンを使い、何人かはヘッドセットを使い、同時にプレイできるんです。

Lightshipでは、すでに現在、それが機能しています。これは本当に魅力的なアイデアです。

というのも、おそらくほとんどの家庭では、屋内用のARデバイスを購入するとしても、おそらく1つだけだろうと考えられるからです。

だから、ヘッドセットだけでは少し寂しいかもしれません。ヘッドセットでプレイしていても、他のプレイヤーが一緒にスマホからプレイできるような体験ができるなら……と思います。

複数のプラットフォームをサポートする技術としては、ウェブベースでVR/ARを実現する「WebXR」がある。LightshipではWebXRを活用しているが、この可能性はどうだろうか?

ハンケ：私はWebXRこそ未来だと思います。

そういう意味では、アップルがiPhoneを発表した時のエピソードは少々皮肉な話です。

初代iPhoneはローカルアプリをサポートしておらず、ウェブアプリだけでした。スティーブ・ジョブズはすべてがウェブになると考えていたわけです。

でもその後、バイナリーアプリに切り替えているのはご存知の通り。

でも今では、デスクトップPCの上でも、ウェブアプリは広く使われていて、ほとんどの人気アプリは、実はウェブアプリです。

ただ実行する。それが現代のソフトウェア開発です。だから、多くのAR体験がそうやって作られるようになるのも道理にかなっています。

そして最終的には、誰もがWebXRをサポートしたいと思うようになるでしょう。

開発者はよく知っているツールを好みますし、1つのプラットフォーム向けに書いたアプリを複数のプラットフォームで動作させることも望んでいます。

Unityのようなゲームエンジはそのための1つの方法ではあります。しかし、かなりヘビー級で、あらゆる種類のアプリケーションに適しているわけではありません。小規模なアプリや、サーバーにアクセスするような変更の多い複雑なアプリにも向いてない。Unityはインターネットネイティブのプラットフォームではありません。どちらかというと、ローカルなローカルゲームを中心に設計されています。

WebXRは、より優れたフレームワークであり、広く使われていくと確信しています。