立体ディスプレイの破壊力と「匂い」のリアリティ ソニーの強さを「STEF」にみる

ソニーの技術交換会「STEF」は今年50周年

12月6日、ソニーグループは「Sony Technology Exchange Fair(STEF)」というイベントを開催した。

STEFは「社内技術交換会」とも呼ばれ、同社内で研究中の技術を社内の他部門に対して公開し、新たな価値創造を目指すものだ。本来は社外には公開していないもので、外部公開向けには別途「Sony Technology Day」というイベントを展開してきた。

しかし今年は50周年という節目でもあるため、あくまで「STEF」としてイベントを行ない、プレス関係者などに対して、一部の技術を公開した。

今回はSTEFで見た技術から考えた今のソニーグループの立ち位置を考えてみたい。

W杯でも使われた「VAR」を支えるホークアイ

STEFでは大量の技術が展示されていたが、すべてを見られたわけではない。ここでは筆者が見たものの中で、特徴的なものをピックアップしてご紹介しよう。

一番タイムリーなのは、ワールドカップのVAR(Video Assistant Referee)にも使われている、ソニー傘下の「ホークアイ イノベーションズ」の技術だ。

VARとしては「ボールにセンサーが入っている」という話が話題になるが、こちらはソニーではなく、ドイツ・キネクソン社のもの。

ソニー(ホークアイ)が提供しているのは、主にオフサイドの判定などで出てくる、映像を使ったものだ。この技術をソニーとホークアイがFIFA(国際サッカー連盟)に提供、FIFA側がシステムとしてまとめあげて運用しているという。

多くの競技でホークアイのビデオ判定システムが使われている

スタジアムには10個以上の高解像度・高速撮影カメラが据え付けられている。その映像を画像解析し、機械学習を軸にしたリアルタイム映像解析によって、試合の判定に使うデータを生み出す。結果として、ボールとプレイヤーの位置、さらにはプレイヤーの骨格情報を推定・認識することで、「スタジアムという立体空間の中でのプレイヤーの姿」を3Dデータ化するわけだ。

スタジアムに設置された多数のカメラで、ボールとプレイヤーの動きをデータ化する

そのデータを活用して作られたのが、以下の写真。ソニーの空間再現ディスプレイ「ELF-SR1」を使って、サッカーの試合を完全に3D化して再現したものである。どの場所から、どの大きさで見てもいい。ELF-SR1の立体視は「基本的に、正面から1人で見る」という制約はあるものの、かなりリアリティがあって自然な立体感があるので、将来こんな風にサッカーが楽しめたら面白いだろう、と思う。

空間再現ディスプレイ「ELF-SR1」を使ってサッカーの試合を完全に3D化

等身大・立体のディスプレイが持つ「破壊力」

ELF-SR1の技術を活用して、新たに作られたのがより大型のディスプレイだ。

ELF-SR1では、カメラで顔を認識し、両目それぞれに別の映像が見えるようにすることで、立体的な映像を実現している。同じ仕組みを使い、より巨大なディスプレイで実現したのが、以下の試作機だ。55型・8Kのディススプレイを縦に配置して作られている。

用途は色々ある。まず大きいと思われるのは、重機の遠隔操作だ。すでに技術としては存在するものだが、一般的なカメラを使う場合、操作する対象までの距離を把握しづらく、そこが難点だった。だがこのディスプレイを使うと、ちゃんと距離感覚が掴めるので、作業が楽になる。

巨大な立体視ディスプレイを使い、重機を遠隔操作。ちゃんと立体感がわかるので、作業が圧倒的にしやすくなる。

そして、破壊力があるのがこちらだ。

55型の画面になると、映像はほぼ人と同じサイズに見える。ちゃんと立体感のある映像を、しかもほとんど遅延なく表示できると、本当にまるで、そこに人がいるように感じられる。

アイドルとの「握手会」を映像で。二眼で撮影された映像をリアルタイムに立体視ディスプレイに表示すると、圧倒されるほど「そこに本当にいる」感覚が感じられる

もちろん、リアルでない部分(若干の二重像など)もある。だがそれよりも、目に前に「人がいる」感がすごい。ほんの数十センチ隔ててアイドルが目の前にいるようだ。CDを手渡してもらったり、ハイタッチしたりもできる。

人の目は、映像のサイズが大きくなってくるとよりリアリティを感じやすいものだが、サイズと解像感、立体感に「低遅延」が加わると、コミュニケーションのための技術としては劇的なインパクトを生み出すことがよくわかった。

内臓の「硬さ」も再現するサージカルシミュレーター

リアリティという意味はこちらもすごい。サージカルシミュレーターだ。

3D CGで人の内臓などを描き、手術を再現する試みは珍しいものではない。最近はゲームエンジンも、リアルタイムCGの表示技術も進歩した。ここではUnreal Engineを使い、レイトレーシングをつかって表現している。

リアルなCGを使い、手術のシミュレーションが行なえる

映像はリアルだが、それ以上に重要なのは、このCGが部位の硬さ・柔らかさや重力なども含めて再現されているという点だ。

物理演算と正確なデータを使い、内臓の硬さや「切りにくさ」なども再現

遠隔操作などで使う力覚反応機能を備えたデバイスを使うと、現実に近い「指先の感覚」が再現される。

物体ごとに「硬さ」の違いや重力の影響も反映しているので、力覚を再現するデバイスで操作すると、リアルな感触を得られる

現在は手術の学習などを目的としているが、力覚を認識してそれを再現することができれば、遠隔治療などにも活かせるだろう。

匂いを「届ける」技術で新しいエンタメを

表現という意味では「匂い」の技術も重要だ。

ソニーは「Tensor Valve」というテクノロジーを開発中だ。これは簡単に言えば、「特定の人に短時間だけ、狙った匂いを届ける」技術。香料としては他社が作ったものを使うが、それを非常に少ない量、目の前の人物にごく少量噴霧することで、「隣にいる人には感じられないが、自分には香りが感じられる」状況を再現する。

今年10月、医療向けに「NOS-DX1000」という嗅覚測定器を作っているが、現在計画しているのが「エンターテインメント」への応用だ。

小さなUSBで制御できるデバイスを作り、それを映像と連携させることで、「特定のシーンでだけ匂いを感じさせる」体験ができるのだ。実際筆者も体験してみたが、匂いが隣とも、次のシーンとも混じることなく制御されていた。

匂いの広がる範囲を制御し、「特定のシーンでだけ匂いを感じさせる」体験を生み出す「Grid Scent」技術

手のひらサイズの小型デバイスで匂いの発生と人に届けるための気流制御を行い、映像とシンクロさせて「匂い」を出す

映画の中で、森のシーンでは森の香りが、食事のシーンでは香ばしい香りが、そして戦場では火薬の臭いがしたらどうだろう?

ソニー側は、「香料は外部とコラボレーションする」としている。重要な部分を外部に依存しているようにも感じるが、香料メーカーに対し新たなニーズを提示し、ビジネスを活性化させる……という見方もできる。

ソニーは「B2Bの見せ方」が上手い

これらの技術に共通しているのは、「どれも個人に売るものとはちょっと違う」ということだ。

ソニーは家電の会社ではあるが、同時に「業務機器」の会社でもある。個人にエンタメを届ける企業に対し、新しいクリエーションの可能性を提供したり、医療関連企業に技術を提供したり、という市場を重視している。

これを「B2Bシフト」というのは簡単だ。だがそこで、シンプルにソリューションを提供するのではなく、「この技術がなにに使えるのか、一緒に考えましょう」という姿勢を示しているのが特徴でもある、と感じる。

ある意味で「事業をどう外に見せるのか」という話なのだが、今のソニーはそれが上手い。同じような技術を持つ企業はあるはずだが、ソニーほどうまく見せられる企業は少ない。すなわち、ソニーの本質とは、技術を持っていること以上に、それを「どう見せるのか」を考えていることだと思うのだ。