表情を先読みして3Dアバターに反映、メタバース向けにKDDI

KDDI総合研究所は、表情を先読みして遅延なく3Dアバターに反映できる予測技術を開発した。メタバースなどのバーチャル空間でより快適なコミュニケーションの実現を目指すという。

画像認識技術で抽出した顔の表情データから、AIで未来の表情を予測する技術で、世界で初めての開発という。現在は、表情を認識してから3Dアバターに反映するまでには遅延が生じている状況。快適な会話のためには映像・音声の遅延を0.15秒以内に抑えることが必要とされており、今回開発された技術は、0.2秒後の表情を未来予測し、常に先読みしてアバターを描画することが可能。

この技術を3Dアバターに適用し、接客や会議、バーチャルイベントなどに活用することで、リアルの空間にいる人のまばたきや口の動きを遅延なく表現可能になる。これにより、インタラクティブなコミュニケーションを妨げることなく、メタバース上でより快適な体験を提供できるとしている。

新技術は具体的には、表情データそのものに加えて、未来の表情データを推定する機械学習モデルを新たに開発し、予測精度の向上を図った。機械学習モデルの内部構造を変えることなく、入力データを改良することで、予測処理の負荷を増やすことなく複雑な時系列変化に対応できるようになったとしている。

表情予測技術を活用したメタバース上での3Dアバター対話のイメージ

今後は予測精度のさらなる向上や、低速な通信回線でも映像伝送にかかる遅延を相殺できるよう、予測可能な時間の延伸に取り組む。