実写からアニメ用背景を自動生成。PFN×東映アニメ

東映アニメーションとPreferred Networks(PFN)は、実写素材をアニメーション用背景素材に自動変換するPFNのツール「Scenify」を活用した、アニメーション制作の効率化を実現した。深層学習による画像変換技術、セグメンテーション技術などを映像制作に活用する実験的な取り組み。

東映アニメの新規IP研究開発チーム「PEROs」が2月に公開した、佐世保市を舞台にした実験映像「URVAN」(ウルヴァン)の背景美術制作に、PFNが開発したアニメの背景美術制作支援ツール「Scenify」(シーニファイ)を初めて活用。URVANは、東映アニメで長年、背景美術制作の技法を培ってきた製作部 美術課、AIの活用に取り組むデジタル映像部 テクノロジー開発推進室とPEROsが連携して制作した約5分間の実験映像。

同作品では、実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現しているが、現地で実際に撮影された風景写真からScenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に短縮。Scenifyを使った背景は、同作品で制作した背景美術の約2/3に使用されている。

実写

Scenifyによる変換結果（アニメ調）

東映アニメ美術スタッフによる最終レタッチ結果（サイバーパンク調)

これにより、美術クリエイターは業務負担・工数を削減できたほか、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てることができたという。

Scenifyの開発では、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分(BOOK)を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能の他、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行なっている。

今後も、東映アニメにおけるアニメ作品(TVアニメ・アニメ映画)制作にScenifyを適用することを目指し、機能開発を進める。