real time video transfer

NVIDEA inception program logo_png

NVIDIA Inception Partner 承認技術

リアルタイムスタイルトランスファーとは?

日本では非常に認知度が低く、”スタイル・トランスファーとは?”と聞かれてもすぐに答えられる人はほとんどいないでしょう。リアルタイムスタイルトランスファーはリアルタイム動画変換とも言います。
映像コンテンツは、私たちの日常生活に欠かせないものであり、私たちと密接な関係にあります。主にSTYLE TRANSFER(スタイルトランスファー/ビデオトランスファー)は、ライブビデオ、漫画、アニメーションなどの実写を、アニメーター、画家、絵画などのパターンに合わせて芸術的なスタイルに変換可能ですがNOVIUSの独自技術は更にテレビ生放送、You Tube生放送、インスタライブ、Netflix、Web動画などをリアルタイムに変換可能

テレビ生放送、You Tube、ライブ配信、Netflix等をリアルタイム変換可能

様々なライブ映像をリアルタイムに動画変換可能です。作り出すエフェクトは人工知能により生成するため無限大です。

NOVIUS独自・基礎技術

リアルタイム動画変換_リアルタイムスタイルトランスファー_01
リアルタイム動画変換_リアルタイムスタイルトランスファー_02

深層学習を用いた軽量なフレームワークを使い、リアルタイムで高速変換できる技術を開発しました。例えばピカソ、ゴッホのスタイルをAIに学習させそこにリアルタイムで実写を流し変換させます。(スタイルはAIに学習させますので無限大です)スタイル変換においてはリアルタイム変換というところが肝です。基礎的な技術はNOVIUS自社開発「AI画像プラットフォーム」Open/CV + GAN (敵対的生成ネットワーク)+ エッジAIを駆使した独自の学習アルゴリズムがベースになっております。こちらのプラットフォームは画像分類・画像検出・画像セグメンテーションをリアルタイムに画像処理可能なツールです。

特許取得技術(番号6529102)

応用分野・技術の将来性

スマートフォンでの応用 米Apple社のスマートフォン「iPHONEシリーズ」をはじめ世界中で販売されているスマートフォンには 写真や静止画のエフェクト機能はあるが、実写ビデオにリアルタイムにエフェクト 機能やリアルタイム色調変換機能を保持しているスマートフォンは市場に存在しません。(2022年1月時点)撮影を行いながらエフェクトをかけながらという事になると 他社のスタイル変換では対応不可です。NOVIUSのリアルタイムスタイル変換だからこそ対応可能技術です。

技術の将来性
また、街中や観光地に設置されたカメラで撮影された人物や建物、風景、テレワークミーティング、テレビ局、ネットTVなどをアニメーション化し、効果を与えることができます。ライブのeラーニングをライブアニメーションに変換することもできます。

世界の「Style Transfer」の流れ

世界中では「Style Transfer」という名前で浸透し、米NVIDIA社、米Google社などが主に開発している分野です。米Comixify社は動画から漫画風に自動生成を行うことを可能にしております。最近では中国の武漢大学・湖北工業大学の研究チームがこの分野の技術開発を進めています。世界でもこの技術開発の流れが来ているようですが、どの研究レポートやデモンストレーションをみて言えることはNOVIUSのように“リアルタイム”での変換は現在どこにもないという事です。リアルタイムでのデモンストレーションを行っている企業は見たことないと、NVIDIA社からInceptionPartnerの承認をもらえた要因であると考えております。