AIリアルタイム動画変換技術
What this technology can do
この技術でできること
No.1
SNSライブ配信・生中継・テレビで自分の好きなエフェクトで動画をリアルタイム変換
No.2
ライブ中継映像全体や一部をBlack and WhiteからColorへリアルタイム変換など好きな色やアニメエフェクト変換
No.3
バリアフリー化を求めてリアルタイム変換、世界には動画の見方は人それぞれです。弱視の人もいれば、光に弱い人もいます。この技術はそれをリアルタイムに解決していきます。
No.4
自社技術(リアルタイム３D技術）と組み合わせて映像のリアルタイム変換の世界を拡大。最終的に自社技術と組み合わせてブラウザやスマートフォン全体のリアルタイム変換（着せ替え）技術
AIリアルタイム
動画変換技術とは？
リアルタイム動画変換はリアルタイムスタイルトランスファーとも言います。日本では非常に認知度が低く、”スタイル・トランスファーとは？”と聞かれてもすぐに答えられる人はほとんどいないでしょう。
映像コンテンツは、私たちの日常生活に欠かせないものであり、私たちと密接な関係にあります。
今まで画像までだった変換技術
米Apple社のスマートフォン「iPHONEシリーズ」をはじめ世界中で販売されているスマートフォンには 写真や静止画のエフェクト機能はあるが、実写ビデオにリアルタイムにエフェクト 機能やリアルタイム色調変換機能を保持しているスマートフォンは市場に存在しません。（2022年1月時点）撮影を行いながらエフェクトをかけながらという事になると 他社のスタイル変換では対応不可です。NOVIUSのリアルタイムスタイル変換だからこそ「実写動画」での対応可能技術です。
音声変換と動画変換のリアルタイムシンクロ化の成功
音声分析のリアルタイム化は変換処理に時間がかかるために音声通話やライブ配信(リアルタイム入力）など,生中継のリアルタイム化は非常に困難でした。元の動画（A）からエフェクト処理をした動画（B）へ音声も同時にB動画へと遅延せずに追いかけて音声を追随させていかなければならないアルゴリズム設計はとても極めて困難でした。動画変換時間に音声変換が合わなければ、音声が先に聞こえるなどの動画としておかしい症状がでます。ですがこの技術ではその点においてはリアルタイムで音声変換と動画変換のシンクロに成功しています。
NVIDIA Inception Partner 承認技術
NOVIUS独自・基礎技術
深層学習を用いた軽量なフレームワークを使い、リアルタイムで高速変換できる技術を開発しました。例えばピカソ、ゴッホのスタイルをAIに学習させそこにリアルタイムで実写を流し変換させます。（スタイルはAIに学習させますので無限大です）スタイル変換においてはリアルタイム変換というところが肝です。基礎的な技術はNOVIUS自社開発「AI画像プラットフォーム」Open/CV + GAN (敵対的生成ネットワーク)+ エッジＡＩを駆使した独自の学習アルゴリズムがベースになっております。こちらのプラットフォームは画像分類・画像検出・画像セグメンテーションをリアルタイムに画像処理可能なツールです。
応用分野・技術の将来性
スマートフォンでの応用
米Apple社のスマートフォン「iPHONEシリーズ」をはじめ世界中で販売されているスマートフォンには 写真や静止画のエフェクト機能はあるが、実写ビデオにリアルタイムにエフェクト 機能やリアルタイム色調変換機能を保持しているスマートフォンは市場に存在しません。（2022年1月時点）撮影を行いながらエフェクトをかけながらという事になると 他社のスタイル変換では対応不可です。NOVIUSのリアルタイムスタイル変換だからこそ「実写動画」での対応可能技術です。最近ではAdobe社のPhotoshop（画像編集ソフト）にてピカソなど絵画風に写真をフィルター加工で仕上げることができる機能が搭載されております。どの技術も全て写真止まりです。リアルタイム＊画像処理技術というリアルタイム技術。（2022年5月時点）
技術の将来性
また、街中や観光地に設置されたカメラで撮影された人物や建物、風景、テレワークミーティング、テレビ局、ネットTVなどをアニメーション化し、効果を与えることができます。ライブのeラーニングをライブアニメーションに変換することもできます。
世界の「リアルタイム動画変換（Style Transfer）」の流れ
| 武漢大学と湖北工業大学 | 写真や動画を「新海誠みたいに」「宮崎駿っぽく」変換できる「AnimeGAN」 |
|---|---|
| チェコ工科大学とSnap | ライブ映像で動く人を色ぬり、深層学習で チェコ工科大学とSnapが開発 |
| Cornell University | Real-time Localized Photorealistic Video Style Transfer |
| Tsinghua University and Tencent AI Lab | Real-Time Neural Style Transfer for Videos |
| School of Artificial Intelligence, University of Chinese Academy of Sciences | Arbitrary Video Style Transfer via Multi-Channel Correlation |
| GoogleのAIがウェブページを動画に変換 | |
| wemagine.ai | mobile application that turns selfies into graphics |
| COMIXIFY.ai | Turn videos into comics with AI power and share it with friends! |
世界中では「Style Transfer」という名前で浸透し、米NVIDIA社、米Google社などが主に開発している分野です。米Comixify社は動画から漫画風に自動生成を行うことを可能にしております。最近では中国の武漢大学・湖北工業大学の研究チームがこの分野の技術開発を進めています。世界でもこの技術開発の流れが来ているようですが、どの研究レポートやデモンストレーションをみて言えることはNOVIUSのように“リアルタイム”での変換は現在どこにもないという事です。リアルタイムでのデモンストレーションを行っている企業は見たことないと、NVIDIA社からInceptionPartnerの承認をもらえた要因であると考えております。
