AIリアルタイム
動画変換技術とは？
リアルタイム動画変換はリアルタイムスタイルトランスファーとも言います。日本では非常に認知度が低く、”スタイル・トランスファーとは？”と聞かれてもすぐに答えられる人はほとんどいないでしょう。
映像コンテンツは、私たちの日常生活に欠かせないものであり、私たちと密接な関係にあります。
今まで画像までだった変換技術
米Apple社のスマートフォン「iPHONEシリーズ」をはじめ世界中で販売されているスマートフォンやビデオカメラには 写真や静止画のエフェクト機能はあるが、実写ビデオにリアルタイムにエフェクト 機能やリアルタイム色調変換機能を保持しているスマートフォンは市場に存在しません。（2022年1月時点）NOVIUSのリアルタイムスタイル変換だからこそ「実写動画」での対応可能技術です。
音声変換と動画変換のリアルタイムシンクロ化の成功
音声分析のリアルタイム化は変換処理に時間がかかるために音声通話やライブ配信などのリアルタイム化は非常に困難でした。元の動画（A）からエフェクト処理をした動画（B）へ音声も同時にB動画へと遅延せずに追いかけて音声を追随させていかなければならないアルゴリズム設計はとても極めて困難でした。動画変換時間に音声変換が合わなければ、音声が先に聞こえるなどの動画としておかしい症状がでます。ですがこの技術ではその点においてはリアルタイムで音声変換と動画変換のシンクロに成功しています。
NVIDIA Inception Partner 承認技術
NOVIUS独自・基礎技術
深層学習を用いた軽量なフレームワークを使い、リアルタイムで高速変換できる技術を開発しました。例えばピカソ、ゴッホのスタイルをAIに学習させそこにリアルタイムで実写を流し変換させます。（スタイルはAIに学習させますので無限大です）スタイル変換においてはリアルタイム変換というところが肝です。こちらのプラットフォームは画像分類・画像検出・画像セグメンテーションをリアルタイムに画像処理可能なツールです。
応用分野・技術の将来性
スマートフォンでの応用
米Apple社のスマートフォン「iPHONEシリーズ」をはじめ世界中で販売されているスマートフォンには 写真や静止画のエフェクト機能はあるが、実写ビデオにリアルタイムにエフェクト 機能やリアルタイム色調変換機能を保持しているスマートフォンは市場に存在しません。（2022年1月時点）撮影を行いながらエフェクトをかけながらという事になると 他社のスタイル変換では対応不可です。NOVIUSのリアルタイムスタイル変換だからこそ「実写動画」での対応可能技術です。最近ではAdobe社のPhotoshop（画像編集ソフト）にてピカソなど絵画風に写真をフィルター加工で仕上げることができる機能が搭載されております。どの技術も全て写真止まりです。リアルタイム＊画像処理技術というリアルタイム技術。（2022年5月時点）
技術の将来性
また、街中や観光地に設置されたカメラで撮影された人物や建物、風景、テレワークミーティング、テレビ局、ネットTVなどを自分の好きなエフェクトに”リアルタイム”にアニメーション化し視聴することが可能になります。ライブのeラーニングをライブアニメーションに変換することもできます。エフェクトはAIに学習させることで無限に種類を作り出すことが可能です。
世界の「リアルタイム動画変換（Style Transfer）」の流れ
| 武漢大学と湖北工業大学 | 写真や動画を「新海誠みたいに」「宮崎駿っぽく」変換できる「AnimeGAN」 |
|---|---|
| チェコ工科大学とSnap | ライブ映像で動く人を色ぬり、深層学習で チェコ工科大学とSnapが開発 |
| Cornell University | Real-time Localized Photorealistic Video Style Transfer |
| Tsinghua University and Tencent AI Lab | Real-Time Neural Style Transfer for Videos |
| School of Artificial Intelligence, University of Chinese Academy of Sciences | Arbitrary Video Style Transfer via Multi-Channel Correlation |
| GoogleのAIがウェブページを動画に変換 | |
| wemagine.ai | mobile application that turns selfies into graphics |
| COMIXIFY.ai | Turn videos into comics with AI power and share it with friends! |