NVIDIA Inception Partner 承認技術
リアルタイムスタイルトランスファーとは？
日本では非常に認知度が低く、”スタイル・トランスファーとは？”と聞かれてもすぐに答えられる人はほとんどいないでしょう。リアルタイムスタイルトランスファーはリアルタイム動画変換とも言います。
映像コンテンツは、私たちの日常生活に欠かせないものであり、私たちと密接な関係にあります。主にSTYLE TRANSFER(スタイルトランスファー/ビデオトランスファー)は、ライブビデオ、漫画、アニメーションなどの実写を、アニメーター、画家、絵画などのパターンに合わせて芸術的なスタイルに変換可能ですがNOVIUSの独自技術は更にテレビ生放送、You Tube生放送、インスタライブ、Netflix、Web動画などをリアルタイムに変換可能
テレビ生放送、You Tube、ライブ配信、Netflix等をリアルタイム変換可能
様々なライブ映像をリアルタイムに動画変換可能です。作り出すエフェクトは人工知能により生成するため無限大です。
NOVIUS独自・基礎技術
深層学習を用いた軽量なフレームワークを使い、リアルタイムで高速変換できる技術を開発しました。例えばピカソ、ゴッホのスタイルをAIに学習させそこにリアルタイムで実写を流し変換させます。（スタイルはAIに学習させますので無限大です）スタイル変換においてはリアルタイム変換というところが肝です。基礎的な技術はNOVIUS自社開発「AI画像プラットフォーム」Open/CV + GAN (敵対的生成ネットワーク)+ エッジＡＩを駆使した独自の学習アルゴリズムがベースになっております。こちらのプラットフォームは画像分類・画像検出・画像セグメンテーションをリアルタイムに画像処理可能なツールです。
特許取得技術（番号6529102）
応用分野・技術の将来性
スマートフォンでの応用
米Apple社のスマートフォン「iPHONEシリーズ」をはじめ世界中で販売されているスマートフォンには
写真や静止画のエフェクト機能はあるが、実写ビデオにリアルタイムにエフェクト
機能やリアルタイム色調変換機能を保持しているスマートフォンは市場に存在しません。（2022年1月時点）撮影を行いながらエフェクトをかけながらという事になると
他社のスタイル変換では対応不可です。NOVIUSのリアルタイムスタイル変換だからこそ対応可能技術です。
技術の将来性
また、街中や観光地に設置されたカメラで撮影された人物や建物、風景、テレワークミーティング、テレビ局、ネットTVなどをアニメーション化し、効果を与えることができます。また、街中や観光地、テレワーク会議、テレビ局、ネットTVなどに設置したカメラで撮影した人物や建物、風景などをアニメーション化することもでき、ライブのeラーニングをライブアニメーションに変換することもできます。
世界の「Style Transfer」の流れ
| 武漢大学と湖北工業大学 | 写真や動画を「新海誠みたいに」「宮崎駿っぽく」変換できる「AnimeGAN」 |
|---|---|
| チェコ工科大学とSnap | ライブ映像で動く人を色ぬり、深層学習で チェコ工科大学とSnapが開発 |
| Cornell University | Real-time Localized Photorealistic Video Style Transfer |
| Tsinghua University and Tencent AI Lab | Real-Time Neural Style Transfer for Videos |
| School of Artificial Intelligence, University of Chinese Academy of Sciences | Arbitrary Video Style Transfer via Multi-Channel Correlation |
| GoogleのAIがウェブページを動画に変換 | |
| wemagine.ai | mobile application that turns selfies into graphics |
| COMIXIFY.ai | Turn videos into comics with AI power and share it with friends! |
世界中では「Style Transfer」という名前で浸透し、米NVIDIA社、米Google社などが主に開発している分野です。米Comixify社は動画から漫画風に自動生成を行うことを可能にしております。最近では中国の武漢大学・湖北工業大学の研究チームがこの分野の技術開発を進めています。世界でもこの技術開発の流れが来ているようですが、どの研究レポートやデモンストレーションをみて言えることはNOVIUSのように“リアルタイム”での変換は現在どこにもないという事です。リアルタイムでのデモンストレーションを行っている企業は見たことないと、NVIDIA社からInceptionPartnerの承認をもらえた要因であると考えております。