
NVIDIA Inception Partner 承認技術
リアルタイムスタイルトランスファーとは?
日本では非常に認知度が低く、”スタイル・トランスファーとは?”と聞かれてもすぐに答えられる人はほとんどいないでしょう。リアルタイムスタイルトランスファーはリアルタイム動画変換とも言います。
映像コンテンツは、私たちの日常生活に欠かせないものであり、私たちと密接な関係にあります。主にSTYLE TRANSFER(スタイルトランスファー/ビデオトランスファー)は、ライブビデオ、漫画、アニメーションなどの実写を、アニメーター、画家、絵画などのパターンに合わせて芸術的なスタイルに変換可能ですがNOVIUSの独自技術は更にテレビ生放送、You Tube生放送、インスタライブ、Netflix、Web動画などをリアルタイムに変換可能

テレビ生放送、You Tube、ライブ配信、Netflix等をリアルタイム変換可能
NOVIUS独自・基礎技術


深層学習を用いた軽量なフレームワークを使い、リアルタイムで高速変換できる技術を開発しました。例えばピカソ、ゴッホのスタイルをAIに学習させそこにリアルタイムで実写を流し変換させます。(スタイルはAIに学習させますので無限大です)スタイル変換においてはリアルタイム変換というところが肝です。基礎的な技術はNOVIUS自社開発「AI画像プラットフォーム」Open/CV + GAN (敵対的生成ネットワーク)+ エッジAIを駆使した独自の学習アルゴリズムがベースになっております。こちらのプラットフォームは画像分類・画像検出・画像セグメンテーションをリアルタイムに画像処理可能なツールです。
特許取得技術(番号6529102)
応用分野・技術の将来性
技術の将来性
また、街中や観光地に設置されたカメラで撮影された人物や建物、風景、テレワークミーティング、テレビ局、ネットTVなどをアニメーション化し、効果を与えることができます。また、街中や観光地、テレワーク会議、テレビ局、ネットTVなどに設置したカメラで撮影した人物や建物、風景などをアニメーション化することもでき、ライブのeラーニングをライブアニメーションに変換することもできます。
世界の「Style Transfer」の流れ
武漢大学と湖北工業大学 | 写真や動画を「新海誠みたいに」「宮崎駿っぽく」変換できる「AnimeGAN」 |
---|---|
チェコ工科大学とSnap | ライブ映像で動く人を色ぬり、深層学習で チェコ工科大学とSnapが開発 |
Cornell University | Real-time Localized Photorealistic Video Style Transfer |
Tsinghua University and Tencent AI Lab | Real-Time Neural Style Transfer for Videos |
School of Artificial Intelligence, University of Chinese Academy of Sciences | Arbitrary Video Style Transfer via Multi-Channel Correlation |
GoogleのAIがウェブページを動画に変換 | |
wemagine.ai | mobile application that turns selfies into graphics |
COMIXIFY.ai | Turn videos into comics with AI power and share it with friends! |
世界中では「Style Transfer」という名前で浸透し、米NVIDIA社、米Google社などが主に開発している分野です。米Comixify社は動画から漫画風に自動生成を行うことを可能にしております。最近では中国の武漢大学・湖北工業大学の研究チームがこの分野の技術開発を進めています。世界でもこの技術開発の流れが来ているようですが、どの研究レポートやデモンストレーションをみて言えることはNOVIUSのように“リアルタイム”での変換は現在どこにもないという事です。リアルタイムでのデモンストレーションを行っている企業は見たことないと、NVIDIA社からInceptionPartnerの承認をもらえた要因であると考えております。