AIリアルタイム2Dから3D映像変換による裸眼3D技術

AIリアルタイム
2Dから3D映像変換による裸眼3D技術

AIリアルタイム2D-3D映像変換による裸眼3D技術
(特許出願済)とは?

即時2Dから3D化する意味

各所で必要とされる即時性のある立体的理解

2D(平面)で見えているものをリアルタイムに3D化(立体的)することによって何がメリットとしてあり従来と何がどう変わるのか。それは今まで2Dとして見えていなかったものがリアルタイムに3D化することでみることができる。その場その時で見えて分かることがある。リアルタイムで状況を把握することでその後の結果が変わることさえある。 例えば医療分野はリアルタイムに3D化することで奥行(Depth)が見える。インフラ点検カメラでリアルタイムに2D-3D化することでミリ単位でのひび割れが致命傷に繋がるような航空機のジェットエンジン等にも応用可能

AIリアルタイム2D-3D映像変換による裸眼3D技術
(特許出願済)とは?

関連技術:NOVIUS独自技術:特許取得済(AI画像プラットフォームリアルタイムスタイルトランスファー

どんな実写映像でも単眼カメラから専用裸眼ディスプレイを使用してリアルタイムに3D化可能

即時2Dから3D化する意味

各所で必要とされる即時性のある立体的理解

2D(平面)で見えているものをリアルタイムに3D化(立体的)することによって何がメリットとしてあり従来と何がどう変わるのか。それは今まで2Dとして見えていなかったものがリアルタイムに3D化することでみることができる。その場その時で見えて分かることがある。リアルタイムで状況を把握することでその後の結果が変わることさえある。 例えば医療分野はリアルタイムに3D化することで奥行(Depth)が見える。インフラ点検カメラでリアルタイムに2D-3D化することでミリ単位でのひび割れが致命傷に繋がるような航空機のジェットエンジン等にも応用可能

2d-3d変換技術について

リアルタイム性(即時変換

最近の2Dから3Dへの変換技術開発は人工知能を多用してどこの国でも行っております。特に中国やアメリカは盛んに行われており医療やアニメーション制作に応用されてきました。ですがそれら既存の技術がリアルタイム変換となるとどうでしょうか。サイドバイサイド動画を使用しAIリアルタイム2D-3D映像変換による裸眼3D技術は現時点ではNOVIUSのみが保有しております。
 
特許出願済

N-VISION3D技術はNOVIUSが独自に開発したアルゴリズムであるAIを搭載しております。AIを活用することで、モデル(学習データ)の精度が上がり、奥行きを深くすることができます。通常の2D画像からその画面内の距離を予測するAIを生成しています。この距離のことをDEPTHと呼びます。

技術最大の強み

  • 〇既存の2D内視鏡(単眼カメラ)をそのまま使用可能
  • 〇実写映像(2D、単眼カメラ)を即時3D化(リアルタイム変換)
  • 〇裸眼で視聴可能
  • 〇複数人での共有が可能
  • 〇Depth調整可能(奥行き調整可能)

類似技術の違い

実写映像のリアルタイム立体的表現・理解という観点から現在では類似技術が散見されます

3Dホログラム

レーザーを使用して空間に立体画像を投影できるテクノロジー,3Dメガネ不要、裸眼で見れる、ホログラムでは物体の三次元像がそのまま記録されているため、正面からだけでなく、横や後ろに回り込んでも立体のまま見られる点が他の映像技術とは大きく異なる。ホログラムを作る技術はホログラフィーと呼ばれている。この技術本来の本質は映像表示ではなく映像記録としての特徴を生かしたもの。もちろん使用している原理は異なりますが上記技術と今回の弊社技術の大きな違いは実写映像をリアルタイムに変換が出来るかできないかです。

裸眼3Dディスプレイ

3Dディスプレイ(3次元ディスプレイ)約10年程前に大手各社テレビメーカーが3Dディスプレイと名打って売り出しました。立体テレビの場合は視聴するコンテンツが限られていました。なぜなら裸眼3Dディスプレイ/専用メガネで見れる映像コンテンツは全て放送局や制作会社が作成しなければいけなかったからです。さらには3D生中継に際しても機材を含めて膨大な制作費がかかることなど映像コンテンツにかかわる大きなファクターが存在した。上記技術と弊社の今回技術の大きな違いは、メガネ不要で複数人での共有が可能という点。ここでも実写映像のリアルタイム、即時に3D化することが可能。

VR/AR/MR技術

3つの技術と弊社の今回技術と大きな違いはまず複数人での共有が難しい点です。特にVR技術ではゴーグルを装着するということで装着しているしかその時の映像情報をみることはできません。ちなみに昨今google検索で特定の動物を行い特定アプリで動物を3D表示してAR機能を楽しめるというものがあります。MR技術(VRやARの進化版)では「Microsoft HoloLens」という

技術応用可能例

MEDICAL

2D内視鏡カメラ

ENTERTAIMENT

動画配信コンテンツ・映画・ゲーム

MEDICAL

2D内視鏡カメラ

ENTERTAIMENT

動画配信コンテンツ・映画・ゲーム

 

医療からエンターテインメントまで利活用可能

この技術は実際に今撮影している映像や見ている映像、ライブ映像、ライブ配信(従来の単眼カメラ(シングルカメラ)で撮影したもの)を裸眼ディスプレイで視聴可能、実写映像を使用して立体的構造理解をリアルタイムに可能

例:医療業界⇒既存の2D内視鏡(単眼カメラ)の映像を裸眼ディスプレイを使用してリアルタイムに2Dから3D化(手術の際、2D画面を見ての手術の際リアルタイムの奥行き、複数人での立体的理解共有が可能)

アニメーション⇒動画配信サービス等のコンテンツをリアルタイム配信映像を2Dから3Dに変換。

自動配送、自動運転⇒ロボットが配送する自動配送技術にリアルタイムに2D-3Dに可視化し見える化をする。配送する上で重要な道路の立体的理解・奥行きなど人間と同等の立体的情報を、実写映像をもとにして作成。

2D-3D変換時間・世界最速実現

弊社は独自のAI 3Dアルゴリズムを開発し世界最速の2D-3Dリアルタイム変換速度を実現可能にしました。実現可能にした要因にはいくつかのファクターがあります。

具体的な変換速度として、3D映像をアプロードするまでのトータル所用時間は0.08秒前後(環境:24inch/17inch裸眼モニターの場合)以下具体的数値参照