AIリアルタイム2Dから3D映像変換による裸眼3D技術

AIリアルタイム2D-3D映像変換による裸眼3D技術
(特許出願済)とは?

関連技術:NOVIUS独自技術:特許取得済(AI画像プラットフォームリアルタイムスタイルトランスファー

どんな実写映像でも単眼カメラから専用裸眼ディスプレイを使用してリアルタイムに3D化可能

最大の強み

  • 〇既存の2D内視鏡(単眼カメラ)をそのまま使用可能
  • 〇実写映像(2D、単眼カメラ)を即時3D化(リアルタイム変換)
  • 〇裸眼で視聴可能
  • 〇複数人での共有が可能
  • 〇Depth調整可能(奥行き調整可能)
この技術は従来のディスプレイ先行で開発を行っていた3D化の概念を変えたものになります。コンテンツ、映像から3D化を可能にした技術となっております。もっと消費者自身自らが2Dから3Dへの映像の変換をできるようにしてどの映像を3Dで視聴するのか、奥行きはどのくらいでみたいのか、場面で言えば家などのホームシアターや時には自分一人で見るとき、医療現場での手術室、内視鏡における飛行機整備(リアルタイムでの奥行き理解)

類似技術の違い

実写映像のリアルタイム立体的表現・理解という観点から現在では類似技術が散見されます

3Dホログラム

レーザーを使用して空間に立体画像を投影できるテクノロジー,3Dメガネ不要、裸眼で見れる、ホログラムでは物体の三次元像がそのまま記録されているため、正面からだけでなく、横や後ろに回り込んでも立体のまま見られる点が他の映像技術とは大きく異なる。ホログラムを作る技術はホログラフィーと呼ばれている。この技術本来の本質は映像表示ではなく映像記録としての特徴を生かしたもの。もちろん使用している原理は異なりますが上記技術と今回の弊社技術の大きな違いは実写映像をリアルタイムに変換が出来るかできないかです。

裸眼3Dディスプレイ

3Dディスプレイ(3次元ディスプレイ)約10年程前に大手各社テレビメーカーが3Dディスプレイと名打って売り出しました。立体テレビの場合は視聴するコンテンツが限られていました。なぜなら裸眼3Dディスプレイ/専用メガネで見れる映像コンテンツは全て放送局や制作会社が作成しなければいけなかったからです。さらには3D生中継に際しても機材を含めて膨大な制作費がかかることなど映像コンテンツにかかわる大きなファクターが存在した。上記技術と弊社の今回技術の大きな違いは、メガネ不要で複数人での共有が可能という点。ここでも実写映像のリアルタイム、即時に3D化することが可能。

VR/AR/MR技術

3つの技術と弊社の今回技術と大きな違いはまず複数人での共有が難しい点です。特にVR技術ではゴーグルを装着するということで装着しているしかその時の映像情報をみることはできません。ちなみに昨今google検索で特定の動物を行い特定アプリで動物を3D表示してAR機能を楽しめるというものがあります。MR技術(VRやARの進化版)では「Microsoft HoloLens」という

2d-3d変換技術応用例-1

 

医療からエンターテインメントまで利活用可能

この技術は実際に今撮影している映像や見ている映像、ライブ映像、ライブ配信(従来の単眼カメラ(シングルカメラ)で撮影したもの)を裸眼ディスプレイで視聴可能、実写映像を使用して立体的構造理解をリアルタイムに可能

例:医療業界⇒既存の2D内視鏡(単眼カメラ)の映像を裸眼ディスプレイを使用してリアルタイムに2Dから3D化(手術の際、2D画面を見ての手術の際リアルタイムの奥行き、複数人での立体的理解共有が可能)

アニメーション⇒動画配信サービス等のコンテンツをリアルタイム配信映像を2Dから3Dに変換。

自動配送、自動運転⇒ロボットが配送する自動配送技術にリアルタイムに2D-3Dに可視化し見える化をする。配送する上で重要な道路の立体的理解・奥行きなど人間と同等の立体的情報を、実写映像をもとにして作成。

産業応用例-2

半導体 (Back Process)
高性能コンピューティング、広帯域5Gネットワークスイッチング、自律走行、統合センシング、AI診断などを遂行するために半導体デバイスのさらなる高集積化・高性能化が求められる。3Dパッケージング技術(ロジック、メモリ、周辺デバイスを1つのパッケージに高密度に実装する技術)は今後の技術です。それを検査する3D画像検査ソフトが本質的に求められる。

 

インフラ整備・点検
N-VISION 3Dを使い、単眼カメラからリアルタイムで3D画像を作成し、ドローンやロボットでなければ行えないインフラ点検を映像化することを目指します。本技術は、単眼カメラ画像から得られる情報のみで、外壁などのひび割れの長さ、面積、体積などの大きさを精密に計測することができます。

ドローンやロボット制御に搭載されているカメラは変更する必要がありません。

 

工業用内視鏡
N-VISION 3D工業用内視鏡は、3次元の画像を提供し、深さ、機械的な詳細、現場での方向性などの追加情報を提供することができます。

 

2D-3D変換時間・世界最速実現

弊社は独自のAI 3Dアルゴリズムを開発し世界最速の2D-3Dリアルタイム変換速度を実現可能にしました。実現可能にした要因にはいくつかのファクターがあります。特に開発で重要視される (GPU)今回技術はNVIDIA GeForce RTX 3080Tiを使用し実現しました。

具体的な変換速度として、3D映像をアプロードするまでのトータル所用時間は0.08秒前後(環境:24inch/17inch裸眼モニターの場合)以下具体的数値参照