AIリアルタイム2D-3D映像変換による裸眼3D技術

そもそも3D(Three Dimension)とは何か。
2D(平面)で見えているものをリアルタイムに3D化(立体的)することによって従来と何がどう変わるのか。
そして我々の生活にどう変化をもたらすのか。
答えは、とてもシンプルである。
物をみる視覚情報が多様化することである。
思考を多様化したら、次は視覚を多様化する世界がすぐそこまできている。
さらにリアルタイム変換にすることでよりもっと我々の見る世界に近づく。
リアルタイムで状況を把握することでその後の結果が変わることさえある。
例えば医療分野はリアルタイムに3D化することで奥行(Depth)が見える。
航空機のジェットエンジンや細部点検カメラでリアルタイムに3D化することでミリ単位でのひび割れを発見し
致命傷に繋がるような事故を未然に防ぐことも可能になる。

AIリアルタイム2Dから3D映像変換は基礎技術であり技術のもとになる関連技術として AIリアルタイム動画変換技術AI画像処理技術があります。 この基礎技術から内視鏡カメラ、X線透視装置等の応用技術開発へと応用していきます。

深度推定技術 比較表※青はNOVIUS開発技術範囲

深度推定技術 比較表※青は当社開発技術範囲※

PC・スマートフォン横スクロール対応
技術タイプ 仕組み 使用カメラ・技術 精度 コスト 主な用途 具体的な使用例(実際のデバイス)
センサー型 レーザーや赤外線で直接距離測定 LiDAR / ToF / IR 非常に高い 高い 自動運転
ロボット
AR/VR
スマートフォン
iPhone Proシリーズ(LiDAR)
Apple Vision Pro
Waymo自動運転車
Tesla Autopilot
ステレオ画像 2つのカメラの視差から距離計算 デュアルカメラ 高い 自動運転
ロボット
ドローン
産業機械
Intel RealSense Depth Camera
DJI ドローン障害物検知
Subaru EyeSight
産業用ピッキングロボット
AI単眼深度推定 AIが1枚の画像から奥行きを推定 RGBカメラ 低い AR
スマホカメラ
映像解析
研究
Google Pixel ポートレートモード
Instagram ARフィルター
Meta AR研究
単眼SLAMロボット
X線画像深度推定 透視画像から3D構造を推定 X線透視装置 高い(研究段階含む) 医療画像解析
手術ナビゲーション
被ばく低減
血管造影装置(Angiography)
Cアーム透視装置
カテーテル手術ナビゲーション
整形外科術中イメージング

技術応用可能例(For Solutions)

類似”3D”技術の違い

立体的表現・理解という観点から現在では類似技術が散見されます。

裸眼3Dディスプレイ/サイネージ

3Dディスプレイ(3次元ディスプレイ)約10年程前に大手各社テレビメーカーが3Dディスプレイと名打って売り出しました。立体テレビの場合は視聴するコンテンツが限られていました。なぜなら裸眼3Dディスプレイは専用メガネで見れる映像コンテンツは全て放送局や映像制作会社が作成しなければいけなかったからです。さらには3D生中継に際しても機材を含めて膨大な制作費がかかることなど映像コンテンツにかかわる大きなファクターが存在した。上記技術と弊社の今回技術の大きな違いは、メガネ不要で複数人での共有が可能という点。そして何より弊社技術は変換ソフトである。

3Dホログラム

レーザーを使用して空間に立体画像を投影できるテクノロジー,イベント演出にも使用されるホログラム技術。3Dメガネ不要、裸眼で見れる、ホログラムでは物体の三次元像がそのまま記録されているため、正面からだけでなく、横や後ろに回り込んでも立体のまま見られる点が他の映像技術とは大きく異なる。ホログラムを作る技術はホログラフィーと呼ばれている。この技術本来の本質は映像表示ではなく映像記録としての特徴を生かしたもの。

3DCG

Three Dimensional Computer Graphics(3次元コンピュータ・グラフィック)立体的(3D)に描いた絵。PCで演算式を用いて作成を行った”絵、アニメーション”であるためそもそもの概念が”実写動画”3D技術とは異なる。

XR(VR/AR/MR/SR技術)

これら3つの技術(SR以外)と弊社の今回技術との類似点はリアルタイムです。AR(Augmented Reality拡張現実:現実空間に仮想世界を重ねて投影して見せる)とMR(Mixed Reality複合現実:現実空間と仮想世界を融合させて見せる)は特にリアルタイムでないと技術そのものの意味をなしていません。3Dという観点からは今はまだ人間は目からビームを出せるような人は存在せずAR、MRという技術を融合し、「Microsoft HoloLens」のその先の技術、リアルタイムに今いる現実世界に3D的物質を創造出来る日がくるかもしれません。