AIリアルタイム2Dから3D映像変換による裸眼3D技術

共同研究開発について概要

この度2022年1月4年、学校法人昭和大学と株式会社ノビアスは 医工連携による「AIリアルタイム2Dから3D映像変換による 裸眼3D技術」で共同研究契約を締結ならび開始しました。
今後は昭和大学とノビアスの間で共同研究課題について 主に顕微鏡手術や内視鏡・外視鏡手術等における 医学教育・医療システムの開発、製品化を進めていきます。
プロトタイプはすでに完成済であり 2月から順次、試験的に医学教育用途とし 昭和大学の該当機関や施設に 導入が見込まれます。

場所:学校法人昭和大学
研究責任者:昭和大学脳神経外科学講座 佐藤洋輔
株式会社ノビアスAI開発責任者大川浩司
研究期間:2021年12月15日~2022年12月15日

佐藤 洋輔

昭和大学脳神経外科  講師

新潟大学医学部医学科卒業、医学博士課程修了、カナダ・ドイツ医学留学を経験し、現職に至る。電気生理学的脳波データから病変部を正確に3次元的に可視化するためのアプリを独自開発し特許取得。医療・医学教育領域における3次元的なコンテンツの表現方法や、人間の脳生理学に基づいて医療・医学情報を患者さんや医療関係者に届けるためにAI活用が必須であると考えていたところ、NOVIUSに出会って本技術の共同開発に至った。

 

佐藤氏の略歴・所属学会・研究助成・受賞歴・特許・論文はこちら

 

【研究内容】
デジタル脳波解析アプリの開発
脳機能可視化による診断・治療支援技術開発
生体シグナルにおける臨床的に有効なエンコーディング法の開発など

脳神経外科のエキスパート医師として従事しながら、脳神経外科・脳生理学における学術研究や医療・医学DXにも精力的に取り組む。これまで多くの学術学会・論文発表、研究助成受賞、招待講演等の経歴をもつ。生理学・数学・物理工学を組み合わせたヒト・ソフト・ハードの均整のとれた取り組みが公益にかなう成果を生み出すという自らの信念を貫く。

共同研究・開発を行う技術の特色

①独自開発したAIアルゴリズムによりリアルタイムで2D映像から3D映像作成が可能
②3D映像化により奥行きや立体感が把握でき、安全性やスキルアップ向上に繋がる
③医学教育においては本来3次元解釈が必要なコンテンツ(解剖学など)において アクティブラーニングを促進し、ラーニングカーブを短縮
④裸眼3D出力によりデバイス装着することなく肉眼でさらに複数人で映像共有が可能
⑤非接触ツールとしてポストコロナに対応

内視鏡手術で使用の場合

この技術の開発によってこれまで平面的な2D映像では難しかった対象臓器のdepth(深度) の 3D映像で、対象臓器の立体的な把握が容易になり、より迅速で 正確な手術が可能となるでしょう。

一眼シングル画像でもAIにより3D化が可能となり、リアルタイムに裸眼3Dディスプレイに映し出し、手術室や3Dディスプレイ等に共有できます。

顕微鏡手術で使用の場合

現在の手術では細かいところは、外科用ルーペを使って術野をのぞきこんで、またさらに細かい手術は顕微鏡を使って手術を行っています。長時間のこれらの手術は、前者では首や腕のしびれの原因、後者では眼精疲労や肩こりなどの原因となっていました。光学顕微鏡では高倍率時の焦点深度が浅くなりピンとが合いにくいという問題がありました。本システムにより、執刀医と助手・研修医・医学部生が同じ視野を共有することができ熟練医の技術伝承がスムーズに行うことができます。独自開発したAIアルゴリズムにより、リアルタイムで2D映像から3D映像作成が可能であり、裸眼3Dディスプレイに映し出すことができます。

画像_jpg