2019年10月24日 2019年10月24日

【医療XR】杉本真樹先生のHoloEyes XRに迫る

バイオ

VRの普及によって医療が変わりつつあります。

長時間労働が当たり前とされる外科医の常識を打ち破るごとく、HoloEyes XRという最新テクノロジーを開発されました。

HoloEyes XRを使うと、患者さんの立体臓器が目の前に映し出されるだけでなく、回転させたり、大きくしたりできます。

仮想現実を作り出すのに要する時間はわずか15分。

術前シミュレーションだけでなく、術前カンファから、術後の復習、さらには妊婦さんの赤ちゃんを映し出す研究も進められています。

出典：Holoeyes株式会社

変化をもたらしたのは医療界の異端児・杉本真樹先生。

出典：2019医療ITEXPOセミナーぺージ

杉本先生を知ったのは、2019医療IT EXPOのセミナー情報がきっかけです。

セミナー参加はこれからですので、今回は杉本先生が開発されたHoloEyes XRの仕組みを特許明細書をもとにご紹介します。

※本記事に不足・修正がある場合は、セミナー聴講後に加筆・修正します。

VR、AR、MRを融合したHoloEyes XRが実現する医療

HoloEyes XRを使うと、医師が専用ゴーグルを装着して、手術前に立体的な位置を確認しながらカンファレンスが可能になります。

XR技術を使う強みは、空間と視点を共有できること。

血管や骨の位置を直感的に把握できるだけでなく、モデルを回転させたり、特定部位の裏側をのぞくこともできます。

このように、

●空間を共有

●視点を共有

できることで、これまでであればベテラン医師の手技を学ぶときに、手をどれくらいの角度動かすか言葉で伝えなければならなかったものが、直観的に理解できるようになりました。

HoloEyes XRの「XR」はVR、AR、MRを融合した技術ですが、そもそも、VR、AR、MRとはなんでしょうか。意外と違いがわからなかったりしますよね。

VR、AR、MRの違い

AR、VR、MRの関係図

✔ARとは、現実世界にCGで作り出した仮想現実を加えたものです。

有名な例では、ポケモンGOがありますね。

出典：pokemongo.nianticlabs.com/ja/

✔VRは、仮想現実を作り出して、その世界にいるような感覚を味わう技術です。

✔MRは、ARを発展させたものです。

ARでは対象物（たとえばポケモン）に近づくことはできませんよね。MRでは裏側から見たり、回転させたり、角度を変えてみたりできます。

このように、ARでは対象に近づいて観察できなかったことが、MRでは可能となったわけです。

HoloEyes XRにある「XR」は、AR、VR、MRをまとめた新しい呼び方です。

では、次はHoloEyes XRの仕組みを見ていきます。

HoloEyes XRの仕組み

HoloEyes XRを使うと、そこにない臓器が本当にあるかのように映し出されます。

患者さんのCTスキャンやMRIの情報からVR用アプリ作成にかかる時間はわずか15分。

出典：Holoeyes株式会社

15分後には、患者さんの体内が目の前に映し出されます。

3Dプリンタを使った手術シミュレーションとの大きな違いは、速さと安さですね。HoloEyes XRの場合、素材を使わないため安価です。

その全体像がこちら。

出典：WO2018/139468

特許明細書によると仕組みは次のとおりですが、これではわけがわかりませんよね。

【請求項１】
医用画像データを入力するデータ入力手段と、
前記医用画像データを、生体部位、インプラント、医療デバイス、指標マーカ又は装着物を含む特徴部位毎のセグメントに区分けするセグメント区分け手段と、
前記医用画像データを、前記セグメントを有する３次元ポリゴンデータへ変換する３次元データ変換手段と、
前記３次元ポリゴンデータ又は前記セグメントにタグ付けするタグ付け手段と、
前記３次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付け手段と、
前記３次元ポリゴンデータをデータベースに保存し、タグ付けされたタグに基づいて出力するデータ出力手段、
を備えたことを特徴とする医療情報仮想現実サーバシステム。

医療情報仮想現実システム（WO2018/139468）より

シンプルに書くと次のようになります。

ステップ1：CT、MRIなど患者さん画像を入力する

ステップ2：部位ごとに区分けする（セグメント化）

ステップ3：セグメント化した状態でデータを加工する

ステップ4：ステップ3で加工したデータを整理する（タグ付け）

ステップ5：ステップ3で加工したデータの立体位置を整理する（ワールド座標）

ステップ6：指定された情報に基づいてデータを出力

ここで注意が必要なのは、病院で撮影するCTやMRIなどの画像は、DICOMという仕組みで管理されていること。DICOM画像には患者さんの個人情報が含まれています。

個人情報を含む画像をそのまま複数の病院の医師が共有すると、個人情報の漏洩につながりますよね。

明細書によると、HoloEyes XRのシステムには、個人情報を削除する機能が備わっています。

個人情報を消してからデータベース化すれば、複数の病院でデータを共有しても問題ありませんよね。

特許明細書を読んだとき、ステップ2とステップ4にある「セグメント化」「タグ付け」がイメージしにくかったので、私の解釈を補足しておきます。

ステップ1：CT、MRIなど患者さん画像を入力する

ステップ2：部位ごとに区分けする（セグメント化）

ステップ3：セグメント化した状態でデータを加工する

ステップ4：ステップ3で加工したデータを整理する（タグ付け）

ステップ5：ステップ3で加工したデータの立体位置を整理する（ワールド座標）

ステップ6：指定された情報に基づいてデータを出力

この明細書でいうセグメント化とは、部位ごとに区別すること。

セグメント化によって区別した部位をそれぞれ整理しやすいように名前をつけるのがタグ付け。

たとえば、今回の術前カンファレンスでは患者さんの血管だけをクローズアップして確認したいという場合。

「血管」にタグ付けされたデータだけを出力することで、医師の前には血管が複雑に走行する立体画像が現れるのだと思います。

このように考える根拠は、明細書の下記記述です。

タグ付けの方法としては、データの取得対象となった生体全体行うこともできるし、臓器や血管といったセグメント毎に行うこともできる。例えば、年齢についてタグ付けする場合には、生体全体についてタグ付けする。また、腫瘍のある箇所についてタグ付けする場合には、腫瘍のある臓器や、腫瘍のある臓器内にセグメント化された腫瘍箇所についてタグ付けする。
また、各セグメントにとらわれず、特定の３次元座標にタグ付けを行うことも可能であるし、空間的範囲を設定してタグ付けすることも可能である。

医療情報仮想現実システム（WO2018/139468）より

上記記述から、タグ付けは区分けした部位にだけ行うとは限らず、3次元座標のある1点を選ぶ場合もあることがわかります。

これは請求項1の「前記３次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付け手段」からもうかがえます。

　ワールド座標ってなに？