【医療XR】杉本真樹先生のHoloEyes XRに迫る

スポンサーリンク

VRの普及によって医療が変わりつつあります。

長時間労働が当たり前とされる外科医の常識を打ち破るごとく、HoloEyes XRという最新テクノロジーを開発されました。

HoloEyes XRを使うと、患者さんの立体臓器が目の前に映し出されるだけでなく、回転させたり、大きくしたりできます。

仮想現実を作り出すのに要する時間はわずか15分。

術前シミュレーションだけでなく、術前カンファから、術後の復習、さらには妊婦さんの赤ちゃんを映し出す研究も進められています。

出典:Holoeyes株式会社

 

変化をもたらしたのは医療界の異端児・杉本真樹先生。

出典:2019医療ITEXPOセミナーぺージ

杉本先生を知ったのは、2019医療IT EXPOのセミナー情報がきっかけです。

セミナー参加はこれからですので、今回は杉本先生が開発されたHoloEyes XRの仕組みを特許明細書をもとにご紹介します。

※本記事に不足・修正がある場合は、セミナー聴講後に加筆・修正します。



VR、AR、MRを融合したHoloEyes XRが実現する医療

HoloEyes XRを使うと、医師が専用ゴーグルを装着して、手術前に立体的な位置を確認しながらカンファレンスが可能になります。

XR技術を使う強みは、空間と視点を共有できること。

血管や骨の位置を直感的に把握できるだけでなく、モデルを回転させたり、特定部位の裏側をのぞくこともできます。

このように、

●空間を共有

●視点を共有

できることで、これまでであればベテラン医師の手技を学ぶときに、手をどれくらいの角度動かすか言葉で伝えなければならなかったものが、直観的に理解できるようになりました。

 

HoloEyes XRの「XR」はVR、AR、MRを融合した技術ですが、そもそも、VR、AR、MRとはなんでしょうか。意外と違いがわからなかったりしますよね。

VR、AR、MRの違い

AR、VR、MRの関係図

✔ARとは、現実世界にCGで作り出した仮想現実を加えたものです。

有名な例では、ポケモンGOがありますね。

出典:pokemongo.nianticlabs.com/ja/

 

✔VRは、仮想現実を作り出して、その世界にいるような感覚を味わう技術です。

✔MRは、ARを発展させたものです。

ARでは対象物(たとえばポケモン)に近づくことはできませんよね。MRでは裏側から見たり、回転させたり、角度を変えてみたりできます。

このように、ARでは対象に近づいて観察できなかったことが、MRでは可能となったわけです。

 

HoloEyes XRにある「XR」は、AR、VR、MRをまとめた新しい呼び方です。

では、次はHoloEyes XRの仕組みを見ていきます。



HoloEyes XRの仕組み

HoloEyes XRを使うと、そこにない臓器が本当にあるかのように映し出されます。

患者さんのCTスキャンやMRIの情報からVR用アプリ作成にかかる時間はわずか15分

出典:Holoeyes株式会社

 

15分後には、患者さんの体内が目の前に映し出されます。

 

3Dプリンタを使った手術シミュレーションとの大きな違いは、速さと安さですね。HoloEyes XRの場合、素材を使わないため安価です。

 

その全体像がこちら。

出典:WO2018/139468

 

特許明細書によると仕組みは次のとおりですが、これではわけがわかりませんよね。

【請求項1】
医用画像データを入力するデータ入力手段と、
前記医用画像データを、生体部位、インプラント、医療デバイス、指標マーカ又は装着物を含む特徴部位毎のセグメントに区分けするセグメント区分け手段と、
前記医用画像データを、前記セグメントを有する3次元ポリゴンデータへ変換する3次元データ変換手段と、
前記3次元ポリゴンデータ又は前記セグメントにタグ付けするタグ付け手段と、
前記3次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付け手段と、
前記3次元ポリゴンデータをデータベースに保存し、タグ付けされたタグに基づいて出力するデータ出力手段、
を備えたことを特徴とする医療情報仮想現実サーバシステム。

医療情報仮想現実システム(WO2018/139468)より

 

シンプルに書くと次のようになります。

ステップ1:CT、MRIなど患者さん画像を入力する

ステップ2:部位ごとに区分けする(セグメント化)

ステップ3:セグメント化した状態でデータを加工する

ステップ4:ステップ3で加工したデータを整理する(タグ付け)

ステップ5:ステップ3で加工したデータの立体位置を整理する(ワールド座標)

ステップ6:指定された情報に基づいてデータを出力

 

ここで注意が必要なのは、病院で撮影するCTやMRIなどの画像は、DICOMという仕組みで管理されていること。DICOM画像には患者さんの個人情報が含まれています。

個人情報を含む画像をそのまま複数の病院の医師が共有すると、個人情報の漏洩につながりますよね。

明細書によると、HoloEyes XRのシステムには、個人情報を削除する機能が備わっています。

個人情報を消してからデータベース化すれば、複数の病院でデータを共有しても問題ありませんよね。

 

特許明細書を読んだとき、ステップ2とステップ4にある「セグメント化」「タグ付け」がイメージしにくかったので、私の解釈を補足しておきます。

ステップ1:CT、MRIなど患者さん画像を入力する

ステップ2:部位ごとに区分けする(セグメント化)

ステップ3:セグメント化した状態でデータを加工する

ステップ4:ステップ3で加工したデータを整理する(タグ付け)

ステップ5:ステップ3で加工したデータの立体位置を整理する(ワールド座標)

ステップ6:指定された情報に基づいてデータを出力

 

この明細書でいうセグメント化とは、部位ごとに区別すること。

セグメント化によって区別した部位をそれぞれ整理しやすいように名前をつけるのがタグ付け

 

たとえば、今回の術前カンファレンスでは患者さんの血管だけをクローズアップして確認したいという場合。

「血管」にタグ付けされたデータだけを出力することで、医師の前には血管が複雑に走行する立体画像が現れるのだと思います。

このように考える根拠は、明細書の下記記述です。

タグ付けの方法としては、データの取得対象となった生体全体行うこともできるし、臓器や血管といったセグメント毎に行うこともできる。例えば、年齢についてタグ付けする場合には、生体全体についてタグ付けする。また、腫瘍のある箇所についてタグ付けする場合には、腫瘍のある臓器や、腫瘍のある臓器内にセグメント化された腫瘍箇所についてタグ付けする。
また、各セグメントにとらわれず、特定の3次元座標にタグ付けを行うことも可能であるし、空間的範囲を設定してタグ付けすることも可能である。

医療情報仮想現実システム(WO2018/139468)より

 

上記記述から、タグ付けは区分けした部位にだけ行うとは限らず、3次元座標のある1点を選ぶ場合もあることがわかります。

これは請求項1の「前記3次元ポリゴンデータを任意のワールド座標位置に関連付けする座標関連付け手段」からもうかがえます。

 

 ワールド座標ってなに?

 

ワールド座標というのは、3次元空間全体を表す座標のことです。こういうやつです。

 

3次元空間のある1点のみをタグ付けして、データを出力することもできる、つまり、

医師が見たい部分だけをピンポイントで選べるのだと思います。

見たい部分でまず思いつくのは癌ですよね。

 

特定部位を区分けしたセグメント化してタグ付けすれば、血管や臓器を見ることができ、

任意のワールド座標位置でタグ付けすれば、脳などにある癌を見ることができるのではないかと解釈しました。

 

ここで請求項1に戻ってみると、

前記医用画像データを、前記セグメントを有する3次元ポリゴンデータへ変換する3次元データ変換手段

という記載があります。

そもそもポリゴンデータとは何か、補足しておきます。

ポリゴンデータとは

面と辺と点からなる形状をポリゴンといいます。

ポリゴンには三角ポリゴンもあれば、四角ポリゴンもあります。

アニメーションでおなじみの3DCG。滑らかにみえても、拡大すると表面は実はゴツゴツなのです。これがポリゴンです。

ポリゴンの数が少ないと、右のような粗削りな球面になります。ポリゴンの数を増やすと、左のようななめらかな球面になります。

ちなみに、ポリゴンデータはデータ量が軽いので、コストを抑えるのにも◎です。

 

全体の流れを再度示すとこんな感じ。



まとめ

HoloEyes XRの主なメリットは次のとおりです。

●ベテラン医師の知見をほかの医師や患者に伝えやすくなった

●ポリゴンデータは軽いので、コストを抑えられる

●プライバシーを保護できる

●3Dプリンタを使うより低コスト・高速化が可能

 

HoloEyes XRによって、同一患者の過去から現在の流れを時系列で確認したり、撮影時には存在しなかった医療機器をVRの中で登場させて、手術シミュレーションもできるようになりました。

言葉では伝えるのが難しい複雑な手技も、ほかのユーザーが直感的に「見て」「体験する」ことが可能になりました。

 

5G技術の普及によって、医療XR技術もますます普及していくことと思います。

医療のXR技術では日本は世界をリードしているので、日本が医療輸出大国となる日も遠くないかもしれません。

最新情報は杉本先生のセミナーで聞いてきますので、またご紹介する予定です。

 

※アイキャッチ画像の出典:Holoeyes株式会社

 

【参考】

再表2018/139468 医療情報仮想現実システム(HoloEyes株式会社/発明者:杉本真樹)

VRで命を救う。医療を“解放”してテクノロジーを融合させる「医領解放構想」とはーHoloeyes COO杉本真樹氏

医療格差のない世界へ。 メディカル・イノベーターの杉本真樹医師に聞く「5G×医療」の未来の可能性

 

 

RELATED

スポンサーリンク