HoloLensを装着したボディガードがエスコートする未来

日本マイクロソフト プレミアフィールドエンジニア 津隈和樹氏

　日本マイクロソフトが2017年5月23日から2日間、都内で開催した開発者/IT技術者向けイベント“de:code 2017”。本稿では138におよぶセッションから、“クラウドとAI の力を組み合わせたMicrosoft HoloLensのさらなる可能性”の概要をご報告する。スピーカーを務めた日本マイクロソフト プレミアフィールドエンジニア 津隈和樹氏は、『Microsoft HoloLensを使えば、事前情報を持たないボディガードが、ディスプレイに映し出した情報をもとにエスコートやアナウンスするSF映画的未来が実現する』と語った。

　日本マイクロソフトのMR（複合現実）デバイスであるMicrosoft HoloLens（以下、HoloLens）の概要については、高橋忍氏のセッション記事をご覧頂くとして、本稿では津隈氏がセッションのゴールとして定めた、HoloLensを上司に説明する方法と、HoloLensとクラウド＆AI（人工知能）の組み合わせで実現できる内容についてご紹介する。

HoloLensを上司に説明する方法

　まず上司から『HoloLensって何？』と問われた場合、津隈氏は『HoloLensは自己完結型コンピューターとして、現実世界にホログラムをあたかもそこにあるかのように配置できる』と説明すればよいと述べた。HoloLensデバイスの説明は割愛するが、ケーブルレスで頭部に装着することで、レンズを通して見えるMRの世界は一度体験しないとわからない部分がある。そのため筆者の私見だが、“物理的に存在しないものも空間に浮かび上がらせ、情報や体験を共有できる”と、合わせて説明することをお薦めしたい。

　次に『AR/MR/VRはこれから来るの？』という質問には、『2020年までに市場規模は7倍まで成長する。この点を強調しよう』（津隈氏）と、IDCの2016年度第三四半期調査データをもとに説明した。津隈氏によれば多くの企業は、AR/MR/VRへの本格参入に不安を覚えているという。そして『開発から公開までには何が必要？』との問いには、『HoloLensアプリの91％が「Unity」製。もちろん「Visual Studio」から呼び出して（プログラムの）デバッグも行える』（津隈氏）と、開発自体は容易であるとアピールしている。

AR/MR/VRヘッドセットなどの市場は、2020年までに7倍まで成長する

　続いて津隈氏は、自身のアバターを会場内に設置し、仮想キャラクターを肩に乗せるデモンストレーションを聴講者に披露した。同氏が会場内を移動すると仮想キャラクターも共に移動。さらに人物を追いかけながら、その位置を履歴として残す動画も紹介した。これは、HoloLensが空間内でターゲットの移動情報を認識し、仮想キャラクターやドットとして表現したものである。HoloLensの可能性を示す上で興味深い内容だ。

写真では少々わかりにくいが、左側にアバターを置き、自身がHoloLensに映り込むと仮想キャラクターが現れるデモンストレーション

日本マイクロソフト社内でのデモンストレーション。人物の移動結果をドットで示し、『社内の道案内にも使える』（津隈氏）という

“Sharing”と“Spectator View”で複数がMR世界を堪能できる

　HoloLensとクラウド＆AIについては、デバイス本体の“Sharing（共有）”と“Spectator View（観客視点）”、「Microsoft Azure」、「Microsoft Cognitive Services」との連携方法を紹介している。まず“Sharing”は、Windows Holographicベースで動作する「HoloToolkit」に含まれる“SharingServer”を起動し、船の碇（いかり）に相当する“World Anchor”で共通の座標系を設定。次に仮想オブジェクトの位置や姿勢を決定すると、HoloLensを装着した複数人の視野には、共通の仮想オブジェクトが現れる。『空間情報は接続する無線LANの環境に左右されるため、（“SharingServer”を）「Microsoft Azure」上に置いた方がよい』（津隈氏）そうだ。

　“Spectator View”は仮想オブジェクトを「Unity」上で作成し、会議やセッションなどHoloLensを身に付けていない人々にMR映像を見せる際に利用する。『HoloLensだけだと数秒ほどの遅延が発生し、画像も粗くなってしまう。そのためプレゼンテーションなどで（MR映像を見せるに）は“Spectator View”がよい』（津隈氏）という。確かにプレゼンテーション参加者全員にHoloLensを用意するのは現実的ではないため、手軽にMRの世界を紹介するには、“Spectator View”の優位性が高まりそうだ。

両者の共通座標系を設置することで、同じ仮想オブジェクトが正しい位置に表示される

“Spectator View”の一例。通常のリビングルームを撮影した写真に仮想オブジェクトを重ね合わせている

こちらも“Spectator View”の一例。講演の聴講者に仮想オブジェクトを紹介する場面で有効的だ

　「Microsoft Azure」の活用はPower BIなどで作成した経営データを、3D映像として見せれば効果的と説明しながら、Holoeyesの事例を紹介した。同社は医療健康福祉分野でMRを活用するソリューションを展開する企業だが、都立墨東病院やNTT東日本関東病院では手術の現場でHoloLensを用いた実証実験が行われている。

　CTスキャンで取得した画像をもとに3Dオブジェクトモデルを作成し、「Microsoft Azure」に保存。その結果をHoloLensに映し出し、執刀者同士で情報の共有や患者の手術を行うという流れだ。『このように（HoloLensでは）ジェスチャーや音声、（スマートフォンを用いた）QRコード、“Vuforia”が利用できる』（津隈氏）。

　なお、“Vuforia”はQualcommのAR製作用ライブラリー。マーカーの認識などARに必要な機能を実装し、HoloLens（正確には「Unity」）経由でも利用できる。また、CADデータを「Unity」のメッシュオブジェクトに変換して利用できる「Unity CAD Importer」や「AR CAD Cloud」の活用も推奨していた。

Holoeyesの紹介。空間にCTスキャンから作成した臓器のオブジェクトが現れる

「AR CAD Cloud」の紹介動画。両者の間には実物大の仮想オブジェクトとしてテーブルが見える

“Face API”を使えば映像に映った人物の性別や年齢、名前を取得できる

　そして、「Microsoft Cognitive Services」の活用例として、映像から人物の性別や年齢、笑顔か否か、蓄積データから名前を取得する“Face API”を紹介した。注意点として『カメラ映像はピクセル単位だが、空間座標はメートルで扱うため、変換処理が必要』（津隈氏）だが、この部分も専用APIを用いて変換すればよい。さらにカメラ関連APIは、「Unity」なら“WebCamTexture”“PhotoCapture”“VideoCapture”、UWP（ユニバーサルWindowsプラットフォーム）なら“MediaCapture”と異なるため、場面に応じた使い分けが必要になるという。

“Face API”のデモンストレーション。津隈氏の年齢や表情、名前が映し出される

セッションでは日本エイサーの「Acer Windows Mixed Reality Headsetデベロッパーエディション」も披露した

　このようにHoloLensおよびMRの世界はすでに開発・ビジネスソリューションとして台頭し始めている。新規ビジネスとして今後MRに参加しようと思案している企業担当者には興味深い内容だった。