metaBoxを用いたXRにおけるexUIプロダクトの試作

本研究では、ハンドジェスチャ・オブジェクトトラッキングといった、XR空間独自のインタラクションを用いたexUIを提案した。実際に、Apple Vision Pro と metaBox を用いたアプリケーション例を3つ制作した。本研究は、インタラクション2025にてデモ発表を行う予定である。

背景

exUIは、ハードウェアからインタフェースを外在化することで、ハードウェアの価値や機能をソフトウェア上から再定義可能とする手法である。特にexUIプロダクトの一つであるmetaBoxは、白い箱状の本体とスマートフォンで操作可能な鍵のみで構成されている。スマートフォンを用い、アプリケーションで使い方を定義することで、様々な用途に使用できる。metaBoxを含むexUIプロダクトのアプリケーションは、スマートフォンでの操作を想定して作られていた。

一方、Apple Vision ProをはじめとしたHMDの進歩により、XR空間を用いた新たなユーザ体験を提供できるようになった。オブジェクトトラッキングやハンドトラッキングなどのXR技術をexUIプロダクトに取り入れることで、スマートフォンの平面UIでは実現が難しい直感的なインタラクションを実装できる可能性がある。

提案

本研究では、metaBoxを例としたXR空間におけるexUIプロダクトの提案をする。試作として、Apple Vision ProとmetaBoxを用いたアプリケーション例を3つ制作した。

左からフリマBox、合言葉Box、宝箱Box。

利点

XRを用いることで、ハードウェアの外装変更、実物体との接触インタラクション、ハンドジェスチャによるインタラクションといった、従来のスマートフォンを介した平面UIでは実現が難しい機能が実現できる。

左：接触インタラクションの例、右：カスタムハンドジェスチャの例。

アプリケーション例