Chiba Yuto

metaBoxを用いたXRにおけるexUIプロダクトの試作

2025/03/03

metaBoxを用いたXRにおけるexUIプロダクトの試作
CategoryName
学会INTERACTION2025
共著者傳田隼稀・三浦晴大・渡邊恵太
使用ツール / 言語Apple Vision Pro / Swift
論文INTERACTION 2025

本研究では、ハンドジェスチャ・オブジェクトトラッキングといった、XR空間独自のインタラクションを用いたexUIを提案しました。実際に、Apple Vision Pro と metaBox を用いたアプリケーション例を3つ制作しました。本研究は「インタラクション2025」のデモ展示にて、プレミアム発表(19.6%)に採択されました。

exUIとは

exUIは、ハードウェアからインタフェースを外在化することで、ハードウェアの価値や機能をソフトウェア上から定義できるようにする手法です。metaBox は exUI プロダクトの一つで、白い箱状の本体とスマートフォンで操作可能な鍵のみで構成されており、スマートフォンを用い、アプリケーションで使い方を定義することで、さまざまな用途に使用できます。これまで、metaBox を含む exUI プロダクトのアプリケーションは、スマートフォンでの操作を想定して作られていました。

XR技術の発展

一方、Apple Vision ProをはじめとしたHMDの進歩により、XR空間を用いた新たなユーザ体験を提供できるようになりました。オブジェクトトラッキングやハンドトラッキングなどのXR技術をexUIプロダクトに取り入れることで、スマートフォンの平面UIでは実現が難しい直感的なインタラクションを実装できる可能性があります。

XR空間におけるexUI

本研究では、metaBox を例とした XR 空間における exUI プロダクトを提案しました。試作として、Apple Vision Pro と metaBox を用いたアプリケーション例を3つ制作しました。

file-20251201211545590

XRを用いる利点

XRを用いることで、ハードウェアの外装変更、実物体との接触インタラクション、ハンドジェスチャによるインタラクションといった、従来のスマートフォンを介した平面UIでは実現が難しい機能が実現できます。

file-20251201211607233

デモビデオ