1. 扱える技術
1.1. MagicLeap
1.1.1. ハンドトラッキング
1.1.2. コントローラーの入力取得
1.1.3. EyeTracking
1.1.4. 動的メッシュ取得
1.1.5. ImageTracking
1.2. BehaviourTree
1.2.1. Arborの習得
2. これまでのXR UIの課題
2.1. 参考
2.1.1. MRTK
2.2. 現実空間とインタラクションが乏しい
2.2.1. 触覚フィードバックがない
2.2.2. トラッキングの精度
2.2.2.1. ハンドトラッキングはオキュラスがいい精度を出している
2.2.2.2. アイトラッキングはMLで大きめの動作には使える
2.3. 空間的広がりをいかせていない
2.3.1. 視野角の問題あり
2.4. 音声入力が使いづらい
2.4.1. 特に他人の目がある環境では言葉を発しづらい
2.4.2. 他人の目がなくても喋るよりは入力したい
2.5. 疲れる
2.5.1. 従来より体を動かす必要がある
2.5.2. 細かい選択をスピーディにできない
2.5.2.1. 細かいポインタ操作
2.5.2.2. 文字入力
2.6. レイテンシ
3. Design
3.1. キューブセレクト
3.2. ニューフィンガー
3.3. どこでもPad
4. Engineering
4.1. レフトハンドコントローラー
4.1.1. ラジオのAPIストリーミング
4.1.1.1. ❌
4.1.2. 左手を握った時にボタンを表示
4.1.2.1. 🔵
4.1.3. 左手のボタンを右手人差し指で押す
4.1.3.1. 断念❌
4.1.4. どこでもPad
4.1.4.1. ImageTrakingでバーチャルな平面とボタンをAR表示
4.1.4.1.1. 🔵
4.2. キューブセレクト
4.3. ニューフィンガー
4.3.1. ボタンの判定について▲
5. 体験設計
5.1. オープニング
5.1.1. プロジェクト概要の表示
5.1.1.1. ArborのStateMachineで実装
5.1.2. EyeTrackingで動作することの基本操作説明
5.2. Main
5.2.1. 各機能を並べる
5.2.1.1. アイトラッキングで
6. 宣伝・シェア・どう見せる？
6.1. 課題点を書く
6.1.1. UIの作り方が体型的じゃない
6.1.2. ベースとなるドキュメントができていない
6.2. やりたかったことを書く
6.2.1. こういうツールや機能があったらよかったな
6.2.1.1. キャラが喋る
6.2.2. マジックリープここよかったらもっと良かった、みたいな現状のデバイス課題点
6.3. 発表形式
6.3.1. LP作る？
6.3.2. 当日来てくれる人に渡す案内ドキュメント
6.3.3. Githubにまとめる
7. 今回得た知見
8. 開発ログ
8.1. 現実空間とインタラクション のあるキャラAI開発
8.1.1. MLMeshの上を徘徊するキャラ制作
8.1.1.1. アクティブ/非アクティブ
8.1.1.1.1. トリガー：声で呼びかけ
8.1.1.1.2. トリガー：視線と瞬き
8.1.1.2. 動的NavMesh
8.1.1.2.1. ❌
8.1.1.3. 重力
8.1.1.3.1. ❌
8.1.1.4. 動的メッシュとの関係について
8.1.1.4.1. オクルージョンいまいち問題
8.1.1.4.2. CameraのNearが遠すぎる
8.1.1.4.3. デカすぎor見つけられない問題
8.1.1.4.4. 以上より、断念❌