2025
眼动+手势 多模态交互原型
看哪里,哪里亮 · 捏一下,拿过来 · 空间交互范式验证
源于 FUTURUS 全车窗 AR HUD 用户体验研究 · 产品设计 & 技术实现
眼动追踪手势交互FaceMeshHMI空间计算多模态交互
本项目源于 AI+AR HUD 智能座舱的用户体验研究——在研究驾驶员认知负荷与视觉注意分配时,我判断「眼动+手势」融合交互是下一代空间计算的核心范式,于是独立构建了一个网页就能跑的快速验证原型。
核心体验一句话:看哪里,哪里亮;捏一下,拿过来。眼睛注视目标时,系统自动高亮预选(气泡蹦跳一下,给你「它知道我在看它」的确认感);手指一捏,抓取的就是你正在看的那个目标。为什么要两个通道配合?因为各自单干都有死穴——纯手势不准(手会抖、会挡住视线),纯眼动不可控(眼睛会不自觉乱瞟)。让眼睛负责「选」、手负责「拿」,正好取长补短。
技术上全部跑在浏览器里:实时面部网格追踪 + 瞳孔定位推算注视方向(FaceMesh 468 点 + Iris),手部骨骼点识别捏合动作,再配多阶段校准(5 点 → 9 点)把每个人的注视精度逐步调准。经过 4 个版本迭代(v1.0 → v2.4)持续打磨精度与流畅度,研究成果直接反哺 AR HUD 智能座舱的多模态交互框架设计。
Key Highlights
- 看哪里哪里亮、捏一下拿过来——「注视预选 + 捏住确认」双通道交互
- 眼睛负责「选」、手负责「拿」:互补化解纯手势不准、纯眼动不可控
- 全部跑在浏览器里,无需任何专用硬件(FaceMesh + Iris 瞳孔追踪)
- 多阶段校准把每个人的注视精度逐步调准(5 点 → 9 点)
- 4 个版本快速迭代(v1.0→v2.4),验证核心交互假设
- 研究成果反哺 AR HUD 智能座舱多模态交互框架
Key Wins
注视预选交互范式验证4 版本快速迭代
Video Demos
眼动+手势交互演示 10:27
注视高亮与捏住抓取0:33
气泡锁定与视觉增强0:29
完整交互流程演示1:13