2025

眼动与手势交互原型

看向目标,再用捏合确认

AR HUD 交互研究 · 产品设计 / 原型实现

FaceMeshIris眼动追踪手势识别HMI

研究 AR HUD 交互时,我希望减少寻找和操作菜单的负担,于是做了一个眼动与手势配合的浏览器原型:看向目标时先高亮,捏合时再确认抓取。

FaceMesh 面部网格与 Iris 瞳孔定位用于估计注视方向,手部关键点用于识别捏合,再通过多阶段校准适配个人差异。将预选和确认分开,是为了避免随意看一眼就触发操作,也减少仅靠手部定位的不稳定。

原型经过多轮迭代,用于后续 AR HUD 交互方案研究。软件由我一个人 vibe coding 完成,没有团队,AI 是我的手脚;原型验证不等于通过驾驶场景的安全验收。

设计与实现

  • 注视只做目标预选,捏合才确认操作,减少无意注视导致的触发。
  • FaceMesh、Iris 与手部关键点在浏览器内协作,通过校准适配个人差异。
  • 以可操作原型验证交互方案,并为 AR HUD 研究提供参考。

技术:FaceMesh 面部网格、Iris 瞳孔定位与手部关键点识别。

项目进展

已完成多轮浏览器原型迭代,用于 AR HUD 交互研究。

演示视频

眼动+手势交互演示 10:27
注视高亮与捏住抓取0:33
气泡锁定与视觉增强0:29
完整交互流程演示1:13