2026/05 — 至今

AirPlayer|隔空手势播放器

屏幕够不着时,用手势控制播放

独立项目 · 产品设计 / 原型实现 / 评测

MediaPipeHaGRIDONNX手势识别个人校准

这个原型来自车内后排观影的需求:屏幕够不着,播放中用语音控制也不方便。我用捏合、挥手和握拳分别控制暂停、快进和退出,并打包成 Mac 应用日常使用。

我最关注的是误触。通过 HaGRID 公开手势数据集做离线评测,发现统一阈值不适合所有人的手,于是加入个人手势注册与校准;再用小模型复核识别结果,并检查校准时手是否稳定。

相关视线研究还尝试利用捏取动作修正注视偏差。这些原型用于积累空间交互的产品经验,评测结果不等于所有环境下都不会误触。

一个人 vibe coding 完成,没有团队,AI 是我的手脚。我负责使用场景、实验标准与验收。

设计与实现

  • MediaPipe 提供手部关键点,HaGRID 离线评测用于观察不同人的识别差异。
  • 个人校准、ONNX 小模型复核与校准质量检查共同处理误触问题。
  • 在 Mac 应用中日常试用,同时探索捏取动作对视线校准的帮助。

技术:MediaPipe 手部关键点、HaGRID 数据集与 ONNX 模型复核。

项目进展

已打包成 Mac 应用日常使用,并完成离线评测与挂机验证。

演示视频

多模态视觉交互 · 视线追踪优化0:45