2026/05 — 至今
AirPlayer|隔空手势播放器
屏幕够不着时,用手势控制播放
独立项目 · 产品设计 / 原型实现 / 评测
MediaPipeHaGRIDONNX手势识别个人校准
这个原型来自车内后排观影的需求:屏幕够不着,播放中用语音控制也不方便。我用捏合、挥手和握拳分别控制暂停、快进和退出,并打包成 Mac 应用日常使用。
我最关注的是误触。通过 HaGRID 公开手势数据集做离线评测,发现统一阈值不适合所有人的手,于是加入个人手势注册与校准;再用小模型复核识别结果,并检查校准时手是否稳定。
相关视线研究还尝试利用捏取动作修正注视偏差。这些原型用于积累空间交互的产品经验,评测结果不等于所有环境下都不会误触。
一个人 vibe coding 完成,没有团队,AI 是我的手脚。我负责使用场景、实验标准与验收。
设计与实现
- MediaPipe 提供手部关键点,HaGRID 离线评测用于观察不同人的识别差异。
- 个人校准、ONNX 小模型复核与校准质量检查共同处理误触问题。
- 在 Mac 应用中日常试用,同时探索捏取动作对视线校准的帮助。
技术:MediaPipe 手部关键点、HaGRID 数据集与 ONNX 模型复核。
项目进展
已打包成 Mac 应用日常使用,并完成离线评测与挂机验证。
演示视频
多模态视觉交互 · 视线追踪优化0:45