2025/05 — 至今
全车窗 AR HUD 5.0｜Warp 与 AI 座舱
校正曲面上的画面，探索更自然的交互
未来黑科技 · FUTURUS · 产品定义 / 交互设计 / 软件原型
AR HUDSwiftScreenCaptureKitMetalWarp眼动与手势
挡风玻璃有曲面，画面投上去会变形。我在为未来全车窗 AR HUD 做 Warp 校正，希望画面显示方正，也尽量用足可显示的区域。
软件原型用 Swift 开发，通过 ScreenCaptureKit 采集桌面画面，扩展画布后用 Metal 在 GPU 上做预畸变，再输出到外屏。外屏实时验证已完成，真实挡风玻璃标定和校正后的操作坐标还在推进；眼动与手势是同一项目中的交互探索。
软件原型由我一个人 vibe coding 完成，没有团队，AI 是我的手脚；真实光学、硬件、展车与量产由公司跨职能团队共同推进。这里的 5.0 是未来产品方向，与已交付的 AR HUD 成果分开呈现。
设计与实现
- ScreenCaptureKit 采集桌面，扩展虚拟画布后由 Metal 完成 GPU 预畸变和外屏映射。
- 将内容画布与物理显示区域分开，兼顾画面方正与可显示区域的利用。
- 外屏实时验证已完成；真实挡风玻璃标定与校正后的输入坐标仍需继续验证。
- 眼动负责预选，手势负责确认与拖动，作为座舱交互原型单独验证。
技术：Swift 开发原型，ScreenCaptureKit 采集桌面，Metal 做 GPU Warp 校正。
项目进展
已完成外屏实时 Warp 验证，真实玻璃标定和输入映射仍在推进。
演示视频
全车窗 HUD 概念车实拍1:09
眼动+手势交互演示0:27
注视预选与捏住抓取0:33
气泡锁定视觉增强0:29
多模态交互完整流程1:13
单摄像头手势远程控制原型 · 演示 10:23
单摄像头手势远程控制原型 · 演示 20:10