2025/05 — 至今
全车窗 AR HUD 概念车打造
眼动+手势+语音+DMS · 座舱多模态 AI 交互系统
未来黑科技 · FUTURUS · 产品总监 / 多模态交互定义 / MVP 实现
AR HUDGesture InteractionVLM VisionEdge AILLM RoutingDMS
全车窗 AR HUD 把整块挡风玻璃变为沉浸式显示面,但"看得到"只是体验的一半,另一半是"懂你要什么"。项目在全车窗 AR HUD demo 车基础上,构建覆盖眼动、手势、语音、驾驶员状态的多模态 AI 交互层,验证 AI 原生座舱的完整产品形态。
驾驶员的实际体验是四件事自然发生:看一眼挡风玻璃上的 AR 信息,它就高亮预选(眼动追踪:虹膜 + 头部朝向融合判断你在看哪);手指轻轻一捏,就能把信息拖到想放的位置(手势识别,带防误触设计);说句话车就懂,还能边听边答不抢话(全双工语音 + 回声消除);车还持续留意你累不累、走不走神(双视觉模型监测疲劳、专注与困惑)。
四个感知通道之上是 AI 决策层:融合视觉场景与对话上下文,按问题复杂度自动选择合适的大模型来响应(四级 LLM 路由)——简单指令秒回,复杂判断调用更强的模型。该项目把 FUTURUS 核心光学能力与 AI 多模态感知结合,验证从「AR 显示设备」到「AI 原生座舱」的产品升级路径。原型由我一个人 vibe coding 快速构建——AI 是我的手脚(写码 + 评审),我定义交互标准、亲自验收,数周完成传统团队数月的验证量。
Key Highlights
- 定义全车窗 AR HUD 的 AI 原生座舱交互框架
- 眼动、手势、语音、驾驶员状态四通道感知融合
- 基于注视预选 + 捏住拖拽实现 AR 信息空中操控
- 双视觉模型监测疲劳、专注、困惑等驾驶员状态
- 按问题复杂度自动选择大模型响应(四级 LLM 路由)
- AI 原生开发:一个人 vibe coding(AI 写码、我定标准亲自验收),数周完成传统团队数月验证量
Key Wins
全链路部署 demo 台架及 demo 车AI 原生座舱产品三角验证
Video Demos
全车窗 HUD 概念车实拍1:09
眼动+手势交互演示0:27
注视预选与捏住抓取0:33
气泡锁定视觉增强0:29
多模态交互完整流程1:13
单摄像头手势远程控制原型 · 演示 10:23
单摄像头手势远程控制原型 · 演示 20:10