产品定义 / 交互设计 / 软件验证
小可记住孩子的兴趣和约定,日常参与积累成进度和奖励。与 MyJavis 共用 Rust 实时全双工语音引擎,新做的 one-shot 让唤醒词和问题可以连着说。
技术:Android / Kotlin 对接设备,Godot / GDScript 呈现场景,Rust 管进度与语音,LiveKit / WebRTC 传输音频。
进展:成长玩法已在真机验证,one-shot 完成专项验收,待合包发布。
产品定义 / 技术方案 / 软件实现
以飞书为入口的多用户 AI 助手。工作偏好和知识可以积累、查看与修改;任务前检索相关背景,长任务在后台执行,结果按发送回执确认。
技术:Node.js 接入飞书,ai-memory 做全文与向量检索,Bubblewrap 隔离进程,SQLite 保存任务和待发送结果。
进展:已有真实多用户使用,仍在改进召回、任务恢复和结果送达。
我自己长期使用的 Mac AI 助手。通过实时全双工语音、声纹、长期记忆和本机视觉接续交流,并探索主动提醒的合适时机。
技术:Rust / Tokio 管理会话,LiveKit / WebRTC 传输音频,语音识别—模型回答—语音合成流式衔接。
进展:已长期自用,继续减少主动提醒带来的打扰。
产品定义 / 系统架构 / 软件实现
把 PEST 外部信息、Growth Insight 产品线分析和公司目标放到一起,记录判断背后的事实与证据,为业务负责人提供可核对的建议。
技术:Node.js + PostgreSQL,Ontology 业务建模连接目标、事实、证据与行动。
进展:已有产品线试点,公司级架构在推进;决策由人确认。
给自己做的桌面工作工具。按任务选择模型,通过分层记忆保留项目背景和之前的决定,减少切换 AI 时反复交代上下文。
技术:Tauri 桌面端、模型路由、分层记忆与飞书 API。
进展:日常产品研究、战略分析和软件开发都在使用。
产品定义 / 交互设计 / 软件原型
面向未来全车窗 AR HUD 的软件预研:扩展画布,用 GPU 预畸变校正外屏画面,并结合眼动与手势探索座舱交互。
技术:Swift 开发原型,ScreenCaptureKit 采集桌面,Metal 做 GPU Warp 校正。
进展:外屏实时验证完成;真实玻璃标定和操作坐标映射继续推进。
研究设计 / 原型实现 / 实验分析
用 CfC 连续时间神经网络研究个人记忆与意图理解,并通过信息论分析检验表情信号的作用,确定后续需要补充的场景信息。
技术:CfC 连续时间神经网络、视觉理解与信息论分析。
进展:形成阶段性结论,后续补充场景与行为背景。
产品设计 / 原型实现
从 AR HUD 的驾驶员视觉注意研究出发,用浏览器原型验证注视预选与手势确认的配合,减少单一输入方式带来的不确定性。
技术:FaceMesh 面部网格、Iris 瞳孔定位与手部关键点识别。
进展:浏览器原型完成多轮验证,继续服务于 AR HUD 交互研究。
产品设计 / 原型实现 / 评测
面向远距离观影的 Mac 手势播放器。重点处理日常动作引起的误触,通过个人校准、模型复核和离线评测调整识别方式。
技术:MediaPipe 手部关键点、HaGRID 数据集与 ONNX 模型复核。
进展:Mac 应用已日常使用,继续观察不同环境下的误触。
产品市场部负责人 / 产品总监
负责 AR HUD 产品规划与产品市场团队,组织光学、硬件、交互和数据服务协作,推进展车路测、量产适配与客户定点。
技术:自由曲面光学、DMS 驾驶员监测、手势与语音、ADAS 和高精地图。
进展:支撑国内新势力旗舰车型及海外豪华品牌前装定点。
产品负责人
主导将车载光学技术应用于儿童健康教育硬件,组织跨职能团队定义设备、AI 服务与家庭和机构的使用方式,后续软件体验由 KidsHub AI 持续验证。
技术:自由曲面光学、智能硬件与配套 AI / 数据服务。
进展:形成儿童硬件产品方向,后续由 KidsHub AI 持续验证交互与成长玩法。
高级产品经理
负责咖啡厅送餐机器人的需求研究、技术选型与原型推进,结合激光雷达 SLAM 和深度视觉,完成从原型到实际服务场景的验证。
技术:激光雷达 SLAM、深度视觉与室内自主导航。
进展:完成原型并在咖啡厅提供实际服务。
产品经理
负责 UR 协作机械臂的无人冰淇淋站与 Mimic 交互原型。前者连接手机点单和自动制作并投入运营,后者用深度摄像头验证人体动作与机械臂的映射。
技术:UR 协作机械臂、深度摄像头、动作映射与手机点单小程序。
进展:无人站在山东两地运营,镜像交互原型完成验证。
设计经理 / 产品经理
在汉能负责太阳能消费品规划与开发,带领团队完成赛车供电、难民营路灯和户外产品,将薄膜太阳能技术适配到不同使用条件。
技术:薄膜太阳能、供电系统与户外产品结构设计。
进展:完成赛车供电项目、路灯量产交付与消费品出口。
高级智能机器人产品经理
负责儿童服务机器人和桌面助手机器人的产品方案,组织语音理解、视觉识别与云服务集成,产品原型参展 CES 2017。
技术:Azure、O365、语音理解、双目视觉与 DLP 微型投影。
进展:团队完成产品原型并参展 CES 2017。