2026/06 — 至今

MyJavis|私人实时 AI 伙伴

能接着聊,也在合适的时候提醒

独立项目 · 产品定义 / 技术方案 / 软件实现

RustTokioLiveKit / WebRTC声纹识别长期记忆本机视觉

这是我自己长期使用的 Mac AI 助手。我希望和它聊天时能随时插话,不用每次重新介绍自己,也能让它根据眼前的情况提供提醒。

它与小可共用 Rust 重写的实时双向全双工语音引擎。Tokio 管理异步任务,LiveKit/WebRTC 传输音频,语音识别、模型回答和语音合成流式衔接,减少等待。声纹、长期记忆和本机视觉用于理解个人情况,敏感记忆单独保存在本机。

还在调整主动提醒的时机,减少不必要的打扰。

一个人 vibe coding 完成,没有团队,AI 是我的手脚。我负责产品定义、体验取舍和日常试用验收。

设计与实现

  • Rust + Tokio 承接异步音频与会话任务,LiveKit / WebRTC 连接实时音频。
  • 语音识别、模型回答、语音合成流式衔接,结合语音活动检测与语义判停处理停顿、插话和续说。
  • 声纹提供身份线索,长期记忆与本机隐私内容分开管理,本机视觉补充当下状态。
  • 提醒需要同时考虑用户是否在场、当前是否方便,以及该不该打断。

技术:Rust / Tokio 管理会话,LiveKit / WebRTC 传输音频,语音识别—模型回答—语音合成流式衔接。

项目进展

长期自用的 Mac 应用,继续调整主动提醒的时机。

演示视频

全双工双向流式实时语音对话 Agent1:04