LightMe

全天在线、主动感知的智能台灯框架 —— 机械臂 + 多模态 AI + 拟人化交互

English | 中文

LightMe 是一个开源智能台灯框架。它不只是被动等待唤醒词，而是全天在线感知周围状态、在合适的时机主动开口、调灯、做动作的 AI 伙伴。

核心能力

• 多模态认知：LLM 对话 + VLM 视觉理解 + ASR 语音识别 + TTS 语音合成
• 主动感知：端侧场景/人脸感知 + 云端 LLM 决策，自主判断是否主动说话、调灯、做动作
• 实时语音：LLM 流式分句 → TTS 逐句合成，边生成边播
• 机械臂表达：ELEGNT 风格的拟人化动作（点头、转向、好奇等）
• 人脸识别：SCRFD + ArcFace，本地人脸库自动注册
• 长期记忆：SQLite + sqlite-vec，向量 + BM25 混合检索

架构

瘦云三层：认知走厂商 API，感知与轻量路由留本地，实时交互在端侧。

厂商云 (OpenAI 兼容 API)
   主对话 LLM + TTS —— 可配置 (DeepSeek / DashScope / 任意 OpenAI 兼容端点)
        ▲ HTTPS
本地 GPU 服务器 (CUDA)
   小模型路由 / 对话型视觉 (Qwen 4B 级) · ASR 兜底 · 视觉帧网关 · 会话编排 · 记忆 · MCP 工具
        │ WebSocket
端侧主控 (Orange Pi 4 Pro 或同类 ARM SBC)
   音频采集/播放 (ALSA + Opus) · 本地唤醒词 (sherpa-onnx) · 摄像头采集 · 人脸识别 · 感知融合
        │ USB / UVC / ALSA
设备层: 麦克风阵列 / 摄像头 / 扬声器 / 机械臂 / 灯

设计要点：

• 认知层走 OpenAI 兼容 API，主对话与 TTS 可在 DeepSeek / DashScope 等之间切换，无需自建本地大模型即可跑通。
• 感知层（小模型路由、对话型视觉、ASR 兜底）留在本地 GPU，压低时延与成本。
• 端侧负责实时音视频与唤醒；云端断连时本地唤醒词 fallback。

仓库结构

LightMe/
├── src/server/lightme/   云端服务: LLM / ASR / TTS / 视觉 / 记忆 / MCP 工具 / 意图路由 / 主动决策 / 会话编排
├── edge/                 端侧 (Orange Pi): 运行时 / 编排 / 音频 / 视觉 / 人脸 / 感知融合
├── apps/lightme_mobile/  配套移动 App (Flutter)
├── configs/              配置模板 (config.public.*.example.yaml / services.yaml)
├── deploy/               部署样例 (nginx / wireguard)
├── scripts/              启动与运维脚本 (start_lightme.sh 等)
├── eval/                 评测
├── skills/               技能定义
└── tests/                测试

快速开始

前置：Python 3.10+；一台带 NVIDIA GPU 的 Linux 服务器（跑本地感知/路由模型）；一个 OpenAI 兼容的 LLM/TTS API key。

1. 安装与配置

git clone https://github.com/Animan-AI/LightMe.git
cd LightMe
python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt

# 复制配置模板，填入你的厂商 base_url / api_key 与本地服务端口
cp configs/config.public.lightme.me.example.yaml configs/config.yaml
# 然后编辑 configs/config.yaml

2. 启动云端服务

bash scripts/start_lightme.sh    # 精简瘦云栈 (= start_lean.sh)

3. 端侧部署 (Orange Pi)

bash edge/scripts/setup_orangepi_standalone.sh
python3 -m edge.src.orchestrator --config edge/configs/edge.yaml

人格

src/server/lightme/prompting/persona.py 内置的是一个中性示例人格（友好 / 简洁 / 诚实）。把它替换成你自己的人格设定即可，框架其余部分无需改动。

技术栈

云端

组件	实现
主对话 LLM	OpenAI 兼容厂商 API（DeepSeek / DashScope，可配置）
TTS	厂商流式 TTS（如 DashScope CosyVoice），可配置
路由 / 对话型视觉	本地小模型（Qwen 4B 级，vLLM）
ASR 兜底	本地 ASR（vLLM）
记忆	SQLite + sqlite-vec（向量 + BM25 混合）
工具	MCP，四层策略过滤（profile/provider/capability/device）

端侧

组件	实现
硬件	Orange Pi 4 Pro（ARM64）或同类 SBC
音频	麦克风阵列 + ALSA + Opus
唤醒词	sherpa-onnx 本地离线检测
视觉	v4l2 / USB Camera
人脸识别	SCRFD-500M + ArcFace（ONNX），本地人脸库

贡献

欢迎提交 Issue 和 Pull Request。

许可证

本项目采用 MIT 许可证，详见 LICENSE。

致谢

• LeRobot — 机器人控制框架
• Xiaozhi-ESP32-Server — 语音交互参考
• ELEGNT — Apple 拟人化交互设计