Merge remote-tracking branch 'vlacpp/main'

# Conflicts:
#	src/models/smolvla/action_expert.cpp
#	src/models/smolvla/vision.cpp

Author: JJJYmmm

README_zh.md

@@ -1,7 +1,9 @@
-# Robot.cpp
+# 🤖 Robot.cpp
 
 【demo 位置】
 
+![1783392980125](image/README_zh/1783392980125.png)
+
 Robot.cpp是一个轻量化的on-device机器人模型推理框架，在llama.cpp的基础上进行开发，继承了其零依赖、轻量化的哲学，无需python相关的依赖配置，即可完成机器人模型推理，这使得其在跨平台尤其是环境配置复杂的边缘设备上具有优势。
 
 具体而言，robot.cpp最核心的概念是 [`model-server`](robot_server/README_zh.md)，其为最主要的统一模型接口。在实际工作，仅需要启动 `model-server`，其会监听机器人发送的推理请求，即接受机器人传来的observation，在下层model进行forward计算，返回model生成的action。整体通信设计上为了轻量化零依赖采用手写TCP协议的方式。
@@ -12,12 +14,14 @@ Robot.cpp是一个轻量化的on-device机器人模型推理框架，在llama.cp
 * `policy`：实际使用 `model-client`，与具体的机器人系统或者仿真系统连接的一层抽象，policy负责接受机器人平台给的observation，对其进行处理，然后交给 `model-client`，获得action的最终输出，在这一层看不到通信细节，使用更加友好。
 * `platform`：不同的机器人平台，负责传感器管理，以及机器人控制。
 
-工具上，我们亦都提供了两种工具帮助更好地对机器人模型进行开发
+工具上，我们亦都提供了两种工具帮助更好地对机器人模型进行开发：
+
+* [`hf2gguf`](tools/hf2gguf/README_zh.md)：用来将safetensor格式的checkpoint转化成项目所需的gguf格式。
+* [`quant`](tools/quant/README_zh.md)：对模型的任意tensor族群进行选择性quant的工具，用户仅需要调整yaml进行需求配置即可完成量化gguf的生成。
 
-* [`hf2gguf`](tools/hf2gguf/README_zh.md)：用来将safetensor格式的checkpoint转化成项目所需的gguf格式
-* [`quant`](tools/quant/README_zh.md)：对模型的任意tensor族群进行选择性quant的工具，用户仅需要调整yaml进行需求配置即可完成量化gguf的生成
+---
 
-## 快速使用
+## 🚀 快速使用
 
 ```bash
 git clone https://github.com/Robot-cpp/robot.cpp
@@ -27,30 +31,29 @@ git submodule update --init --recursive
 
 我们介绍三类使用案例来帮助你快速了解本仓库：
 
-* model-server的启动，其与最小dummy model-client通信的案例
-* model-server在仿真平台上的使用（以LIBERO为例）
-* model-server在真机平台上的使用（以SO-101为例）
+* model-server的启动，其与最小dummy model-client通信的案例。
+* model-server在仿真平台上的使用（以LIBERO为例）。
+* model-server在真机平台上的使用（以SO-101为例）。
 
-### model-server的启动与连接dummy client
+### 🔌 model-server的启动与连接dummy client
 
-我们以smolvla的gguf为例，教您快速使用model-server
+我们以smolvla的gguf为例，教您快速使用model-server。
 
-#### step0: 下载gguf model
+#### Step 0：下载gguf model
 
 在hugging-face上下载一份gguf示例：[huggingface.co/rrobottt/smolvla-so101-fp32](https://huggingface.co/rrobottt/smolvla-so101-fp32)
 
-#### step1：model-server的启动
+#### Step 1：model-server的启动
 
-我们提供了两种方式来完成model-server的启动
+我们提供了两种方式来完成model-server的启动。
 
 ##### 方法1：直接下载
 
-对于特定的一些平台与设定，我们已经预编译了一些`model-server`的二进制文件，可以直接在release page下载下来直接用
+对于特定的一些平台与设定，我们已经预编译了一些`model-server`的二进制文件，可以直接在release page下载下来直接用。
 
-下载之后，可以直接用下面的方式运行`model-server`
-
-```
+下载之后，可以直接用下面的方式运行`model-server`：
 
+```bash
 ./model-server \
   --model-type smolvla\
   --llm /path/to/smolvla-llm-f32.gguf \
@@ -73,22 +76,22 @@ git submodule update --init --recursive
 
 启动成功后会显示：
 
-```
+```text
 [model-server] listening on 127.0.0.1:5555 model=smolvla
 ```
 
-#### step2：完成一次对model-server的dummy请求
+#### Step 2：完成一次对model-server的dummy请求
 
 server启动过后，会监听请求，我们提供了一份最小示例来进行一个随机的observation请求。可以使用python或者c++的方式来进行请求。
 
-##### python最小例子
+##### Python最小例子
 
-```
+```bash
 pip install numpy
 python robot_client/examples/python/minimal_example.py
 ```
 
-##### cpp最小例子
+##### C++最小例子
 
 我们提供了一个从编译到运行的例子（`robot_client/shell/cpp_client_example.sh`），按需修改以下环境变量：
 
@@ -102,37 +105,42 @@ python robot_client/examples/python/minimal_example.py
 
 然后运行下面的bash：
 
-```
+```bash
 bash robot_client/shell/cpp_client_example.sh
 ```
 
-### model-server在仿真平台上的使用（以LIBERO为例）
+### 🧪 model-server在仿真平台上的使用（以LIBERO为例）
 
 详见 [LIBERO 仿真评测说明](eval/libero/README_zh.md)（[English](eval/libero/README.md)）。
 
-### model-server在真机平台上的使用（以SO-101为例）
+### 🦾 model-server在真机平台上的使用（以SO-101为例）
 
 详见link，亦可参考视频教程（bilibili link）
 
-## 性能
+---
+
+## ⚡ 性能
 
 我们在不同的平台测试了我们的实现性能，我们对模型进行5次warmup，100次loop，取其从收到图片开始包括process，forward，到输出可用action chunk的latency平均值（单位：ms）。所有state projector均保持f32精度。
-其中，对libero设定，输入为两张256x256的图片，输入的state维度为8；对so101的真机设定，输入为一张224x224的图片，输入的state维度为6
 
-其中对于smolvla的preprocess设定，参考官方的基本设定，即首先会将图片变成512*512
+其中，对libero设定，输入为两张256x256的图片，输入的state维度为8；对so101的真机设定，输入为一张224x224的图片，输入的state维度为6。
+
+其中对于smolvla的preprocess设定，参考官方的基本设定，即首先会将图片变成512*512。
 
 | Model                  | Mac M4 Pro (CPU) | Mac M4 Pro (Metal) | RTX 4090 | RTX 3060 | A100 |
-| ---------------------- | ---------------- | ------------------ | -------- | -------- | ---- |
-| smolvla@libero (bf16*) | 555              | 216                | 28       |          | 43   |
-| smolvla@libero (f32)   | 577              | 236                | 32       |          | 41   |
-| smolvla@so-101 (bf16*) | 339              | 145                | 23       |          | 35   |
-| smolvla@so-101 (f32)   | 396              | 158                | 24       |          | 33   |
-| pi0@libero (f32)       | 1839             | 710                | 83       |          | 79   |
-| pi0@libero (bf16*)     | 1976             | 635                | 57       |          | 70   |
+| ---------------------- | ---------------: | -----------------: | -------: | -------: | ---: |
+| smolvla@libero (bf16*) |              555 |                216 |       28 |          |   43 |
+| smolvla@libero (f32)   |              577 |                236 |       32 |          |   41 |
+| smolvla@so-101 (bf16*) |              339 |                145 |       23 |          |   35 |
+| smolvla@so-101 (f32)   |              396 |                158 |       24 |          |   33 |
+| pi0@libero (f32)       |             1839 |                710 |       83 |          |   79 |
+| pi0@libero (bf16*)     |             1976 |                635 |       57 |          |   70 |
 
 > `bf16*`：在 Mac上使用 f16 结果替代 bf16，因为当前 Mac对 bf16 的支持不够好。
 
-## 仓库架构
+---
+
+## 🗂️ 仓库架构
 
 关键目录如下：
 
@@ -172,7 +180,9 @@ robot.cpp/
     └── lerobot/                   # LeRobot 相关依赖或参考代码
 ```
 
-## 扩展与贡献
+---
+
+## 🌱 扩展与贡献
 
 robot.cpp 欢迎社区贡献新的模型 runtime、平台适配、评测流程、模型转换工具与性能优化。我们希望保持核心推理框架轻量、跨平台、易于复现，同时让不同机器人模型和平台能够以统一接口接入。
 
@@ -183,9 +193,17 @@ robot.cpp 欢迎社区贡献新的模型 runtime、平台适配、评测流程
 
 欢迎通过 issue 讨论设计，也欢迎提交 PR。对于较大的模型结构、协议变更或平台抽象调整，建议先开 issue 对齐接口边界。
 
-## License
+---
+
+## 📄 License
+
+robot.cpp 源码使用 Apache License, Version 2.0 开源。完整协议文本见[LICENSE](LICENSE)。
+
+本仓库也包含若干第三方开源组件，它们遵循各自的开源协议；具体请参考`third_party/` 下对应组件自带的 license 文件。
+
+---
 
-## Acknowledgements
+## 🙏 Acknowledgements
 
 robot.cpp 的设计与实现受益于多个优秀的开源项目：
 

image/README_zh/1783392980125.png

@@ -71,6 +71,21 @@ static std::string fmt(const char * f, ...) {
     return std::string(buf.data(), n);
 }
 
+static bool smolvla_action_expert_use_accel_backend() {
+    const char * value = std::getenv("SMOLVLA_ACTION_USE_ACCEL");
+    if (value == nullptr || value[0] == '\0') {
+        return false;
+    }
+
+    if (std::strcmp(value, "1") == 0 || std::strcmp(value, "true") == 0 || std::strcmp(value, "TRUE") == 0 ||
+        std::strcmp(value, "on") == 0 || std::strcmp(value, "ON") == 0 || std::strcmp(value, "yes") == 0 ||
+        std::strcmp(value, "YES") == 0) {
+        return true;
+    }
+
+    return false;
+}
+
 static void smolvla_free_model_buffers(std::vector<ggml_backend_buffer_t> & bufs) {
     for (ggml_backend_buffer_t buf : bufs) {
         if (buf) {
@@ -350,7 +365,7 @@ struct smolvla_action_expert * smolvla_action_expert_load(const char * fname, in
     scheduler_config.op_offload = true;
     backend_loader backend;
     if (!backend.load(ctx->backend_cpu, ctx->backends, ctx->sched, ctx->buft_policy,
-                      false, scheduler_config, verbosity)) {
+                      smolvla_action_expert_use_accel_backend(), scheduler_config, verbosity)) {
         LOG_ERR("%s: failed to initialize action backend: %s\n", __func__, backend.error().c_str());
         smolvla_action_expert_free(ctx);
         return nullptr;

src/models/smolvla/action_expert.cpp

@@ -514,8 +514,8 @@ smolvla_vision_ctx * smolvla_vision_load(const char * mmproj_path, int verbosity
     scheduler_config.parallel   = false;
     scheduler_config.op_offload = false;
     backend_loader backend;
-    if (!backend.load(ctx->backend_cpu, ctx->backends, ctx->sched, ctx->buft_policy, true, scheduler_config,
-                      verbosity)) {
+    if (!backend.load(ctx->backend_cpu, ctx->backends, ctx->sched, ctx->buft_policy,
+                      true, scheduler_config, verbosity)) {
         LOG_ERR("%s: failed to initialize vision backend: %s\n", __func__, backend.error().c_str());
         smolvla_vision_free(ctx);
         return nullptr;