📦 Rdk X5 Ai Detect — RDK X5 AI推理

v1.0.0

在RDK X5的10TOPS BPU上，一键运行YOLO检测、分类、分割、人脸/手势/关键点识别、开放词汇检测、双目深度估计、语音识别及≤2B量化端侧LLM等主流AI算法。

0· 208·1 当前·1 累计

by @katherineedwards2475 (qiaolongli)·MIT-0

AI模型访问开发工具自动化数据处理系统工具

下载技能包

License

MIT-0

最后更新

2026/3/11

安全扫描

VirusTotal

无害

查看报告

OpenClaw

安全

high confidence

Instructions are coherent with a ROS2-based RDK X5 BPU AI inference skill; the steps and requirements match the declared purpose, but take care with optional pip installs, example credential handling, and exposed web/RTSP streams.

评估建议

This skill appears internally consistent for running AI inference on an RDK X5 device. Before installing/using it: (1) confirm you are on the intended RDK X5 hardware with TROS/ROS2 installed; (2) avoid running the provided pip commands without verifying the packages' source (they may fetch code from the network); (3) do not embed credentials in command lines—use protected config files or environment variables and be aware such command lines can leak to process lists or shell history; (4) the we...

详细分析 ▾

✓ 用途与能力

名称/描述声称通过TROS框架在RDK X5 BPU上运行AI推理；SKILL.md仅依赖ros2并引用ROS启动文件、BPU sysfs及厂商Python推理包，与声明目的一致。

ℹ 指令范围

运行时指令限于source TROS环境、启动特定AI组件的ROS2节点、可选pip安装、从/sys读取BPU使用率及查看本地Web UI。指令未索取无关系统数据，但示例中的RTSP URL含凭据（命令行暴露秘密）且Web UI在8000端口（网络暴露）。

ℹ 安装机制

仅提供指令（无安装规范）。建议可选pip安装（hobot-dnn-rdkx5、hobot-vio-rdkx5）。pip从包索引拉取代码，安装前需验证来源。未要求从任意URL下载或解压归档。

✓ 凭证需求

本技能无需环境变量或外部凭据。唯一类似凭据的是RTSP示例中的'admin:password'，仅为示例但可能鼓励不安全做法；除此之外无未说明的密钥访问。

✓ 持久化与权限

always为false，且不修改全局Agent设置或其他技能。本技能不要求永久提权或超出正常调用的持久存在。

安全有层次，运行前请审查代码。

License

MIT-0

可自由使用、修改和再分发，无需署名。

查看条款 ↗

运行时依赖

无特殊依赖

版本

latestv1.0.02026/3/11

Initial release: BPU AI inference for YOLO, classification, segmentation, face/gesture/pose, DOSOD, depth, ASR, LLM

● 无害

安装命令

点击复制

官方npx clawhub@latest install rdk-x5-ai-detect

镜像加速npx clawhub@latest install rdk-x5-ai-detect --registry https://cn.longxiaskill.com

技能文档

# RDK X5 AI Detect — BPU AI 推理 RDK X5 搭载 10 TOPS BPU，所有 AI 算法通过 TogetheROS.Bot (tros.b) 框架运行。 ## 前置准备 ``bash # 每个终端都需要 source source /opt/tros/humble/setup.bash # 安装 Python 推理库（可选，用于自定义推理脚本） pip3 install hobot-dnn-rdkx5 hobot-vio-rdkx5 ` ## 操作步骤 ### 1. YOLO 目标检测（摄像头实时） `bash source /opt/tros/humble/setup.bash ros2 launch dnn_node_example dnn_node_example.launch.py \ dnn_example_config_file:=config/yolov5sworkconfig.json \ dnn_example_image_width:=640 dnn_example_image_height:=480 ` 浏览器 http://:8000 查看检测结果。可选模型配置文件： | 模型 | config 文件 | |------|------------| | YOLOv5s | config/yolov5sworkconfig.json | | MobileNetV2 分类 | config/mobilenetv2workconfig.json | ### 2. 图像分类 `bash source /opt/tros/humble/setup.bash ros2 launch dnn_node_example dnn_node_example.launch.py \ dnn_example_config_file:=config/mobilenetv2workconfig.json ` ### 3. 开放词汇检测（DOSOD / YOLO-World） `bash source /opt/tros/humble/setup.bash # DOSOD（地瓜自研，支持语音指令指定检测目标） ros2 launch hobot_dosod dosod.launch.py # YOLO-World ros2 launch hobot_yolo_world hobot_yolo_world.launch.py ` ### 4. 双目深度估计 `bash source /opt/tros/humble/setup.bash # 需配合双目摄像头（SC230ai / SC132gs / ZED） ros2 launch hobot_stereonet stereonet_model.launch.py ` ### 5. 语音识别 (ASR) `bash source /opt/tros/humble/setup.bash ros2 launch hobot_asr hobot_asr.launch.py ` 需配合音频子板（微雪 WM8960 Audio HAT 或幻尔载板）。 ### 6. 端侧 LLM 大模型 `bash source /opt/tros/humble/setup.bash ros2 launch hobot_llamacpp hobot_llamacpp.launch.py ` ### 7. Web 可视化 `bash source /opt/tros/humble/setup.bash ros2 launch websocket websocket.launch.py ` 所有算法结果叠加实时画面，浏览器 http://:8000 查看。 ### 8. RTSP 拉流 + AI 推理（智能盒子方案） `bash source /opt/tros/humble/setup.bash ros2 launch hobot_rtsp_client hobot_rtsp_client.launch.py \ rtsp_url:="rtsp://admin:password@192.168.1.64:554/stream1" ` ## 性能监控 `bash # BPU 使用率 cat /sys/devices/system/bpu/bpu0/ratio # 推理帧率 ros2 topic hz /ai_msg ` ## 排查故障 | 现象 | 原因 | 解决 | |------|------|------| | Load model failed | 模型文件不存在或格式错误 | 检查 .bin 文件路径；模型需经 hb_mapper 转换为 NV12 格式 | | BPU ratio 始终 0 | 推理节点未启动或模型未加载 | ros2 node list` 确认 dnn_node 正在运行 | | Web 无 AI 结果叠加 | websocket 未连接 AI topic | 确认 websocket 订阅的 topic 名称正确 | | 帧率极低 (<5fps) | 模型过大或分辨率过高 | 降低输入分辨率；使用轻量模型（如 YOLOv5s 替代 YOLOv5x） |

数据来源：ClawHub ↗ · 中文优化：龙虾技能库