第三方相机与传感器

LeRobot 生态远超其原生支持的相机(OpenCV、Intel RealSense、ZMQ、Reachy 2)。得益于 LeRobot 的插件架构,社区构建了可直接替换的相机和传感器集成——从深度相机到基于视觉的触觉传感器。本页展示了社区维护的相机和传感器集成,你可以将其用于 teleoperation、数据采集和 policy deployment。

这些项目由第三方开发和维护。请参阅各个仓库以获取安装说明、硬件要求和支持。

可直接替换的插件会按包名自动发现:LeRobot 会导入任何以 lerobot_camera_ 为前缀的已安装包。安装后,可直接在任何 LeRobot 命令中引用插件注册的相机 type(见其 README——它可能与包名不同):

pip install lerobot_camera_<name>

lerobot-record \
    --robot.type=so101_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.cameras="{ front: {type: <name>, width: 640, height: 480, fps: 30} }" \
    --dataset.repo_id=${HF_USER}/my-dataset \
    --dataset.num_episodes=5

触觉传感器

项目描述
lerobot-camera-xense用于 Xense 视觉触觉传感器的插件,提供校正/差分图像、深度和 2D 标记。

深度相机

项目描述
lerobot_camera_berxel用于 Berxel 深度相机的插件,属于更广泛的 HEXFELLOW 驱动套件的一部分。

网络相机

项目描述
lerobot_camera_zmq通过网络从 Raspberry Pi 流式传输 Stereolabs ZED 和 USB 相机帧的插件。

虚拟相机

项目描述
lerobot_camera_dummy用于在无硬件情况下录制时模拟相机的插件。便于调试!

贡献

构建了自己的 LeRobot 相机或传感器集成?将其打包为可安装的 lerobot_camera_<name> 插件,LeRobot CLI 就会自动发现它——请参阅自带硬件指南和相机参考以开始使用,然后与社区分享你的项目!

在 GitHub 上更新