跳到主要内容

LeRobot 数据集样例

本节展示经 KM Data Converter 导出并转换为 LeRobot v2.1 后的真实采集数据，便于对照目录结构与训练时的观测字段。

样例来自一次双臂桌面操作采集（50 条 episode，25 FPS，分辨率 960×540）。下方视频为 file-016 片段（约 22 秒），任务描述为：

Pick up the blue cube and place it on the yellow cube.

四路相机布局​

原始 cameras.mp4 为 2×2 拼接画面，拆分后对应 LeRobot 中的四个 observation.images.* 字段：

left_eye      right_eye      ← 头部立体/主视角
left_wrist    right_wrist    ← 腕部相机
字段名视角OpenPI 训练映射（典型）
observation.images.left_eye左眼 / 主相机observation/image
observation.images.right_eye右眼可与主相机择一或融合
observation.images.left_wrist左腕observation/wrist_image（左臂）
observation.images.right_wrist右腕腕部第二路（右臂）

右眼（right_eye）​

头部右侧相机，用于观察工作区全貌与双臂相对位置。

下载右眼样例视频

对应磁盘路径（v3.0 分块布局，导出后）：

videos/observation.images.right_eye/chunk-000/file-016.mp4

转换为 v2.1 后，同一段落通常位于：

videos/chunk-000/observation.images.right_eye/episode_000016.mp4

右腕（right_wrist）​

安装在右臂末端的腕部相机，贴近夹爪，便于观察抓取与放置细节。

下载右腕样例视频

对应磁盘路径（v3.0 分块布局，导出后）：

videos/observation.images.right_wrist/chunk-000/file-016.mp4

转换为 v2.1 后，同一段落通常位于：

videos/chunk-000/observation.images.right_wrist/episode_000016.mp4

数据集目录结构（节选）​

lerobot_datasets-70-01-01-08-03-13/
  meta/
    info.json              # codebase_version、fps、features 等
    episodes.jsonl         # 每条 episode 的任务与帧数
    tasks.jsonl
  data/
    chunk-000/
      episode_000001.parquet   # 关节状态、action 等逐帧数据
  videos/
    observation.images.right_eye/chunk-000/file-016.mp4   # v3.0
    observation.images.right_wrist/chunk-000/file-016.mp4
    # v2.1 示例：
    # chunk-000/observation.images.right_eye/episode_000016.mp4

meta/info.json 中与本节视频相关的特征定义示例：

特征类型形状 / 说明
observation.images.right_eyevideo540 × 960 × 3，H.264，25 FPS
observation.images.right_wristvideo540 × 960 × 3，H.264，25 FPS
observation.statefloat3226 维机器人本体状态
actionfloat3256 维动作向量

与训练配置的对应关系​

OpenPI 策略输入通常只使用主相机 + 单路腕部图像。若你使用双臂四路视频训练，需在 openpi.training.config 中指定正确的 image_keys，并将 LeRobot 字段名映射到 observation/image 与 observation/wrist_image。

完成格式转换后，可继续阅读 数据集转换 与 模型训练。