遥操作真正生产的是 训练数据
在具身智能中
教机器人 干活
具身智能 · 第三章
把人的一次操作，录成机器可以学习的“观测 → 动作”序列。第三章从遥操作出发，走完整条硬件数据采集流水线。
不碰机器人，也能把人的动作 采下来
无本体采集不需要机器人实体
一条轨迹，就是完整的 观测—动作序列
模型学习的不是孤立视频或关节值
同步误差会把正确数据配成 错误因果
观测和动作必须对齐到同一时刻
好数据靠 质检 + 重采 炼成
质量门槛保证每条轨迹可信
SECTION 01 / 阅读地图
小节一 · 遥操作真正生产的是 训练数据
小节一 · 遥操作真正生产的是 训练数据
从“遥操作真正生产的是 训练数据”出发，逐页推进到“不碰机器人，也能把人的动作 采下来”；每张卡都写明本页应抓住的机制或边界。
遥操作真正生产的是 训练数据
在具身智能中，遥操作的核心价值是把人的示范转成可训练的观测—动作序列。
机制线索主端 Master从端 Slave数据记录Oₜ → Aₜ
三种主端，没有一种 通吃所有任务
选遥操作方案要同时权衡成本、精度、力反馈和任务工作空间。
机制线索ALOHA LEADER ARMS主从异构臂 HAPTIC MAST…VR 手柄 SPATIAL TRA…
不碰机器人，也能把人的动作 采下来
无本体采集不需要机器人实体，但仍需要摄像头和后期处理来恢复人的动作。
机制线索第一人称固定视角多视角融合
阅读顺序：遥操作真正生产的是… → 三种主端 → 不碰机器人
本节按“遥操作真正生产的是… → 三种主端 → 不碰机器人”推进：先定位问题，再读机制，最后用页面结论校验理解。
VISUAL RECAP
本节场景补充
READ THE SCENE
遥操作真正生产的是 训练数据
遥操作的价值在于把人的示范转为可训练的观测—动作数据。
读图顺序：先看对象和环境，再看它们之间的关系，最后回到本节结论。
图片只用于帮助观察本页关系；课程结论仍以正文和逐字稿为准。
遥操作真正生产的是训练数据
核心目的：记录“观测 → 动作”
主端 Master
操作者输入设备
领导臂 / VR 手柄
从端 Slave
复现操作者动作
机械臂 / 夹爪
数据记录
Oₜ → Aₜ
每次操作生成一条轨迹
三种主端，没有一种通吃所有任务
ALOHALEADER ARMS
- 优势
- 低成本、开源、力反馈直观
- 边界
- 工作空间受限，精度一般
- 适合
- 桌面级精细操作
主从异构臂HAPTIC MASTER
- 优势
- 毫米级精度、细腻力反馈、6 DoF
- 边界
- 价格高，操作门槛高
- 适合
- 装配与医疗机器人
VR 手柄SPATIAL TRACKING
- 优势
- 成本低、部署快、操作直观
- 边界
- 缺少力反馈，精度较低
- 适合
- 教学、原型与大范围移动
不碰机器人，也能把人的动作采下来
第一人称 / HEAD CAM固定视角OUTPUT: 3D HAND TRAJECTORY
第一人称
视角自然，与操作者看到的画面一致。
固定视角
部署简单，不干扰正常操作。
多视角融合
头戴 + 多个固定相机，重建手部轨迹。
SECTION 02 / 阅读地图
小节二 · 遥操作求 精 ，无本体求 多
小节二 · 遥操作求 精 ，无本体求 多
从“遥操作求 精 ，无本体求 多”出发，逐页推进到“清晰度和时间精度，都不是 越大越好”；每张卡都写明本页应抓住的机制或边界。
遥操作求 精 ，无本体求 多
两种路线不是二选一：规模数据与高精度示范组合使用，才能彼此补位。
机制线索选型对照
一条轨迹，就是完整的 观测—动作序列
模型学习的不是孤立视频或关节值，而是每个时间步“看到什么、做了什么”。
机制线索T0 / STARTT1T2TN / END
LeRobot 把异构数据装进一个 标准包
统一目录、字段和时间戳，让数据能够直接进入存储、版本管理和训练管道。
机制线索一个 episode 的关键字段
清晰度和时间精度，都不是 越大越好
参数选择要服务任务：画面足够辨识、时间采样足够跟上动作，同时控制存储开销。
机制线索分辨率：细节与存储的拉锯帧率：先问动作有多快
阅读顺序：遥操作求 精 → 一条轨迹 → LeRobot 把… → … → 清晰度和时间精度
本节按“遥操作求 精 → 一条轨迹 → LeRobot 把… → … → 清晰度和时间精度”推进：先定位问题，再读机制，最后用页面结论校验理解。
VISUAL RECAP
本节场景补充
READ THE SCENE
遥操作求 精 ，无本体求 多
精确示范与多样示范各有作用，应按数据缺口组合。
读图顺序：先看对象和环境，再看它们之间的关系，最后回到本节结论。
图片只用于帮助观察本页关系；课程结论仍以正文和逐字稿为准。
遥操作求精，无本体求多
数据精度 ↑采集规模与效率 →
遥操作精确关节角度
有力反馈
有力反馈
无本体采集融入工作流
规模更大
规模更大
一条轨迹，就是完整的观测—动作序列
T0 / START
OBSERVATION
图像、角度、力
图像、角度、力
ACTION
目标角度 / 速度
目标角度 / 速度
T1
看到物体更近
机械臂继续前伸
T2
夹爪到达目标
闭合夹爪
TN / END
任务完成状态
停止并保存
EPISODE一次完整操作过程，由连续 Timestep 组成。
LeRobot 把异构数据装进一个标准包
├─data/
├─episode_000000.parquet
├─videos/
├─cam01/episode_000000.mp4
└─meta/
├─info.json
├─episodes.jsonl
└─stats.json
清晰度和时间精度，都不是越大越好
分辨率：细节与存储的拉锯
320×240
640×480
4K
细节不足清晰度 / 开销平衡存储与显存压力大
DEFAULT 640×480 @ 30fps
帧率：先问动作有多快
FPS ≥ 2 × 动作最高频率慢 10–15中 20–30快 50+
SECTION 03 / 阅读地图
小节三 · 同步误差会把正确数据配成 错误因果
小节三 · 同步误差会把正确数据配成 错误因果
从“同步误差会把正确数据配成 错误因果”出发，逐页推进到“好数据靠 质检 + 重采 炼成”；每张卡都写明本页应抓住的机制或边界。
同步误差会把正确数据配成 错误因果
观测和动作必须对齐到同一时刻，否则模型会学习不存在的动作因果关系。
机制线索问题：相机晚了 50ms硬件同步最可靠软件同步
数采工厂：把一次示范走成 六步流水线
可靠采集不是按下录制键，而是从连接、配置、操作到质检和导出的完整流程。
机制线索进入模块检查硬件创建任务执行采集
好数据靠 质检 + 重采 炼成
质量门槛保证每条轨迹可信，轻微改变初始条件则让数据覆盖更多情况。
机制线索DATA QA / CHECKLI…VISIBLESTABLESYNCED
阅读顺序：同步误差会把正确数… → 数采工厂 → 好数据靠 质检 +…
本节按“同步误差会把正确数… → 数采工厂 → 好数据靠 质检 +…”推进：先定位问题，再读机制，最后用页面结论校验理解。
VISUAL RECAP
本节场景补充
READ THE SCENE
同步误差会把正确数据配成 错误因果
相机、动作和时间戳不同步，会把正确动作配到错误观察上。
读图顺序：先看对象和环境，再看它们之间的关系，最后回到本节结论。
图片只用于帮助观察本页关系；课程结论仍以正文和逐字稿为准。
同步误差会把正确数据配成错误因果
问题：相机晚了 50ms，图像与关节状态错位
CAMERA
JOINT
FRAME 10 图像 ≠ FRAME 10 动作
硬件同步
外部触发，同一时钟工作。
最可靠软件同步
采集后按时间戳匹配最近帧。
次选平台模块
内置硬件同步。
误差 < 5ms数采工厂：把一次示范走成六步流水线
进入模块
登录平台，打开数采工厂。
检查硬件
绿正常、黄待校准、红未连接。
创建任务
名称、类型、30fps、640×480。
执行采集
动作匀速连贯，异常及时标记。
预览质检
视频、关节曲线、帧率与同步。
导出数据
LeRobot 或 CSV，本地或云端。
好数据靠质检 + 重采炼成
DATA QA / CHECKLIST
✓图像清晰，无运动模糊VISIBLE
✓实际帧率波动 < 10%STABLE
✓时间戳误差 < 10msSYNCED
✓轨迹完整，无中断跳帧COMPLETE
!同类物体标注保持一致REVIEW
倒水任务 / 15 秒动作拆解
0–3s
到杯上方
到杯上方
3–5s
下降抓取
下降抓取
5–8s
抬起移动
抬起移动
8–11s
倾斜倒水
倾斜倒水
11–13s
回正放回
回正放回
13–15s
回初始位
回初始位
重复 10–20 次，每次位置微调 ±2cm；记录备注，增加多样性。
RECAP // 第三章
采集链路的五个 质量关口
遥操作真正生产的是 训练数据
在具身智能中
不碰机器人，也能把人的动作 采下来
无本体采集不需要机器人实体
一条轨迹，就是完整的 观测—动作序列
模型学习的不是孤立视频或关节值
同步误差会把正确数据配成 错误因果
观测和动作必须对齐到同一时刻
好数据靠 质检 + 重采 炼成
质量门槛保证每条轨迹可信
单选题：采集链路压力测试
题目 1 / 10
得分 0 / 10
1. 遥操作（Teleoperation）在具身智能领域的主要目的是什么？
正确答案：B。遥操作在具身智能的核心价值是数据采集。每次操作都生成一条“观测→动作”序列，这些数据用于训练 AI 策略模型。选项 A 是遥操作的传统应用，但不是具身智能的核心目的。
2. 以下哪个不是遥操作系统的三要素之一？
正确答案：D。遥操作三要素是主端、从端和通信链路。云端服务器虽然常用于数据存储，但不是遥操作系统的必要组成部分，本地也可以完成采集。
3. ALOHA 方案的主要特点是什么？
正确答案：C。ALOHA（A Low-cost Open-source Hardware System）是斯坦福开源的低成本方案，使用两个小型领导臂作为主端，操作者直接抓取领导臂来操控从端机械臂。特点是成本低（约 2 万美元）、开源、有直观力反馈。
4. “无本体采集”的含义是？
正确答案：A。无本体采集的核心是“不需要机器人本体”，只通过摄像头等设备采集人的动作数据。这些数据经过处理后可用于训练机器人。选项 B、C 错误（仍需摄像头等硬件），选项 D 完全相反。
5. LeRobot 数据格式中，一条轨迹（episode）的核心结构是什么？
正确答案：B。轨迹数据的核心结构是“观测→动作”序列，即每个时间步记录机器人看到了什么（观测）和做了什么（动作）。LeRobot 格式基于 Parquet 列式存储，同时包含图像、关节角度、时间戳等多种数据类型。
6. 教学实训平台推荐的默认图像分辨率和帧率是多少？
正确答案：B。640×480 @ 30fps 是经过大量实验验证的“甜点”配置，在清晰度和存储开销之间取得平衡。这个分辨率足以让模型识别操作物体，同时不会造成过大的存储压力。
7. 多传感器同步误差会导致什么问题？
正确答案：B。同步误差意味着摄像头记录的图像和关节角度数据之间存在时间偏差。如果第 10 帧的图像对应的是第 9 帧的关节状态，模型就会学到错误的“观测→动作”映射，导致训练失败。
8. 在数采工厂中，如果硬件状态显示黄色 🟡，表示什么？
正确答案：B。绿色 = 已连接正常，黄色 = 已连接但待校准，红色 = 未连接。黄色状态常见于力传感器等需要每次使用前归零校准的设备。
9. 采集“倒水任务”时，建议重复采集多少次？
正确答案：B。10-20 次是推荐的采集量。太少（1 次）数据量不足，模型无法泛化；太多（100+）会浪费人力和存储。关键在于每次轻微改变初始条件（如物体位置 ±2cm），增加数据多样性。
10. 以下关于采集质量标准的描述，哪个是正确的？
正确答案：C。根据奈奎斯特采样定理，采样频率至少是信号最高频率的 2 倍才能完整重建信号。对于具身数据采集，帧率至少是动作最高变化频率的 2 倍。A 错误（4K 存储爆炸），B 错误（帧率太低会导致时序精度不足），D 错误（100ms 误差会严重影响模型学习）。
先作答，再查看讲义解析
实操一：完成一次数据采集
讲义原始任务要求
- 登录具身智能教学实训平台，进入数采工厂。
- 创建一个新的采集任务，任务名格式为 {你的动作}_{你的姓名}_v1（如 抓取_张三_v1）。
- 检查硬件连接状态，确保所有设备为绿色。
- 执行采集操作，完成一个简单的抓取-放置动作（抓取桌面物体，移动到另一个位置放下）。
- 采集时长不少于 10 秒。
- 导出数据为 LeRobot 格式，保存到本地。
提交要求
提交导出的 .zip 文件 + 一张数采工厂数据预览页面的截图（包含关节角度曲线）。讲义评分标准
参考方向：讲义未提供固定标准答案，以导出的数据、预览截图和质量指标为实际作答依据。
- 数据文件完整可读（40%）
- 轨迹完整，无中断跳帧（30%）
- 关节角度曲线平滑，无异常跳变（30%）
实操二：写一份数据质量报告
讲义原始任务要求
基于你采集的数据，撰写一份简短的数据质量分析报告（200-300 字），包含以下内容：
- 采集任务的基本信息（任务名、时长、总帧数、文件大小）。
- 帧率稳定性分析（查看平台提供的帧率统计）。
- 同步精度检查结果。
- 是否有异常帧？如有，描述异常表现并分析可能原因。
- 改进建议（如果重新采集，你会做哪些调整？）。
提交要求
提交 Markdown 或 Word 格式的报告文件。讲义评分标准
参考方向：讲义未提供固定标准答案，以采集数据和平台质量统计为依据完成报告。
- 报告结构完整，覆盖所有要求内容（40%）
- 数据分析准确，能正确解读平台提供的质量指标（30%）
- 改进建议具体、可操作（30%）
01 / 18