13 // CHAPTER ROUTE

把十三章组装成 一条管线

具身智能 · 第十三章

结业项目不是再做一道题,而是独立完成从场景、数据、训练到部署与报告的完整工程闭环。

SECTION 01 / 阅读地图

小节一 · 六步成模,每一步都有交付物

本节导读

按编号进入后续页面,逐项核对核心主张、工作机制与应用边界。

01

六步成模,每一步都有交付物

数据、场景、标注、渲染、训练和部署构成一条不可跳步的证据链。

关键线索1 数据采集LeRobot2 场景搭建USD
02

质量门槛,不是最后才检查

每个阶段都要用可量化门槛验收,避免缺陷沿管线放大到最后。

关键线索采集30fps · <5ms标注准确率 >95%
03

项目目标:让机器人穿过仓库

结业项目以仓储导航为载体,要求机器人从任意起点安全到达指定终点。

关键线索起点 S终点 G周期 2–3 周

先看主张,再沿编号核对机制、证据与应用边界。

VISUAL RECAP

本节场景补充

READ THE SCENE

六步成模,每一步都有交付物

从建模到验证,每个阶段都要留下可以检查的交付物。

读图顺序:先看对象和环境,再看它们之间的关系,最后回到本节结论。

支持“小节一 · 六步成模,每一步都有交付物”讲解的 ChatGPT 生成教学场景图
教学场景补充 · 小节一 · 六步成模,每一步都有交付物

图片只用于帮助观察本页关系;课程结论仍以正文和逐字稿为准。

01 // SIX-STAGE PIPELINE

六步成模,每一步都有交付物

1 数据采集LeRobot2 场景搭建USD3 数据标注annotations4 离屏渲染RGB-D5 模型训练POLICY6 部署测试REPORT

数据、场景、标注、渲染、训练和部署构成一条不可跳步的证据链。

02 // QUALITY GATES

质量门槛,不是最后才检查

采集30fps · <5ms标注准确率 >95%渲染每场景 500+ 帧训练成功 >80%部署真实成功 >70%

每个阶段都要用可量化门槛验收,避免缺陷沿管线放大到最后。

03 // PROJECT BRIEF

项目目标:让机器人穿过仓库

SG周期 2–3 周 · 平台一站式

结业项目以仓储导航为载体,要求机器人从任意起点安全到达指定终点。

SECTION 02 / 阅读地图

小节二 · 先搭场景,再让两条轨迹覆盖关键区

本节导读

按编号进入后续页面,逐项核对核心主张、工作机制与应用边界。

01

先搭场景,再让两条轨迹覆盖关键区

场景先保证存在无碰撞路径,两条轨迹再覆盖通道交叉口与障碍物附近。

关键线索轨迹 A关键区轨迹 B
02

五轮随机化,得到 1360 帧

两条轨迹共 272 帧,经过五轮域随机化扩展为 1360 帧训练数据。

关键线索200 + 72 帧×5 轮随机化共 1360 帧
03

训练不仅看成功,还看碰撞与路径

模型验收必须同时满足到达率、安全性和路径效率,不能只看训练损失。

关键线索BC · RESNET-1880 EPOCHSBATCH 32LR .001 → .0001

先看主张,再沿编号核对机制、证据与应用边界。

VISUAL RECAP

本节场景补充

READ THE SCENE

先搭场景,再让两条轨迹覆盖关键区

场景与轨迹共同覆盖任务中的关键区域和关键动作。

读图顺序:先看对象和环境,再看它们之间的关系,最后回到本节结论。

支持“小节二 · 先搭场景,再让两条轨迹覆盖关键区”讲解的 ChatGPT 生成教学场景图
教学场景补充 · 小节二 · 先搭场景,再让两条轨迹覆盖关键区

图片只用于帮助观察本页关系;课程结论仍以正文和逐字稿为准。

04 // SCENE & TRAJECTORY

先搭场景,再让两条轨迹覆盖关键区

轨迹 A · 沿通道巡检 · 200 帧关键区轨迹 B · 环绕关键障碍 · 72 帧

场景先保证存在无碰撞路径,两条轨迹再覆盖通道交叉口与障碍物附近。

05 // DATA MULTIPLIER

五轮随机化,得到1360 帧

TRAJECTORIES200 + 72巡检 + 环绕×5 ROUNDS光照 · 纹理 · 位置=TRAINING DATA1,360RGB + DEPTH

两条轨迹共 272 帧,经过五轮域随机化扩展为 1360 帧训练数据。

06 // TRAIN & EVALUATE

训练不仅看成功,还看碰撞与路径

BC · RESNET-1880 EPOCHSBATCH 32LR .001 → .0001CROP + COLOR JITTER成功率≥ 85%碰撞率≤ 5%SPL≤ 1.25

模型验收必须同时满足到达率、安全性和路径效率,不能只看训练损失。

SECTION 03 / 阅读地图

小节三 · 导出只是开始,安全响应才算部署

本节导读

模型导出后,如何验证部署安全、讲清成果,并把十三章能力映射到职业路径?

01

部署要验证三件事

模型文件、离线输出一致性和安全层触发必须一起通过。

关键线索模型文件离线一致安全层触发
02

三分钟答辩闭环

用“问题—方法—结果—亮点”讲清成果,并复盘失败。

关键线索问题→方法结果→亮点失败复盘
03

三条职业路径

数据、环境与策略都从可执行任务走向系统能力。

关键线索数据工程仿真环境策略训练
04

三条路径彼此约束

环境产生数据,数据训练模型,模型表现反推环境与数据。

关键线索环境→数据数据→模型表现→回流
05

十三章连成技能栈

贯通数据、场景、渲染、训练和部署,再按目标进阶。

关键线索数据与场景训练与部署目标进阶

完整交付还包括部署验证、证据表达与能力迁移。

VISUAL RECAP

本节场景补充

READ THE SCENE

导出只是开始,安全响应才算部署

导出模型只是开始,部署还要验证安全响应和复盘能力。

读图顺序:先看对象和环境,再看它们之间的关系,最后回到本节结论。

支持“小节三 · 导出只是开始,安全响应才算部署”讲解的 ChatGPT 生成教学场景图
教学场景补充 · 小节三 · 导出只是开始,安全响应才算部署

图片只用于帮助观察本页关系;课程结论仍以正文和逐字稿为准。

07 // EXPORT & DEPLOY

导出只是开始,安全响应才算部署

MODELONNXOFFLINE TEST仿真数据推理输出一致SAFETY障碍过近停止 / 减速EDGE READY本地 PCJetson 可选RUN + LOG

模型文件、离线输出一致性和安全层正确触发,三项共同证明部署可用。

08 // DEFENSE

答辩讲清问题、方法、结果和亮点

问题方法结果亮点3 MINPITCH失败案例 + 解决过程,比只报高分更有说服力

三分钟答辩要形成“问题—方法—结果—亮点”闭环,并诚实分析失败案例。

09 // CAREER LADDERS

三条职业路径,各有任务与成长阶梯

数据标注师 → 数据工程专家入门:具身智能数据标注师核心技能数据采集 · 标注 · 质量管理初级遥操作采集 + VLM 自动标注中级设计数据采集方案制定标注标准高级主导数据管线建设管理数据团队核心竞争力理解什么样的数据能训练出好模型讲义薪资参考(2026年国内市场)8K–25K/月 仿真工程师 → 技术美术入门:具身智能仿真工程师核心技能USD · 3D 建模 · 渲染管线初级标准仿真场景 · 完成渲染中级创建自定义 3D 资产优化渲染性能高级设计仿真平台架构主导 sim-to-real 方案核心竞争力搭建能产生好数据的环境场景质量与多样性决定上限讲义薪资参考(2026年国内市场)12K–35K/月 策略训练工程师→ AI 算法工程师核心技能训练 · 优化 · 部署初级训练 BC · 基础导航避障中级扩散策略与强化学习处理复杂任务高级设计 VLA 模型架构解决通用控制问题核心竞争力让机器人学会干活把策略模型部署落地讲义薪资参考(2026年国内市场)15K–50K/月

三条路径分别深耕数据、环境与策略,都从可执行任务逐级走向系统能力。

10 // PATH RELATION

环境、数据、模型,三条路径相互成就

仿真工程 · 环境什么样的环境能产生好数据数据工程 · 数据什么样的数据能训练好模型策略工程 · 模型什么样的模型需要什么数据互补闭环环境 → 数据 → 模型先深入一条路径,同时保持对其他两条路径的基础了解工作 1–2 年后,再按兴趣和市场需求决定是否转向

三条路径不是互斥分工,而是环境、数据与模型持续相互约束的闭环。

11 // COURSE ROADMAP

十三章连成技能栈,下一步继续深入

13 CHAPTERS / 章节 · 核心能力 · 平台模块 01 具身智能全景认知02 机器人学基础03 硬件数据采集数采工厂04 仿真基础概念05 OpenUSD 入门模块 A06 USD 场景搭建模块 A07 VLM 自动标注模块 A08 相机设置与轨迹规划模块 B09 离屏渲染模块 B10 导航避障训练模型训练11 策略模型概览12 真实环境部署13 综合实战全平台 CORE SKILLS / 七项核心技能01 遥操作采集机器人训练数据02 搭建 USD 场景并配置物理属性03 VLM 自动标注并人工校验04 设计轨迹并批量渲染训练数据05 训练导航避障行为克隆模型06 理解扩散策略与 VLA 原理07 边缘部署并进行安全防护 NEXT / 四个源讲义进阶方向强化学习(RL)VLA 模型实战Octo · OpenVLA参加南方电网 AI 竞赛ROS 2 集成真实机器人

十三章贯通数据、场景、渲染、训练和部署,下一步按目标选择一条进阶方向。

RECAP // CHAPTER 13

不是训练一个模型,而是 搭好整条管线

01

六步成模,每一步都有 交付物

数据、场景、标注、渲染、训练和部署构成一条不可跳步的证据链。

02

项目目标:让机器人 穿过仓库

结业项目以仓储导航为载体

03

五轮随机化,得到 1360 帧

两条轨迹共 272 帧

04

导出只是开始,安全响应 才算部署

模型文件、离线输出一致性和安全层正确触发

05

三条职业路径,共享一条 数据主线

先选一条路径深入

好项目用连续证据证明每一步可复现、可验收、可解释、可部署。

SOURCE CAPSTONE 01 / 03

综合项目 · 项目要求

综合项目:导航避障全流程实操 + 报告

项目要求:使用教学实训平台,独立完成一个从数据采集到模型部署的导航避障全流程项目。具体任务包括:

  • 场景搭建:搭建一个仓储/工厂/变电站仿真场景,包含至少 5 个障碍物
  • 数据标注:为场景中所有物体完成标注(类别+材质+物理属性)
  • 相机轨迹设计:设计至少 2 条相机轨迹,覆盖关键区域
  • 域随机化渲染:配置域随机化(至少 3 轮),批量渲染 500+ 帧
  • 模型训练:训练行为克隆模型,要求成功率 ≥ 80%,碰撞率 ≤ 10%
  • 模型评估与优化:分析模型在哪些场景表现好/差,提出优化方案
  • 项目报告:按模板撰写完整的项目报告(不少于 800 字)
讲义原始任务与权重:
  • 场景搭建(15%):搭建一个仓储/工厂/变电站仿真场景,包含至少 5 个障碍物
  • 数据标注(10%):为场景中所有物体完成标注(类别+材质+物理属性)
  • 相机轨迹设计(10%):设计至少 2 条相机轨迹,覆盖关键区域
  • 域随机化渲染(15%):配置域随机化(至少 3 轮),批量渲染 500+ 帧
  • 模型训练(25%):训练行为克隆模型,要求成功率 ≥ 80%,碰撞率 ≤ 10%
  • 模型评估与优化(15%):分析模型在哪些场景表现好/差,提出优化方案
  • 项目报告(10%):按模板撰写完整的项目报告(不少于 800 字)
SOURCE CAPSTONE 02 / 03

综合项目 · 提交要求

提交完整项目证据包

提交要求

  • 项目报告(PDF 或 Markdown 格式,不少于 800 字)
  • 模型训练评估结果截图(含成功率、碰撞率、SPL)
  • 损失曲线截图
  • 可视化测试录屏(至少 30 秒,展示 2 个不同场景)
  • 渲染数据样本(任意 10 帧的 RGB 图像 + 深度图)
  • (可选)模型文件(ONNX 格式)

项目完成时间建议:2-3 周

SOURCE CAPSTONE 03 / 03

综合项目 · 评分标准

完成项目后,查看讲义原始评分矩阵

完成综合项目后,点击下方按钮查看讲义原始评分矩阵。

评分项权重优秀(90-100)良好(75-89)及格(60-74)
场景搭建15%场景复杂、布局合理、标注完整场景完整、标注基本正确场景简单但可用
数据渲染25%域随机化配置合理、数据量大、质量高有域随机化、数据量达标基础渲染完成
模型训练30%成功率 ≥ 90%、碰撞率 ≤ 5%成功率 ≥ 80%、碰撞率 ≤ 10%成功率 ≥ 70%
分析优化20%分析深入、优化方案具体可行有基本分析、提出改进方向简单描述结果
项目报告10%结构完整、逻辑清晰、有深度反思结构完整、内容充实基本完整