09 // CHAPTER ROUTE
把虚拟世界变成 数据工厂
具身智能 · 第九章
不经过显示器,GPU 在后台沿轨迹连续“拍照”,把场景、位姿与标注组装成可训练的数据包。
01不看屏幕,也能 批量拍照
离屏渲染直接在 GPU 内存完成图像生成
02离屏 ≠ 离线:这是 两个维度
离屏只说明图像不直接送显示器
03少做重复计算,把 GPU 用在 信息增量
用 3–5° 帧间隔减少近似帧
04一张图要可训练,必须知道 从哪看见
帧 ID 把 RGB、深度、相机位姿和对象标注绑定成同一帧
05同一条轨迹,生成十个 不同世界
域随机化改变光照、纹理与物体状态
00 // COST & SCALE
真实采集很贵,离屏把数据变便宜
VISUAL RECAP
本节场景补充
READ THE SCENE
真实采集很贵,离屏把 数据变便宜
离屏渲染把可控三维场景批量转换成可用训练画面。
读图顺序:先看对象和环境,再看它们之间的关系,最后回到本节结论。
教学场景补充 · 真实采集很贵,离屏把 数据变便宜01 // OFF-SCREEN
不看屏幕,也能批量拍照
02 // PIPELINE
五个阶段,把 3D 变成训练样本
03 // TWO AXES
离屏 ≠ 离线:这是两个维度
04 // TRAJECTORY MODES
四类轨迹,各自覆盖不同任务
VISUAL RECAP
本节场景补充
READ THE SCENE
四类轨迹,各自覆盖 不同任务
关键帧定义路径变化,采样帧决定何时触发渲染。
读图顺序:先看对象和环境,再看它们之间的关系,最后回到本节结论。
教学场景补充 · 四类轨迹,各自覆盖 不同任务04 // POSE SAMPLING
关键帧定轨迹,采样帧才触发渲染
05 // PERFORMANCE
少做重复计算,把 GPU 用在信息增量
06 // OUTPUT STRUCTURE
训练数据不是散图,而是一棵文件树
07 // EXPORT CHAIN
一次渲染,接入四种训练生态
VISUAL RECAP
本节场景补充
READ THE SCENE
一次渲染,接入 四种训练生态
训练样本要同时保存画面、相机条件和可追溯的组织结构。
读图顺序:先看对象和环境,再看它们之间的关系,最后回到本节结论。
教学场景补充 · 一次渲染,接入 四种训练生态07 // METADATA
一张图要可训练,必须知道从哪看见
10 // QUALITY PARAMETERS
五个参数,决定速度与质量
11 // QUALITY STRATEGY
九成求量,一成求关键质量
12 // TIME ESTIMATE
先写清条件,再估一千帧时间
13 // LOAD & PREVIEW
场景与轨迹,先过预览门
14 // CONFIGURE
一张控制台,锁定输出契约
15 // LAUNCH & MONITOR
确认参数后,盯住进度与警告
16 // INSPECT
逐帧检查,把异常标出来重渲
17 // EXPORT
检查通过后,再选导出格式
18 // TROUBLESHOOT
按症状定位,不要盲目重跑
19 // DOMAIN RANDOMIZATION
同一条轨迹,生成十个不同世界
20 // PLATFORM CONFIG
十轮随机化,得到七百二十帧
RECAP // CHAPTER 09
从质量配置,到 域随机化
01离屏五阶段
场景、相机、GPU、组装、导出
02轨迹与采样
关键帧定轨迹,采样帧触发渲染
03质量与估时
参数、场景条件和平台实测分开记录
04Module B 七步
加载、配置、启动、检查、导出与排障
05域随机化
十轮改变光照、材质与物体状态
SOURCE QUIZ // 10 MCQ
单选题 · 10题
第 1 / 10 题原讲义题库
得分 0 / 10
SOURCE PRACTICE 01
实操一 · 完整离屏渲染
完成一次完整的离屏渲染
任务要求
- 登录教学实训平台,进入模块 B
- 加载一个已搭建的 USD 场景(如仓储场景或工厂场景)
- 选择一条相机轨迹(如环绕轨迹)
- 配置渲染参数:分辨率 1280×720,标准模式,4x MSAA,输出 RGB + 深度图
- 启动渲染,等待完成
- 浏览渲染结果,检查是否有异常帧
提交要求
- 提交渲染结果中任意 3 帧的 RGB 图像(选择不同角度)
- 提交一张渲染结果浏览界面的截图
- 提交 render_config.json 文件
评分标准:- 渲染参数配置正确(30%)
- 输出文件完整(RGB + 深度图 + 位姿 + 标注)(30%)
- 图像质量合格(无全黑/模糊/物体缺失)(40%)
SOURCE PRACTICE 02
实操二 · 域随机化实验
域随机化渲染实验
任务要求
- 在模块 B 中启用域随机化
- 配置 3 轮随机化(光照位置随机 + 纹理随机)
- 启动域随机化渲染
- 对比 3 轮渲染结果中同一帧(如 frame_000030)的差异
提交要求
- 提交 3 轮渲染中同一帧的对比截图(拼成一张图)
- 写一段 100-150 字的分析,说明:
- 三轮渲染结果的主要差异是什么?
- 域随机化对训练模型有什么帮助?
- 如果让你调参,你会增加或减少哪些随机化?
评分标准:- 域随机化正确配置并执行(30%)
- 对比分析准确,能指出具体差异(40%)
- 对域随机化价值的理解到位(30%)