CH.09 / EMBODIED INTELLIGENCE
MODULE 09 // OFF-SCREEN FACTORY

把虚拟世界变成数据工厂

不经过显示器,GPU 在后台沿轨迹连续“拍照”,把场景、位姿与标注组装成可训练的数据包。

GPUOFF-SCREENSCENE → GPU → DATASET

离屏渲染不服务“观看”,而服务低成本、高吞吐的数据生产。

01 // OFF-SCREEN

不看屏幕,也能批量拍照

普通渲染取景 → 显示 → 观看GPUMEMORY离屏渲染FRAME 000001FRAME 000002FRAME 000003

离屏渲染直接在 GPU 内存完成图像生成,并把结果写入内存或磁盘。

02 // PIPELINE

五个阶段,把 3D 变成训练样本

场景加载USD相机设置位置 · 角度运动轨迹GPU 渲染逐像素计算数据组装图像 + 位姿深度 + 标注批量导出DISK

先准备场景与相机,再由 GPU 计算,最后把图像和元数据一起组装导出。

03 // TWO AXES

离屏 ≠ 离线:这是两个维度

AXIS A · OUTPUT TARGET图像送到哪里?ON-SCREEN显示器 / 交互视口OFF-SCREENGPU 内存 / 纹理 / 文件AXIS B · TIME BUDGET结果何时必须完成?REAL-TIME每帧必须赶上任务截止时间OFFLINE可按质量或吞吐安排计算预算独立判断

离屏只说明图像不直接送显示器;是否实时、画质高低仍由任务时限和渲染配置决定。

04 // POSE SAMPLING

关键帧定轨迹,采样帧才触发渲染

KEYFRAMES · DEFINE PATH + POSEK0K1K2采样规则按距离、角度或时间间隔取得相机位姿F000F001F002F003F004F005F006

关键帧定义轨迹形状与相机姿态;系统按采样间隔取得位姿,每个采样位姿生成一帧。

05 // PERFORMANCE

少做重复计算,把 GPU 用在信息增量

帧间隔视角变化 3–5°多 GPU 并行G1G2G3G4增量渲染只重算受影响帧

用 3–5° 帧间隔减少近似帧,再用并行与增量渲染提升吞吐。

06 // OUTPUT STRUCTURE

训练数据不是散图,而是一棵文件树

render_output/rgb/ · PNGdepth/ · 距离segmentation/camera_poses.jsonannotations.jsonrender_config.jsonframe_000000 · frame_000001 · ...

完整样本同时保存图像、深度或分割结果,以及位姿、标注和渲染配置。

07 // METADATA

一张图要可训练,必须知道从哪看见

RGB FRAME 000FRAME ID000POSE · x y zroll pitch yaw · fovANNOTATION · bbox 2Dclass · position 3DDEPTH · pixel distance近亮 · 远暗

帧 ID 把 RGB、深度、相机位姿和对象标注绑定成一个可用训练样本。

08 // QUALITY STRATEGY

九成求量,一成求关键质量

快速模式初期训练 · 大数据量高质量模式最终训练 · Sim-to-RealMIX90% / 10%快模式 / 关键帧精渲染RTX 4090 · 640×480 · 无光追 · 约 120 FPS

混合策略用 90% 快速数据保数量,用 10% 关键帧精渲染保质量。

09 // DOMAIN RANDOMIZATION

同一条轨迹,生成十个不同世界

固定核心同一场景同一轨迹RANDOMIZE光照 · 纹理位置 · 旋转10 ROUNDSV1V2V3V4...

域随机化改变光照、纹理与物体状态,让模型提前见过真实环境中的变化。

RECAP // CHAPTER 09

轨迹输入,数据包输出

TRAJECTORY关键帧GPU逐帧渲染批量处理CONTROL帧间隔 · 质量域随机化DATASETRGB · DepthPose · AnnotationRender ConfigREADY TO TRAIN

离屏渲染把轨迹转换为带位姿和标注的数据集,是训练管线的产能引擎。

SOURCE QUIZ // 10 MCQ

单选题 · 10题

第 1 / 10 题原讲义题库
得分 0 / 10
SOURCE PRACTICE 01

实操一 · 完整离屏渲染

在模块 B 完成一次批量渲染

任务要求加载已搭建 USD 场景;选择相机轨迹;设置 1280×720、标准模式、4x MSAA、输出 RGB 与深度图;启动渲染并检查异常帧。
提交要求不同角度的任意 3 帧 RGB 图;渲染结果浏览界面截图;render_config.json 文件。
讲义评分:参数配置正确 30%;输出完整(RGB + 深度图 + 位姿 + 标注)30%;图像无全黑、模糊或物体缺失 40%。
SOURCE PRACTICE 02

实操二 · 域随机化实验

对比三轮随机化中的同一帧

任务要求启用域随机化;配置 3 轮光照位置随机与纹理随机;渲染后对比三轮的 frame_000030。
提交要求同一帧的三轮对比拼图;100–150 字分析主要差异、训练价值,以及希望增减的随机化参数。
讲义评分:随机化正确配置并执行 30%;对比分析准确并指出具体差异 40%;对域随机化价值理解到位 30%。