CH.12 / EMBODIED INTELLIGENCE
MODULE 12 // SIM-TO-REAL

跨过最后一道现实鸿沟

仿真中的高分模型只有经过域随机化、边缘部署与安全验证,才能成为现实中的可用系统。

SIMREALRANDOMIZE → ADAPT → DEPLOY SAFELY

仿真成绩只是起点,真实环境稳定运行才是部署完成。

01 // THE GAP

仿真冠军,到了现实可能撞墙

SIMULATION85%GAPREAL WORLDPERF ↓Gap = Sim 成功率 − Real 成功率

Sim-to-Real Gap 是仿真训练模型进入真实环境后出现的性能下降。

02 // GAP SOURCES

差距来自视觉、物理和传感器

视觉差异光照 · 阴影纹理 · 白平衡物理差异摩擦 · 质量打滑 · 阻尼传感器差异噪点 · 延迟测量误差

真实环境会同时改变外观、运动规律和观测质量,三类差异共同拉低性能。

03 // DOMAIN RANDOMIZATION

不要只做得像,要做得足够多样

光照纹理位置噪声物理REAL WORLD多样性中的一种

域随机化扩大仿真覆盖面,让真实环境落入模型已经见过的变化范围。

04 // ONLINE AUGMENTATION

每轮在线增广,都看见新变化

SAME SAMPLE每个 EPOCH 在线生成亮度 / 对比度高斯噪声随机裁剪 + 缩放颜色抖动不删除训练数据

训练时在线增广让每轮图像略有不同,比离线复制更省空间也更防过拟合。

05 // DOMAIN ADAPTATION

大量仿真预训练,少量真实微调

SIM DATA × MANY多样仿真场景预训练GENERAL FEATURESREAL DATA × FEW少量真实样本微调保留通用能力 · 适配现实外观

域适配保留仿真学到的通用能力,再用少量真实数据调整环境特征。

06 // EDGE DEPLOYMENT

模型留在机器人,延迟更低

EDGE / JETSONAIMODEL LOCAL< 10 ms不经网络,本地返回动作低延迟 · 隐私 · 离线可用CLOUD网络延迟 · 断连风险

边缘端把推理留在机器人本体,获得低延迟、离线可用与本地隐私。

07 // MODEL FORMAT

.pth 经过 ONNX,最终变成TensorRT

PYTORCH.pthTRAINONNX中间交换格式torch.onnx.exportTensorRT.engineJetson 优化推理DEPLOY

PyTorch 用于训练,ONNX 负责交换,TensorRT 针对 NVIDIA 边缘 GPU 优化推理。

08 // SAFETY STACK

三层安全,硬件急停最高优先

L3 硬件|物理急停L2 固件|力矩限制L1 软件|碰撞预测AI ACTION · 最低优先优先级 ↑故障安全 FAIL-SAFE深度图读取失败默认:立即停止

安全优先级是物理急停、力矩限制、碰撞预测、AI 输出,故障时默认停止。

09 // DEPLOYMENT LOOP

低速起步,把异常送回训练环

01仿真训练随机化 + 增广02模型导出03边缘环境04离线测试05真实测试先 30% 速度06迭代优化异常 → 数据

部署从离线验证和 30% 低速开始,真实异常必须回流为新数据与新参数。

RECAP // CHAPTER 12

真实考验,才算真正能用

BRIDGE GAP跨域随机化 · 增广真实微调EDGEONNXTensorRTSAFETY软件 · 固件硬件急停REAL TEST低速起步记录异常持续迭代

缩小域差距、优化边缘推理、独立安全保护和真实迭代共同决定部署质量。

SOURCE QUIZ // 8 MCQ

单选题 · 8题

第 1 / 8 题原讲义题库
得分 0 / 8
SOURCE QUIZ // 5 TRUE-FALSE

判断题 · 5题

第 1 / 5 题原讲义题库
得分 0 / 5