CH.13 / EMBODIED INTELLIGENCE
MODULE 13 // CAPSTONE

把十三章组装成一条管线

结业项目不是再做一道题,而是独立完成从场景、数据、训练到部署与报告的完整工程闭环。

DATASCENELABELTRAINSHIPFROM PIPELINE PARTS TO ONE SYSTEM

结业项目的价值,是证明你能让数据、模型和部署真正接起来。

01 // SIX-STAGE PIPELINE

六步成模,每一步都有交付物

1 数据采集LeRobot2 场景搭建USD3 数据标注annotations4 离屏渲染RGB-D5 模型训练POLICY6 部署测试REPORT

数据、场景、标注、渲染、训练和部署构成一条不可跳步的证据链。

02 // QUALITY GATES

质量门槛,不是最后才检查

采集30fps · <5ms标注准确率 >95%渲染每场景 500+ 帧训练成功 >80%部署真实成功 >70%

每个阶段都要用可量化门槛验收,避免缺陷沿管线放大到最后。

03 // PROJECT BRIEF

项目目标:让机器人穿过仓库

SG周期 2–3 周 · 平台一站式

结业项目以仓储导航为载体,要求机器人从任意起点安全到达指定终点。

04 // SCENE & TRAJECTORY

先搭场景,再让两条轨迹覆盖关键区

轨迹 A · 沿通道巡检 · 200 帧关键区轨迹 B · 环绕关键障碍 · 72 帧

场景先保证存在无碰撞路径,两条轨迹再覆盖通道交叉口与障碍物附近。

05 // DATA MULTIPLIER

五轮随机化,得到1360 帧

TRAJECTORIES200 + 72巡检 + 环绕×5 ROUNDS光照 · 纹理 · 位置=TRAINING DATA1,360RGB + DEPTH

两条轨迹共 272 帧,经过五轮域随机化扩展为 1360 帧训练数据。

06 // TRAIN & EVALUATE

训练不仅看成功,还看碰撞与路径

BC · RESNET-1880 EPOCHSBATCH 32LR .001 → .0001CROP + COLOR JITTER成功率≥ 85%碰撞率≤ 5%SPL≤ 1.25

模型验收必须同时满足到达率、安全性和路径效率,不能只看训练损失。

07 // EXPORT & DEPLOY

导出只是开始,安全响应才算部署

MODELONNXOFFLINE TEST仿真数据推理输出一致SAFETY障碍过近停止 / 减速EDGE READY本地 PCJetson 可选RUN + LOG

模型文件、离线输出一致性和安全层正确触发,三项共同证明部署可用。

08 // DEFENSE

答辩讲清问题、方法、结果和亮点

问题方法结果亮点3 MINPITCH失败案例 + 解决过程,比只报高分更有说服力

三分钟答辩要形成“问题—方法—结果—亮点”闭环,并诚实分析失败案例。

09 // CAREER MAP

三条职业路径,共享一条数据主线

数据工程采集 · 标注仿真工程USD · 渲染策略训练模型 · 部署GOOD DATA共同语言

先选一条路径深入,同时理解好数据、好场景与好模型之间的相互约束。

RECAP // CHAPTER 13

不是训练一个模型,而是搭好整条管线

DATASCENERENDERTRAINDEPLOYREPORTONE PIPELINE · MANY EVIDENCE

好项目用连续证据证明每一步可复现、可验收、可解释、可部署。

SOURCE CAPSTONE 01 / 03

综合项目 · 任务与权重

独立完成导航避障全流程项目

场景搭建 · 15%仓储、工厂或变电站场景,至少 5 个障碍物。
数据标注 · 10%所有物体完成类别、材质与物理属性标注。
相机轨迹 · 10%至少 2 条轨迹,覆盖关键区域。
随机化渲染 · 15%至少 3 轮,批量渲染 500+ 帧。
模型训练 · 25%行为克隆;成功率 ≥80%,碰撞率 ≤10%。
评估优化 · 15%分析场景优劣并提出优化方案。
项目报告 · 10%按讲义模板撰写完整报告,不少于 800 字;建议周期 2–3 周。
SOURCE CAPSTONE 02 / 03

综合项目 · 提交清单

用文件、截图、视频和样本形成证据包

01 · 项目报告PDF 或 Markdown,不少于 800 字。
02 · 评估截图包含成功率、碰撞率与 SPL。
03 · 损失曲线提交训练过程曲线截图。
04 · 可视化录屏至少 30 秒,展示 2 个不同场景。
05 · 渲染样本任意 10 帧 RGB 图像与深度图。
06 · 模型文件ONNX 格式,可选提交。
SOURCE CAPSTONE 03 / 03

综合项目 · 分档评分

按五项证据综合评分

评分项
权重
优秀 90–100
良好 75–89
及格 60–74
场景搭建
15%
复杂、合理、标注完整
场景完整、标注基本正确
场景简单但可用
数据渲染
25%
随机化合理、量大质高
有随机化、数据量达标
基础渲染完成
模型训练
30%
成功 ≥90%,碰撞 ≤5%
成功 ≥80%,碰撞 ≤10%
成功 ≥70%
分析优化
20%
深入且方案具体可行
有基本分析和改进方向
简单描述结果
项目报告
10%
完整、清晰、有深度反思
完整且内容充实
基本完整