CH.07 / EMBODIED INTELLIGENCE
MODULE 07 // VLM LABELING

AI 先标人来验

VLM 把“从零画标签”改造成“检查并修正”，但最终质量仍由人工审核与统一标准负责。

LABEL类别：箱子材质：塑料可抓取：是HUMAN ✓

VLM 的价值是提高标注起点，不是取消人工质量责任。

01 // WHY LABEL

没有答案的图，教不会模型

RAW IMAGE只有像素箱子 · 塑料 · 可抓取ADD LABELS

标注把像素转成可监督的语义，让模型知道“什么答案才算正确”。

02 // LABEL TYPES

同一个物体，六种答案

类别CLASSBOXMASKKEYPOINTTRAJECTORY属性材质质量

类别回答“是什么”，掩码回答“每个像素属于谁”，属性补充“它有什么特征”。

03 // ASSISTED LABELING

从零作业，变成批改作业

纯人工 / 从零VLM + 人工找物体 → 画框描边 → 填属性逐张重复VLM 预标注类别 · 掩码 · 材质人工校验修错 · 补漏 · 确认讲义：效率提升约 8–10 倍

效率提升来自工作重心变化：机器先给候选答案，人负责检查与纠正。

04 // VLM FLOW

图像 + 指令，输出候选标签

场景图像MAIN CAMERA标注指令PROMPTVLMSEE + READ候选输出类别框 / 掩码材质属性推断FORMAT叠加显示人工审核CONFIRM

VLM 输出先被转换为结构化标注，再叠加到视口等待人工确认。

05 // BOUNDARY

会看大概，不会精确测量

VLM 擅长常见物体类别大致材质与颜色空间关系描述VLM 不擅长精确质量与尺寸被遮挡对象的细边界READ FROM 3D / HUMAN

精确质量和尺寸应读取 3D/物理参数，不能把视觉猜测当测量值。

06 // HUMAN REVIEW

预标注之后，必须过三道门

VLM自动预标注人工校验类别正确？掩码贴边？属性可信？FIX / ADD / DELETE确认统一标准保存USD 属性EXPORT

标准流程是预标注、人工修正、确认保存；任何一步都不能直接跳过审核。

07 // ERROR CLINIC

错在哪里，就修哪里

REVIEWDIAGNOSE类别错误下拉框改为正确类别掩码偏差笔刷添加 · 橡皮擦删除漏标物体手动新增标签属性缺失读取场景参数后补齐

类别错就改标签，边界错就修掩码，漏标要补，物理属性要回到场景参数核对。

08 // QUALITY

高质量标注，四项同时过关

完整性NO MISSING准确性类别与属性正确精确性掩码贴边 · IoU ≥ 90%一致性同类同标准ONE RULESET

完整、准确、精确、一致缺一不可；数据量不能补偿系统性错标。

09 // SAVE & EXPORT

确认一次，写入两类出口

CONFIRMEDLABEL SETSAVESYNCUSD PRIM自定义属性EXPORTCOCO · YOLO · JSON

标注既可留在 USD Prim 属性中，也可导出标准格式进入训练管线。

RECAP // CHAPTER 07

机器提速，人工保质

VLM预标注HUMAN改错补漏确认QUALITY完整 · 准确精确 · 一致SAVEUSDJSON / COCO

可靠的自动标注系统不是“全自动”，而是高效的人机协同质量流程。

SOURCE QUIZ // 10 MCQ

单选题 · 10题

第 1 / 10 题原讲义题库
得分 0 / 10
SOURCE PRACTICE 01

实操一 · 单物体全流程

VLM 预标注 + 人工修正一个箱子

原始任务打开仓储场景并运行 VLM；检查红箱子的类别、材质、颜色、质量和可抓取性；修正掩码边界；确认并截图。
提交成果能看到彩色掩码与标签的标注结果截图。
讲义评分：预标注成功 20%；属性正确 30%；掩码精确 30%；截图清晰 20%。实际属性以场景参数为准。
SOURCE PRACTICE 02

实操二 · 三物体标注

完整标注两个箱子与一个托盘

原始任务为 3 个物体填写类别、材质、颜色、质量、可抓取性；修正掩码；检查漏标错标；保存并悬停验证。
提交成果含标注的场景文件、整体掩码截图、导出 JSON。
讲义评分：完整 30%；属性正确 30%；掩码精确 20%；保存导出成功 20%。
SOURCE PRACTICE 03

实操三 · 错误排查

找出并修正故意设置的标注错误

错误范围至少包含漏标、类别错误、掩码边界不精确和物理属性缺失中的 3 项；逐物体检查并修正。
提交成果修正后场景；错误类型、位置与修正方法报告。
讲义评分：找出所有错误 40%；修正方法正确 40%；错误报告清晰 20%。