感知
看见与感受- 相机 / LiDAR
- IMU / 力传感器
- 编码器
CH.02 / EMBODIED AI
ROBOTICS CRASH COURSE // 02
认识 AI 的
认识 AI 的
身体
不推公式，先建立一张能落地的机器人身体地图：它如何感知、思考、运动，又如何被软件准确描述。
感知决策执行
AI
BRAIN
BRAIN
01 感知 / SENSOR
02 决策 / COMPUTE
03 执行 / ACTUATOR
CH.02 / BODY LOOP
身体不是零件堆，是一个持续闭环
决策
计算下一步- 规则与 PID
- AI 策略
- 大模型 / VLA
执行
改变物理世界- 电机 / 液压
- 机械臂
- 夹爪 / 工具
环境变化 → 重新感知
CH.02 / SENSORS
机器人的五官各管一件事
感知层
SENSE
SENSE
RGB / RGB-D
颜色 + 深度；识别、三维感知与避障
LiDAR
360° 精确测距；建图与导航
IMU
加速度、角速度与姿态变化
力 / 扭矩
感受外力；精密装配与碰撞检测
编码器
记录每个关节当前转过的角度
CH.02 / DECISION
从规则到 VLA：决策能力逐层上升
语义理解与泛化能力 ↑
传统控制器预设规则 / PID
AI 模型行为克隆 / 强化学习
大模型 / VLA语言指令 → 动作
CH.02 / ACTUATION
把计算结果变成物理动作
控制信号
伺服电机精确角度，机械臂主流
步进电机按步转动，简单便宜
液压力量极大
气动速度快、精度较低
末端执行器
夹爪 / 吸盘 / 工具头
夹爪 / 吸盘 / 工具头
CH.02 / JOINTS
关节只有两种基本动作：转与移
旋转关节
REVOLUTE / 像门合页绕轴转动
VS
平移关节
PRISMATIC / 像抽屉沿直线滑动
CH.02 / 6-DOF
六轴机械臂为什么是6 自由度？
3 个位置
x / y / z
+x / y / z
3 个姿态
绕三轴旋转
= 绕三轴旋转
6 DoF
自由度越多越灵活，也越难控制。六个独立旋转关节共同确定末端的位置与朝向。
CH.02 / FRAMES
同一个位置，要先说清楚参考谁
WORLDBASEENDCAMERA
世界系：环境固定点，描述绝对位置
基座系：机器人底座中心
末端系：夹爪或工具中心
相机系：相机光心与视线方向
CH.02 / URDF
URDF：机器人的静态结构说明书
base_link
joint_1
upper_arm
joint_2
end_link
joint_3
sensor_link
joint_4
camera_link
CH.02 / RGB-D
RGB-D：给每个像素补上距离
RGB / COLOR
D / DEPTH
深度从哪里来？
结构光投射已知光斑，看图案如何变形；近距离、室内精度高。
ToF测量光往返时间；较远距离表现好、抗干扰较强。
双目两个摄像头利用视差计算深度；纯被动，室外也可使用。
CH.02 / IMU
IMU 能短时推算，但会产生积分漂移
微小测量误差，经过两次积分会被放大
加速度计
陀螺仪
陀螺仪
→
积分得到
速度 / 角度
速度 / 角度
→
再积分估算
位置
位置
解决办法：与 相机 / LiDAR 融合，用外部观测不断纠正漂移；典型应用包括 VIO 与 SLAM。
CH.02 / RECAP
02
把机器人的身体地图装进脑中
三层闭环
感知获取信息，决策计算动作，执行改变环境。
关节与 DoF
旋转与平移组成运动链，自由度衡量独立运动能力。
坐标系
世界、基座、末端与相机系明确“参考谁”。
URDF
Link 与 Joint 的标准树形描述连接仿真和控制。
深度与惯性
RGB-D 给空间距离，IMU 给高频运动，两者各有边界。
下一步：把这些传感器数据真正采下来，变成机器人学习的“教材”。
CH.02 / QUIZ
单选题：身体地图校准
题目 1 / 8
得分 0 / 8
1. RGB-D 相机相比普通 RGB 相机多获取了什么信息？
正确答案：B。“D”代表 Depth；它在彩色图像之外记录每个像素到相机的距离，从而感知三维空间结构。
2. 一个六轴工业机械臂的“六个轴”指的是什么？
正确答案：B。六轴指 6 个独立旋转关节；它们的角度组合确定末端在三维空间中的位置与姿态。
3. URDF 文件的核心作用是什么？
正确答案：B。URDF 是标准化 XML 格式，定义连杆、关节、碰撞形状、质量与惯性，是仿真和控制加载模型的基础。
4. 以下哪种传感器最适合测量机械臂关节受到的外力？
正确答案：C。力 / 扭矩传感器可安装在关节或末端，精确测量力和力矩，用于碰撞检测与精密装配。
5. 在机器人坐标系中，“世界坐标系”通常固定在哪里？
正确答案：B。世界坐标系是固定在环境中的全局参考系；基座系固定在底座，末端系位于夹爪或工具中心。
6. IMU 的“漂移”问题指的是什么？
正确答案：B。加速度和角速度经过积分，微小误差会持续累积；因此 IMU 通常要与相机或激光雷达融合。
7. 末端执行器（End Effector）指的是机器人的哪个部分？
正确答案：C。末端执行器是直接与环境交互的工具，包括夹爪、吸盘、焊枪等。
8. 以下哪种传感器最适合用于自动驾驶汽车的 360° 环境测距？
正确答案：C。LiDAR 发射激光束测量环境距离，可做 360° 扫描，是自动驾驶与机器人建图导航的核心传感器。
先作答，再查看讲义解析
CH.02 / SHORT 01
简答一：三层架构
请简述机器人“感知—决策—执行”三层架构分别对应什么功能，并各举一个具体硬件例子。
先独立组织答案：名称、功能、硬件例子缺一不可。
讲义标准答案
感知层：负责获取环境信息，相当于机器人的“五官”。例如 RGB-D 相机可获取彩色图像和深度信息。
决策层：负责根据感知信息计算应该执行什么动作，相当于机器人的“大脑”。例如运行 AI 模型的工控机或 GPU。
执行层：负责实际执行物理动作，相当于机器人的“肌肉和手”。例如伺服电机驱动机械臂运动，夹爪抓取物体。
三层形成持续闭环：执行后环境变化，重新感知，再决策，再执行。
评分要点：三层名称和功能正确（3 分），各举一个硬件例子（2 分）。
CH.02 / SHORT 02
简答二：为什么恰好是六自由度？
什么是自由度（DoF）？为什么六轴机械臂有 6 个自由度？
先回答定义，再解释“3 个位置 + 3 个姿态”的对应关系。
讲义标准答案
自由度（Degrees of Freedom）是指机器人独立可动的关节数量，决定了机器人的灵活程度。
六轴机械臂有 6 个旋转关节，正好对应三维空间中确定一个物体位置和姿态所需的 6 个参数：3 个位置参数（x、y、z 坐标）加 3 个姿态参数（绕三个轴的旋转角度）。因此 6 个自由度可以让机械臂末端到达三维空间中任意可达位置，并以任意朝向对准目标。
评分要点：定义正确（2 分），解释 6 个自由度对应 3 位置 + 3 姿态（3 分）。
CH.02 / SHORT 03
简答三：为什么机器人需要深度？
RGB-D 相机相比普通 RGB 相机有什么优势？在具身智能数据采集中，为什么深度信息很重要？
先说明深度是什么，再至少列出两个重要性原因。
讲义标准答案
RGB-D 相机在普通彩色图像（RGB）之外，还能获取每个像素到相机的距离信息（Depth）。
- 三维空间感知：机器人需要知道物体在三维空间中的精确位置才能抓取，仅靠 2D 图像无法判断距离。
- 避障导航：深度信息让机器人知道前方障碍物的距离和形状，从而规划安全路径。
- 场景理解：结合 RGB 与深度，模型能更好理解物体大小和空间关系等三维结构。
- Sim-to-real 迁移：仿真深度图可以和真实深度图对齐，帮助模型从仿真迁移到真实环境。
评分要点：说明深度信息是什么（1 分），至少列出 2 个重要性原因（4 分）。
01 / 16