MODULE 02 // MODEL INSIDE

大模型基础

从 Token 到训练与部署

第2章 · 应用型本科 AI 通识课

16 SLIDES · VOX STYLE

01 // NEXT TOKEN

LLM 本质：词语接龙机器

大模型不是查答案，而是在给定上文后预测最合理的下一个 Token。

02 // TOKEN

Token 是语言原子

Token 不是字也不是词，而是模型内部切分出的最小处理单位。

03 // MEMORY

上下文窗口：短期记忆

上下文窗口是一次请求中模型能“看到”的最大 Token 数量。

04 // MODELS

国产大模型：各有看家本领

DeepSeek 突出开源与性价比，Kimi 突出超长上下文与文档能力。

05 // PRETRAIN

预训练：博览群书

预训练用 TB 级公开文本，让模型学语言规律和世界知识。

06 // SFT

监督微调：学会答题

SFT 给模型看标准问答，告诉它“像这样回答”。

07 // RLHF

RLHF：价值观对齐

RLHF 让人类当裁判，把模型从“会答”推向“答得更好”。

08 // TRAINING PIPELINE

三阶段训练：顺序不能颠倒

现代大模型通常按“预训练 → SFT → RLHF”递进训练。

09 // DEPLOYMENT

云端 vs 本地：效率与安全

日常学习用云端更方便，涉密数据和企业内网更适合本地部署。

10 // HYBRID

教学团队策略：混合部署

工业应用常用“云端 + 本地”混合方案，在效率和安全之间取平衡。

RECAP // CHAPTER 02

本章总结：模型心脏

TOKEN

大模型以 Token 为单位读写文本，本质是根据上下文预测下一个最合理的语言片段。

TRAIN

预训练给知识，SFT 给问答格式，RLHF 让回答更安全、有用、诚实。

DEPLOY

云端方便高效，本地强调隐私安全；真实项目常采用混合部署。

理解 Token、训练流程和部署取舍，才算摸到大模型的“心脏”。

SOURCE PRACTICE 01 // 模型体验

DeepSeek

Kimi

讲义实操：注册并体验 DeepSeek / Kimi

完成一次知识问答和一次代码挑战，并如实记录模型表现。

01 · 注册与首次问答

访问 chat.deepseek.com 或 kimi.moonshot.cn。
使用手机号或邮箱完成注册并登录。
输入下方讲义原始问题。

“请用 200 字介绍人工智能的发展历程”

02 · 核验与代码挑战

回答是否准确，有没有事实错误？
语言是否流畅自然？生成大概用了几秒？
再输入下方代码任务，检查代码是否正确、注释是否清晰。

“请帮我写一个 Python 函数，判断一个数字是否是质数，并添加注释解释每一步。”

SOURCE PRACTICE 02 // Prompt 对比

讲义实操：对比两个 Prompt

在 DeepSeek 或 Kimi 中分别输入以下 Prompt，对比结果差异，并记录你的发现：

1. "推荐三本好书"

2. "你是一名大学图书馆管理员，请为大一新生推荐三本必读好书，并说明推荐理由。"

SOURCE QUIZ // 单选题 10 题

答对: 0/10

SOURCE SHORT ANSWER // 简答题 3 题

1. 请用你自己的话解释"Token"是什么，并举例说明为什么一段中文文本的 Token 数量不等于它的汉字数量。

2. 简述大模型训练的三个阶段（预训练、SFT、RLHF）各自的目标和所用数据类型的区别。

参考答案：

阶段	目标	所用数据类型
预训练	让模型学习语言的基本规律和世界知识	海量互联网文本（TB 级，质量参差不齐）
SFT	让模型学会"问答格式"，按指令回答	高质量人工标注的问答对（万-十万条）
RLHF	让模型对齐人类价值观，生成安全、有用的回答	人类偏好排序数据（对多个回答进行好坏排序）

三者的关系是递进的：预训练给模型"知识"，SFT 给模型"对话格式"，RLHF 给模型"价值观"。

评分要点：三个阶段名称和顺序正确（1 分），每个阶段的目标和数据描述准确（各 1 分，共 3 分），能说明三者递进关系（1 分）。