大模型训练、推理全流程详细图解
上节学了 Transformer 架构的 Encoder、Decoder 两种类型。
大模型都是 Decoder 架构，嵌入、重排模型是 Encoder 架构。
Decoder 架构是单向/因果自注意力，适合生成，Encoder 架构是双向自注意力，适合理解。
还学了大模型的训练、推理两个阶段。
这节我们继续深入下细节。
所有大模型的文字输出，都依靠 Decoder 自回归逐字生成，而支撑这套生成逻辑的底层计算单元，就是 Q、K、V 三组向量。
每一个输入的 token，比如「我」「喜欢」「吃」「苹果」「。」，都会独立生成一组配套的 Q、K、V 三个向量，三者各司其职：
Q（查询）：代表当前这个词的检索诉求，相当于我们带着问题去上下文里寻找关联信息。
K（键）：是每个文字自带的语义标签，仅用来和 Q 计算相似度，判断两段内容的相关程度，只参与打分环节，打分完成后不再参与后续运算。
V（值）：承载文字真实完整的语义内容，也是唯一会被加权融合、最终输出的信息载体。
第一步，拿当前词的 Q，遍历全部文字对应的 K 一一匹配，算出两两之间的相关分数；
第二步，分数经过归一化处理，得到一组注意力权重，色块越深代表对应位置语义相关性越高；
第三步，用得到的所有权重，分别乘以每一个位置的 V，再把全部加权后的 V 累加求和，最终生成融合了整段上下文信息的新向量，作为当前「喜欢」这个位置的输出。
K 只负责匹配打分，只有全部 V 会参与加权求和
哪怕部分文字相关性偏低、权重数值很小，它对应的 V 也会参与计算，贡献少量上下文信息，不会直接丢弃任意一段语义。
那拿到 QKV 加权融合得到的新向量之后呢？
QKV 自注意力层：融合全局上下文语义
因为根据 Q 和K 匹配计算了权重，加权融合了所有 V 算出来的向量，肯定是融合了所有语义的
然后这个语义要转成符合语法、词汇规律的自然语言表达
FFN 前馈网络：把注意力融合好的上下文向量，深度加工、提炼词汇搭配、语法逻辑、常识关联
这样处理之后，向量除了带语义信息，也更符合语法了。
有了这个向量，那下一步自然就是去词表里选词输出了：
经过线性输出层，把高纬度向量映射到词表，为每个词生成一个原始分数
然后用 Softmax 归一化就是把分数转为词得概率，之后选概率最高的输出就好了
至此，我们就理清楚了 Transformer Decoder 自回归生成完整计算链路：
① 输入文本
我们输入一段完整上下文，也就是用户提问、之前的对话内容等，作为模型全部参考素材，所有后续计算都基于这段文本展开。
②Token 拆分
模型不会直接识别汉字、词语，会先把整段文本切割成最小计算单元 Token，可以是单字、词语、子词，拆分后每一个单元独立参与运算。
③词向量嵌入
每一个拆分完成的 Token，都会映射成一串高维数字向量，也就是词向量。
文字本身无法被电脑计算，向量是文本数字化的载体，是所有运算的基础。
④QKV 自注意力层（核心上下文融合模块）
每个 Token 的原始向量会通过三组独立权重，分别变换出 Q 查询、K 键、V 值三组向量；
拿当前位置的 Q，和全部 Token 的 K 做匹配打分，经过 Softmax 归一化转为概率权重，再用所有权重加权融合全部 Token 的 V 向量；
QKV 的唯一作用：聚拢全文所有上下文信息，让当前文字能看懂整段文本里的关联语义，输出融合全局信息的新向量。
⑤FFN 前馈网络（语言特征加工）
经过注意力融合后的向量送入两层全连接网络做非线性变换，相当于对聚拢来的上下文信息做深度整理，提炼词汇搭配、语法逻辑、常识规律，让向量具备完整的语言表达特征。
⑥线性输出层
将 FFN 加工完成的高维语义向量，映射到词汇表同等长度的一维数组，给词库里每一个可能出现的字词打出原始匹配分数，此时分数没有归一化，不代表概率。
⑦Softmax 采样，选出下一个 Token
对上一步全部字词的原始分数做 Softmax 归一化，把所有数值转为 0~1、总和为 1 的概率分布；
再通过贪心、Top-P 等采样规则，挑选概率最高 / 匹配度合适的文字，作为模型本轮输出的下一个 Token。
这个流程还涉及一个 KV Cache 的概念：
如果每输出一个字，就把全部历史文本从头完整跑一遍 QKV，会产生海量重复计算，推理速度极慢，所以工业界靠 KV Cache 解决这个算力浪费问题。
首次处理用户输入上下文（初始 Prompt）时，完整走完 QKV 计算，把所有 token 算出的 K 向量、V 向量存入显存缓存；
后续每一轮只新增 1 个待预测 token，仅计算这个新位置的 Q，不需要重新计算历史文本的 K、V；
计算注意力匹配时，直接读取缓存里全部历史 K、V，完成打分加权；本轮预测出下一个文字后，再把这个新 token 的 K、V 追加写入缓存，扩充 Cache 内容。
自回归生成过程需要大量的向量、矩阵运算，像 QKV 匹配打分、FFN 特征变换、Softmax 归一化全是批量并行计算，这类计算天生更适合在 GPU 上跑，CPU 串行处理速度会慢几百上千倍。
所以 AI 训练、推理都需要大量显卡。
上面的自回归生成其实是推理阶段的流程。
那训练阶段呢？
训练的目的是让模型学会根据上文，预测下一个词
所以需要给他正确答案（监督机制）
这是和推理阶段的区别，生成的内容和正确答案对比，如果差别大就要反推回去更新参数：
这个叫做计算损失、反向传播。
要准备正确答案，自然就需要数据集。
所以训练阶段的流程是这样的：
多了数据集、损失计算、反向传播、评估这些流程。
最终产出的训练好的大模型，就可以推理用了。
完整串大模型一下从训练到推理的流程：
得到下一个 token 的词的概率分布后，我们还可以通过采样策略来控制选词逻辑，直接决定输出内容的严谨度与创意性。
Greedy 贪心策略
固定选择概率排名第一的字词，全程不存在随机抽取，相同输入每次回答完全一致。
优势是逻辑精准、无跑偏；
缺点是句式单调、容易重复，适合代码、专业问答、数据整理场景。
Top-K 采样（带随机）
第一步筛选概率最高的前 K 个词组成候选池，第二步再在其中采样，在筛选出的词池内按照概率随机选词，自带随机性，相同提问多次输出会有细微差别。
可手动控制候选词数量，平衡稳定与多样性。
Top-P 核采样（带随机，行业主流）
从最高概率开始累加数值，选出累积概率达到阈值 P 的所有词语作为候选，再在词池内随机采样；
会根据概率分布自动增减候选词数量，适配各类文本场景，生成语句更自然流畅。
Temperature 温度参数（调节随机强弱，配套前两种采样使用）
不会新增 / 删减候选词汇，只缩放词语之间的概率差距：
低温会放大高概率词优势，随机性大幅减弱，回答保守规整；
高温抹平概率差距，冷门词汇更容易被选中，内容发散、创意更强。
温度趋近 0 时效果近似贪心策略。
在 openai 系列模型里就支持 topp 和 temperature 的设置：
Total probability mass of tokens to consider at each step
每一步需要纳入计算的 Token 总概率体量
总之，模型经过前向运算输出全词表的概率分布后，我们就能搭配不同选样策略、温度，来调控随机性强弱，灵活切换严谨问答、创意写作等不同生成风格。
完整流程如下：
总结
我们全面过了一遍大模型训练阶段、推理阶段的全流程。
首先是注意力机制的 QKV：
文本被拆分为 Token 并转化为词向量后，会生成查询向量 Q、键向量 K、值向量 V。
依靠 Q 与全部 K 做相似度匹配算出注意力权重，再用权重加权融合所有 V，完成全文上下文语义聚合。
之后向量送入 FFN 前馈网络，进一步提炼语法、常识与词汇搭配特征。
再经由线性层映射至完整词表，通过 Softmax 转换为各候选字词的概率分布。
基于不同的采样策略，选词输出。
这就是大模型推理阶段自回归生成过程的全流程。
过程中会基于 kv cache 缓存 kv 计算结果，这样每次就不用重复计算每个 token 的 kv 向量了。
而训练阶段，则要给他正确答案来监督，所以要准备数据集，之后要经过损失计算，计算差别，然后反向传播更新参数，最后产出训练好的大模型。
从数据集监督训练，到模型推理生成，构成了一套完整闭环，市面上所有生成式大模型均遵循这套流程。（大模型原理了解下流程、概念即可，重点还是放在学习 Agent 开发上）