/transformer/ Recent content in Transformer on 老张开工了 Hugo zh-cn Wed, 03 Jun 2026 00:00:00 +0000 /posts/2026/06/llm-fundamentals/ Wed, 03 Jun 2026 00:00:00 +0000 /posts/2026/06/llm-fundamentals/ 你不需要在 2026 年亲手写一个 Transformer，但你需要知道它"葫芦里卖的什么药"。AI 协作之所以常常翻车，根源往往是把模型当成"懂你心思的人"——而它实际只是在玩一个非常精彩的语言接龙游戏。本章把 LLM 的几个底层概念讲清楚，让你以后每一句 prompt 都有底。 2.1 LLM 在干什么 一句话：给定上文，预测下一个 token。 Input: "今天天气" Model: → 预测概率分布 {"真":0.21, "不":0.18, "挺":0.10, ...} Output: 选一个 → "真" Loop: "今天天气真" → 再预测下一个 token ... 仅此而已。模型不做"思考"，它输出一段看起来像思考的字符序列。理解这一点非常重要——所有的"魔法"都来自这个朴素的循环。 2.2 Transformer 与注意力 Transformer 是当前主流 LLM 的骨架，核心是 self-attention：让序列中每个 token 与其他所有 token 算一组相似度权重，再用权重做加权平均。 # 自注意力的最简示意（省略缩放、归一化、多头等细节） import torch import torch.nn.functional as F def attention(Q, K, V): # Q, K, V: (seq_len, d_k) scores = Q @ K.T # (seq_len, seq_len) 谁和谁相关 weights = F.