LLM 到底是个什么玩意

很抱歉得先给你一个可能会让你有点失望的答案，也许你会以为他像人一样能理解词语和句子的真正意义，但真相是：它只是一个一直在根据上下文猜下一个字的程序。

我们假设你输入“今天天气”，它看到后推算出后面最可能接的是“不错”，于是把这个词接上去，就变成“今天天气不错”，然后以此类推，再计算下一个词，一直算到它觉得够了，我该停了。

会不会有点吃惊？可能吓到你了，但事实是 LLM 就是这么简单。不管是 GPT、Claude、DeepSeek 还是 Kimi、GLM、Qwen、Minimax，不管他们参数多大、名字多花，干的事都是这一件。

那你可能要问了：一直在猜下一个词的东西，凭什么能做到写代码、能翻译，甚至能跟你聊哲学？

因为要猜得准，它得先把这个世界的规律压进自己身体里。

举个具体的。“床前明月光，疑是地上 ？ “，你几乎不用想就知道？是”霜”。你不是查了数据库，你是人类 1，没有这东西，你只是听过无数遍这首诗，甚至你的嘴巴都知道这个位置的规律。

大语言模型也是一样，它读过的文本里，“疑是地上霜”这五个字一起出现的次数太多了，多到“霜”这个字的概率被顶到了最高。它不是在背诵，它是在赌——只不过赌得足够准。

“训练”到底训练了什么？

然后是训练，相信你一定听过这个词，不过不知道你知不知道他的意义，“训练”到底训练了什么？

你可以把它想成一个有几百亿个旋钮的机器。刚开始旋钮全是随机的，它猜出来的东西是真正的胡言乱语。

训练就是：给它一段真实文本，把最后一个词盖住，让它猜，猜错了就把旋钮往“正确方向”拧一点点。这个动作重复几万亿次。

拧完之后，旋钮的位置记录下来的东西，就是这个世界的统计规律——语法、事实、逻辑关系、写代码的套路，全都在里面。

注意！我说的不是“知识”。大语言模型没有一本字典，也不会有一张表格，它有的是”在什么上下文里，下一个词应该是什么“的感觉。这是理解后面所有事情的关键。懂了吗？

所以这个事实解释了三件事

第一，LLM（大语言模型）为什么会一本正经地胡说八道。 因为它只关心这句话“够不够通顺”“像不像真的”，而不是这句话“是不是真的”，所以一个词只要在概率上说得通，它就会吐出来。所以发现了吗，其实这就是 LLM 幻觉的来源——它不是在骗你，我们可怜的、傻乎乎的大语言模型，它是真的觉得这样很合理。

第二，LLM 为什么记不住你说过的话。 因为它没有记忆，LLM 是无状态的（记下来，你也可以到各个平台的评论区摇头晃脑地背这句话装 B），他的每一次计算都是独立的，所谓“记得上文”，只是因为上文被重新喂给它了。就像你会奇怪豆包为什么知道豆包，DeepSeek 为什么知道他是 DeepSeek，因为他们的 app 里预置了他是谁的基础上下文。如果是纯血的 LLM，Qwen 会告诉你他叫 Claude 的，别笑，我真遇到过。废话先到这里，下一篇讲 Token 的时候我们细说这件事。

第三，LLM 为什么不会自己动手？ LLM 是大语言模型，注意，语言！它只会输出文字，要让它去查天气、去改文件、去调接口，得有人在它外面搭一层东西，把它的文字翻译成动作。这层东西就是后面要讲的 Agent 和 Harness。

所以最后，你先记住一句话就够了：LLM 是一个用统计规律预测下一个词的程序，它所有的强大和所有的毛病，都仅仅来自这一个事实。