书名：这就是ChatGPT
作者：[美] 斯蒂芬·沃尔弗拉姆（Stephen Wolfram）

ChatGPT在做什么？

ChatGPT可以生成类似于人类书写的文本，它基本任务是弄清楚如何针对它得到的任何文本产生“合理的延续”。当ChatGPT写一篇文章时，它实质上只是在一遍又一遍地询问“根据目前的文本，下一个词应该是什么”，并且每次都添加一个词。更准确地说，它是每次都添加一个“标记”(token)，而标记可能只是词的一部分。这就是它有时可以“造词”的原因。
可以简单的将ChatGPT做的事情看作是“单字接龙”，它总是根据概率选择下一个字，但是这些概率是从何而来的呢？
最佳思路是建立一个模型，让我们能够估计序列出现的概率。ChatGPT的核心正是所谓的“大语言模型”。

什么是模型？

假设你想（像16世纪末的伽利略一样）知道从比萨斜塔各层掉落的炮弹分别需要多长时间才能落地。当然，你可以在每种情况下进行测量并将结果制作成表格。不过，你还可以运用理论科学的本质：建立一个模型，用它提供某种计算答案的程序，而不仅仅是在每种情况下测量和记录。
模型是指有某种特定的基本结构，以及用于拟合数据的一定数量的“旋钮”（也就是可以设置的参数）。
对于ChatGPT，我们需要为人脑产生的人类语言文本建立模型。
如果函数给出的结果总是与人类的意见相符，那么我们就有了一个“好模型”。

LLM 容易产生所谓的 “幻觉”，即生成看似合理但实际并非真实的输出，这是因为 LLM 在训练时是基于训练数据中的模式预测下一个最可能的词，而非真正理解信息。

神经网络

用于图像识别等任务的典型模型到底是如何工作的呢？目前最受欢迎而且最成功的方法是使用神经网络。可以视作对大脑工作机制的简单理想化。<