《这就是ChatGPT》

 斯蒂芬·沃尔弗拉姆

这本书用了两天就一口气读完了，通篇读完后，这本书主要是介绍了ChatGPT怎么能做到生成内容的一些背后的原理逻辑，总结一下这本书是ChatGPT通过大量的数据（这些数据来自网络、书籍等等类似于数据库的东西）分析，这里的分析包括神经网络、嵌入、机器学习来推测下一步输出的内容是什么，通过这一连串的操作可以尽量达到“类人”的效果。

ChatGPT在做什么？它为何能做到这些？

  • 首先需要解释，ChatGPT从根本上始终要做的是，针对它得到的任何文本产生“合理的延续”。这里所说的“合理”是指，“人们在看到诸如数十亿个网页上的内容后，可能期待别人会这样写”。
  • 最终的结果是，它会列出随后可能出现的词及其出现的“概率”（按“概率”从高到低排列）。
  • 写一篇文章时，它实质上只是在一遍又一遍地询问“根据目前的文本，下一个词应该是什么”
  • 这里存在随机性意味着，如果我们多次使用相同的提示(prompt)，每次都有可能得到不同的文章。

 概率从何而来

  • 2024/04/24 发表想法

    Chatgtp会通过对大量的数据进行分析，在这个分