人工智能里程碑ChatGPT之最全详解图解

  • 1. ChatGPT的前世今生
    • 1.1 ChatGPT演化路线
    • 1.2技术推进路线
  • 2.ChatGPT主要功能及应用领域
    • 2.1 主要功能
    • 2.2 应用领域
  • 3.1ChatGPT原理
    • 3.1 ChatGPT基石之Transformer
      • 3.1.1Transformer结构图
      • 3.1.2 Transformer结构图
    • * 关于Transformer的详细原理请关注我的文章
    • 3.2 ChatGPT训练过程
      • 3.2.1 训练监督策略模型
      • 3.2.2 训练奖励模型
      • 3.2.3 使用强化学习来增强模型的能力
  • 4.如何使用ChatGPT
    • 4.1 回复邮件或回信
    • 4.2 修改代码
    • 4.3 写作/写文章
  • 5.ChatGPT的不足与挑战
    • 5.1 ChatGPT的不足
      • 5.1.1 训练数据可能存在偏差
      • 5.1.2 训练成本高昂
      • 5.1.3 适用场景局限
    • 5.2 ChatGPT面临的挑战
      • 5.2.1 语料库获取途径问题
      • 5.2.2 数据安全
      • 5.2.3 删除权限
  • 6.总结
  • **7.欢迎大家加入 ChatGPT智库（知识星球 or 专栏）**
      • 7.1 这是我跟我的朋友们一起创建的星球，里面有很多全球top20硕博以及海内外行业大佬，知识分享不易，希望大家多多支持！万分感谢
      • 7.2 同时如果不想使用知识星球APP，也可以订阅我的专栏【ChatGPT智库】[ChatGPT智库专栏订阅链接](https://blog.csdn/dfced/category_12266459.html)，两者提供的内容差不多，希望大家多多支持！万分感谢

1. ChatGPT的前世今生

2022年11月30日，美国硅谷的初创公司OpenAI推出了名为ChatGPT的AI聊天机器人，已经拥有超过一百万的用户，受到热烈的讨论，短短几天就火爆全网。它既能完成包括写代码，查BUG，翻译文献，写小说，写商业文案，写游戏策划，作诗等一系列常见文字输出型任务，也可以在和用户对话时，记住对话的上下文，给人一种仿佛是在与真人对话的错觉。ChatGPT的出现成为了人工智能里程碑式的事件。
尽管业内人士认为，ChatGPT仍存在数据训练集不够新、不够全等问题，但在人工智能将走向何方，人工智能与人类的关系将如何发展？这些问题，任然是有待我们思考的问题。

1.1 ChatGPT演化路线

模型 发布时间以及参数量
GPT-1 2018年6月 1.17亿
GPT-2 2019年2月 15亿
GPT-3 2020年11月 1750亿
ChatGPT 2022年11月 千亿级
不同模型的数据集规模

1.2技术推进路线

时间 模型 相关论文
2017年6月 Transformer模型 《Attention is all you need》 GPT发展的基础
2018年6月 GPT模型(Generative Pre-Training) 《Improving Language Understanding by Generative Pre-Training》 通过生成式预训练提升语言理解能力
2019年2月 GPT-2模型 《Language Models are Unsupervised Multitask Learners》 提出了一个无监督多任务学习者
2020年5月 GPT-3模型 《Language Models are Few-Shot Learners》 少样本下的学习模型
2022年2月底 Instruction GPT模型 《Training language models to follow instructions with human feedback》 使用反馈指令流来控制模型
2022年11月30日 ChatGPT模型 ChatGPT发布

2.ChatGPT主要功能及应用领域

2.1 主要功能

  1. ChatGPT以质疑不正确的问题。例如被询问 “哥伦布 2015 年来到美国的情景” 的问题时，机器人会说明哥伦布不属于这一时代并调整输出结果。
  2. ChatGPT可以承认自身的无知，承认对专业技术的不了解。
  3. ChatGPT能够进行持续的多轮对话
  4. 能够主动承认错误并指出用户的错误，ChatGPT能够听取意见并优化答案。