目录 前言 3 phase-3: RLHF Finetuning 3.1 训练数据样例 3.1 基本数据 3.2 经验数据 3.2 训练过程 3.3 关键代码详解 3.3.1 读取数据集及Datacollator 3.3.1.1 promp

写在最前面 本文最早写于2023年4月的这篇文章中《从零实现带RLHF的类ChatGPT：从TRLChatLLaMAColossalChat到DeepSpeed Chat》，后因要在「大模型

近期对大模型的微调突然很感兴趣，便去下载了个通义千问的7B模型来玩，但由于window对一些环境的不支持（比如deepspeed，适配linux但是不适