文章目录

  • 前言
  • 一、CLI推理实现
    • 1、推理运行方法
    • 2、cli推理结果显示
  • 二、推理模型加载
  • 三、选择模板
    • 1、模板选择
    • 2、conv_llava_v1内容
    • 2、Conversation类简单介绍
  • 四、获得roles
  • 五、推理模型图像加载方式
  • 六、推理模型文本加载方式
    • 1、输入文本获得
    • 2、messages添加prompt
    • 3、模型prompt获得
    • 4、模型输入input_ids内容
    • 5、模型推理
    • 6、messages添加assistant
  • 六、推理模型对话模式
    • 1、第一轮对话
    • 2、第二轮对话
    • 3、第三轮对话
    • 4、三论对话结果显示

前言

为什么介绍cli.py方式进行推理呢？答案很简单，我想通过这个代码告知读者，模型是如何进行推理的，明确输入内容处理方式和模型输出内容，以及多轮对话输入与模型输出内容，而借助推理等方式是需要使用服务啥的客户端或服务端等，是比较麻烦的工程问题。因此，本文将介绍cli推理方式，露骨告知其推理原理与整个数据流程。同时，我也将使用列子与结果，实现三轮对话，说明模型如何工作或完成对话能力。然而，这部分内容和我之前数据章节有些关联，请大家自行查阅。

一、CLI推理实现

1、推理运行方法

cli.py实现推理，模型本身使用python结构调用，和往常模型调用类似，这里也可参考官网方法或我第一节也有说明，我不在介绍。至于模型权重我也在第一节有说明，自行查看。
官网推理：

python -m llava.serve.cli \
    --model-path liuhaotian/llava