福州电脑网_福州电脑维修_福州电脑之家_福州iThome
  • 首页
  • 编程之家
  • 系统教程
  • 数码周边
  • 电脑
首页 >  标签 >  QDrant

本地搭建属于自己的ChatGPT:基于PyTorch+ChatGLM-6b+Streamlit+QDrant+DuckDuckGo

本地部署chatglm及缓解时效性问题的思路: 模型使用chatglm-6b 4bit,推理使用hugging face,前端应用使用streamlit或者gradio。

7月前550
CopyRight © 2022 All Rights Reserved 福州电脑网_福州电脑维修_福州电脑之家_福州iThome 备案号:豫ICP备2022026798号-13