参考链接

在Windows 7操作系统，基于llama.cpp本地化部署 deepseek-r1模型的方法 2025-02-08
2G内存Windows7运行deepseek-r1:1.5b
这两个链接写的可能不够详细，有同学私信问实现过程，这里进一步解释一下。

一、准备

需要准备的大模型、工具等文件，已放到网盘，可自取。
网盘的 figures目录是配置过程中的一些截图，可参考。
百度网盘：https://pan.baidu/s/1NShm6Qi9bDgl6jI-IsEr1A?pwd=6es1
迅雷网盘：https://pan.xunlei/s/VOIfPUb8lCS71jAjBEnXmRg9A1?pwd=nze7#

模型文件

  • 找几个GGUF文件。
    • 本案例从ollama获得GGUF文件，这些文件默认存储在 %USERPROFILE%\.ollama\models\blobs，文件名形如sha256-*，文件名及模型对应关系见下表，相关文件见网盘 models 目录
    • 也可以去魔搭社区等网站下载
名称 ollama ID 大小GB blobs
deepseek-r1:1.5b a42b25d8c10a 1.04 sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc
deepseek-r1:8b 28f8fd6cdc67 4.58 sha256-6340dc3229b0d08ea9cc49b75d4098702983e17b4c096d57afbbf2ffc813f2be
deepseek-r1:14b ea35dfe18182 8.37 sha256-6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1e
deepseek-r1:32b 38056bbcbb2d 18.4 sha256-6150cb382311b69f09cc0f9a1b69fc029cbd742b66bb8ec531aa5ecf5c613e93
deepseek-r1:70b 0c1615a8ca32 39.5 sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339
qwen2.5-coder:7b 2b0496514337 4.36 sha256-60e05f2100071479f596b964f89f510f057ce397ea22f2833a0cfe029bfc2463

源代码

下载llama.cpp源代码即可，无需下载GIT代码仓库

  • 如果能访问Github，就从 https://github/ggerganov/llama.cpp 下载

  • 如果Github抽风，可以去镜像站，国内一些大站也有 llama.cpp 的实时镜像

  • 本例git clone了llama.cpp源码库，并压缩为 <