文章目录

  • 一、访问官网下载Ollama
  • 二、远程连接访问环境变量配置
  • 三、远程访问

一、访问官网下载Ollama

Ollama 下载：https://ollama/download
(需要一点magic才能进去~)


等待浏览器下载文件 OllamaSetup.exe，完成后双击该文件，出现如下弹窗，点击 Install 等待下载完成即可。这里安装完了没有提示~~直接就关了！

安装完成后，可以看到 Ollama 已经默认运行了。

其实这时候就可以在安装的本机访问了：
在cmd窗口运行ollama run qwen2，便可以下载对应的模型和进行对话了，但是最好先配完二、远程连接访问环境变量配置部分哦~

二、远程连接访问环境变量配置

But ！！！
如果我们想 使用另一台局域网下的电脑进行远程连接 + 更改默认模型的下载存储位置（默认在C盘） ，那我我们就还需要进行环境变量配置操作：

首先展示配置的表格：

参数标识与配置
OLLAMA_MODELS表示模型文件的存放目录，默认目录为当前用户目录即 C:\Users%username%.ollama\models。Windows 系统建议不要放在C盘，可放在其他盘（如 E:\ollama\models）
OLLAMA_HOST表示ollama服务监听的网络地址，默认为127.0.0.1。如果想要允许其他电脑访问 Ollama（如局域网中的其他电脑），建议设置成0.0.0.0
OLLAMA_PORT表示ollama服务监听的默认端口，默认为11434。如果端口有冲突，可以修改设置成其他端口（如8080等）
OLLAMA_ORIGINS表示HTTP客户端的请求来源，使用半角逗号分隔列表。如果本地使用不受限制，可以设置成星号 *
OLLAMA_KEEP_ALIVE表示大模型加载到内存中后的存活时间，默认为5m即5分钟（如纯数字300代表300秒，0代表处理请求响应后立即卸载模型，任何负数则表示一直存活）。建议设置成24h，即模型在内存中保持24小时，提高访问速度
OLLAMA_NUM_PARALLEL表示请求处理的并发数量，默认为1（即单并发串行处理请求）。建议按照实际需求进行调整
OLLAMA_MAX_QUEUE表示请求队列长度，默认值为512。建议按照实际需求进行调整，超过队列长度的请求会被抛弃
OLLAMA_DEBUG表示输出Debug日志，应用研发阶段可以设置成1（即输出详细日志信息，便于排查问题）
OLLAMA_MAX_LOADED_MODELS表示最多同时加载到内存中模型的数量，默认为1（即只能有1个模型在内存中）

步骤：


点击上图“环境变量”，进入设置界面，界面上方用户的变量，只对当前系统登录的账户起效，选择下面系统变量，对系统的所有账户生效，您可以根据情况自己选。点击添加添加，输入变量名OLLAMA_MODELS，变量值输入您放置ollama模型的新地址，我这里放在了E:\ollama\models，如下图：


这就完成了第一个OLLAMA_MODELS环境变量的配置。

！！！
然后，如果需要使用另一台电脑在局域网下使用langchain远程访问，那还需要配置必不可少的OLLAMA_HOST ，同上述办法，变量值配置为0.0.0.0即可。

三、远程访问

这里需要更改两个地方：

  1. host端口
  2. model名称
from langchain_community.llms import Ollama

host="192.168.2.16"
port="11434" #默认的端口号为11434
llm=Ollama(base_url=f"http://{host}:{port}", model="llama3.1:latest", temperature=0)
res=llm.invoke("你叫什么名字？")
print(res)
  1. host端口
    在安装ollama的计算cmd窗口查看IP地址：
ipconfig


2. model名称
这里就是我们下载的模型啦：

模型查询地址：https://ollama/library

使用这个命令就可以让ollama下载对应的模型啦:

OK，选择好对应的这两项就可以使用此段开头的代码进行在局域网下使用langchain远程访问啦！

reference：

  • https://blog.csdn/weixin_40280870/article/details/145275600?ops_request_misc=&request_id=&biz_id=102&utm_term=windows%E5%AE%89%E8%A3%85ollama&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-4-145275600.142
  • https://blog.csdn/2501_90561511/article/details/145615092?ops_request_misc=%257B%2522request%255Fid%2522%253A%25229ceaa1e1c08a06c70bd24cbab50903ac%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=9ceaa1e1c08a06c70bd24cbab50903ac&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduend~default-2-145615092-null-null.142v101pc_search_result_base6&utm_term=ollama%E9%85%8D%E7%BD%AE%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F&spm=1018.2226.3001.4187