No Data

ollama windows下安装、使用

原创  作者:斩雪碎光阴  发布于:2024年12月27日  阅读量:646
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
  分类:  标签:

1.ollama官网

https://ollama.com/

2.从官网下载

download for windows

OllamaSetup.exe

下载不成功可参考:

 https://sgybk.cn/article194

3.安装

双击安装文件,点击「Install」开始安装。默认路径:C:\Users%username%\AppData\Local\Programs\Ollama,无法变更。

升级:

从新下载最新客户端,覆盖安装即可

安装后会默认开启启动

4.更改模型存放路径

Ollama 的默认模型存储路径如下:C:\Users%username%.ollama\models,无论 C 盘空间大小,需要安装多少模型,都建议换一个存放路径到其它盘,否则会影响电脑运行速度。

打开「系统环境变量」,新建一个系统变量OLLAMA_MODELS ,然后设置ollama模型的存储路径。

5.配置端口(可选)

Ollama API 的默认访问地址和侦听端口是http://localhost:11434,只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务,请修改 API 的侦听地址和端口(在系统环境变量里设置):

变量名:OLLAMA_HOST

变量值(端口)::8000

只填写端口号可以同时侦听(所有) IPv4 和 IPv6 的:8000 端口。(变量值的端口前号前有个冒号:)

注:要使用 IPv6,需要 Ollama 0.0.20 或更高版本。另外,可能需要在 Windows 防火墙中开放相应端口的远程访问。

6.允许浏览器跨域请求(可选)

Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求,如果你计划在其它前端面板中调用 Ollama API,比如Open WebUI,建议放开跨域限制:

变量名:OLLAMA_ORIGINS

变量值:*

7.命令行使用方式

控制台运行模型:

ollama run......

卸载模型:

ollama rm......

查看已安装模型:

ollama list

启动服务:

ollama serve

退出模型:

ctrl+d

描述图片:

输入指令+空格+图像地址

8.查找可安装的模型

在官网点击Models可查找

大语言模型:qwen

视觉模型:minicpm-v

训练参量b代表10亿单位

选择训练参量版本之后可以直接复制运行语句

如:ollama run qwen2.5:7b

执行运行语句会下载模型

9.更多的模型可在魔塔社区查找

魔塔社区:

https://www.modelscope.cn/home

找到模型复制地址拼接下载命令,例如:

ollama run modelscope.cn/Qwen/Qwen2.5-7B-Instruct-GGUF

即:ollama run modelscope.cn+下载地址

如果报错:

Error: pull model manifest: 400: No supported GGUF file can be found in the specified repository.

解决报错:

需要查找使用GGUF版本

相关文章