2024.10.28:无意发现一款可以配置 AI 的 UWP 应用:小幻助理
由 AI 和 .NET 驱动的智能桌面应用,具体的可以访问官网,支持配置的服务很多,有:Open AIAzure Open AIGeminiAnthropic月之暗面智谱 AI零一万物DeepSeek通义千问文心一言腾讯混元讯飞星火字节豆包Silicon FlowOpenRouterTogether AIGroqPerplexityMistral AIOllama
配置 Ollama 见《对话服务配置

本指南介绍了如何在 Windows 11 上安装 Ollama,修改其安装路径和模型路径,以及列举常用命令参数和 GUI 部署的步骤。

下载安装

访问 Ollama 官方网站,点击并下载适用于 Windows 的 Ollama 安装程序

双击下载的安装程序按向导提示进行安装完成以后,启动即可

存储路径

但是安装程序暂时无法自定义安装路径,安装完成以后也没有更改模块路径的设置界面
程序路径:%UserProfile%\AppData\Local\Programs\Ollama
配置日志:%UserProfile%\AppData\Local\Ollama
模块路径:%UserProfile%\.ollama\models
这就会使 C 盘容量会越来越大,好在可以通过环境变量进行更改

环境变量

变量列表

变量名称 说明 默认值
OLLAMA_DEBUG 是否开启调试模式 false
OLLAMA_FLASH_ATTENTION 是否闪烁注意力 true
OLLAMA_HOST 服务器的主机地址
OLLAMA_KEEP_ALIVE 保持连接的时间 5m
OLLAMA_LLM_LIBRARY LLM库
OLLAMA_MAX_LOADED_MODELS 最大加载模型数 1
OLLAMA_MAX_QUEUE 最大队列数
OLLAMA_MAX_VRAM 最大虚拟内存
OLLAMA_MODELS 模型目录
OLLAMA_NOHISTORY 是否保存历史记录 false
OLLAMA_NOPRUNE 是否启用剪枝 false
OLLAMA_NUM_PARALLEL 并行数 1
OLLAMA_ORIGINS 允许的来源
OLLAMA_RUNNERS_DIR 运行器目录
OLLAMA_SCHED_SPREAD 调度分布
OLLAMA_TMPDIR 临时文件目录

更改目录

为了避免 C 盘越来越大,需要更改模型目录;Win+X 然后选中终端管理员

以管理员权限打开终端,运行以下命令

1
2
##更改模型目录
setx /M OLLAMA_MODELS "D:\Ollama\models"

在此之前如果已经下载了模型需要将原路径中已经存在的相应文件拷贝到新的目录下
如果没有更新 Ollama 的需求还可以修改程序路径,不过需要手动修改 Path 变量中 Ollama 的程序路径

命令参数

以下是 Ollama 常用的命令参数:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Usage:
ollama [flags]
ollama [command]

Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command

Flags:
-h, --help help for ollama
-v, --version Show version information

Use "ollama [command] --help" for more information about a command.

验证安装

安装完成以后,任意位置右键 -> 在终端中打开 -> 打开 Windows 终端使用命令提示符 (CMD) 或 PowerShell,输入以下命令以验证 Ollama 是否正确安装:

1
ollama

如果安装正确,会显示 Ollama 的版本信息

其他命令

1
2
3
4
5
6
##查看本地模型列表
ollama list
##运行指定模型,没有模型会直接下载,https://ollama.com/library
ollama run <model>
##删除模型
ollama rm <model>