本地大语言模型食用指北:Ollama
2024.10.28:无意发现一款可以配置 AI 的 UWP 应用:小幻助理
由 AI 和 .NET 驱动的智能桌面应用,具体的可以访问官网,支持配置的服务很多,有:Open AI、Azure Open AI、Gemini、Anthropic、月之暗面、智谱 AI、零一万物、DeepSeek、通义千问、文心一言、腾讯混元、讯飞星火、字节豆包、Silicon Flow、OpenRouter、Together AI、Groq、Perplexity、Mistral AI、Ollama。
配置 Ollama 见《对话服务配置》
本指南介绍了如何在 Windows 11 上安装 Ollama,修改其安装路径和模型路径,以及列举常用命令参数和 GUI 部署的步骤。
下载安装
访问 Ollama 官方网站,点击并下载适用于 Windows 的 Ollama 安装程序
双击下载的安装程序按向导提示进行安装完成以后,启动即可
存储路径
但是安装程序暂时无法自定义安装路径,安装完成以后也没有更改模块路径的设置界面
程序路径:%UserProfile%\AppData\Local\Programs\Ollama
配置日志:%UserProfile%\AppData\Local\Ollama
模块路径:%UserProfile%\.ollama\models
这就会使 C 盘容量会越来越大,好在可以通过环境变量进行更改
环境变量
变量列表
变量名称 | 说明 | 默认值 |
---|---|---|
OLLAMA_DEBUG | 是否开启调试模式 | false |
OLLAMA_FLASH_ATTENTION | 是否闪烁注意力 | true |
OLLAMA_HOST | 服务器的主机地址 | 空 |
OLLAMA_KEEP_ALIVE | 保持连接的时间 | 5m |
OLLAMA_LLM_LIBRARY | LLM库 | 空 |
OLLAMA_MAX_LOADED_MODELS | 最大加载模型数 | 1 |
OLLAMA_MAX_QUEUE | 最大队列数 | 空 |
OLLAMA_MAX_VRAM | 最大虚拟内存 | 空 |
OLLAMA_MODELS | 模型目录 | 空 |
OLLAMA_NOHISTORY | 是否保存历史记录 | false |
OLLAMA_NOPRUNE | 是否启用剪枝 | false |
OLLAMA_NUM_PARALLEL | 并行数 | 1 |
OLLAMA_ORIGINS | 允许的来源 | 空 |
OLLAMA_RUNNERS_DIR | 运行器目录 | 空 |
OLLAMA_SCHED_SPREAD | 调度分布 | 空 |
OLLAMA_TMPDIR | 临时文件目录 | 空 |
更改目录
为了避免 C 盘越来越大,需要更改模型目录;Win+X 然后选中终端管理员
以管理员权限打开终端,运行以下命令1
2##更改模型目录
setx /M OLLAMA_MODELS "D:\Ollama\models"
在此之前如果已经下载了模型需要将原路径中已经存在的相应文件拷贝到新的目录下
如果没有更新 Ollama 的需求还可以修改程序路径,不过需要手动修改 Path
变量中 Ollama 的程序路径
命令参数
以下是 Ollama 常用的命令参数:1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
验证安装
安装完成以后,任意位置右键 -> 在终端中打开 -> 打开 Windows 终端使用命令提示符 (CMD) 或 PowerShell,输入以下命令以验证 Ollama 是否正确安装:1
ollama
如果安装正确,会显示 Ollama 的版本信息
其他命令
1 | ##查看本地模型列表 |