Ollama 部署 & 搭建本地大模型
0x01 安装 Ollama
Docker 安装
NVIDIA Container Toolkit 安装教程可以参考：安装 NVIDIA Container Toolkit
容器内默认监听 0.0.0.0，只需要通过 -p 映射端口，宿主机即可被外部访问，无需额外配置环境变量。
docker pull docker.1ms.run/ollama/ollama:0.13.5
mkdir -p /docker/ollama
# 确保已安装 NVIDIA Container Toolkit 以支持 --gpus all，
docker run -d --gpus all \
-v /docker/ollama:/root/.ollama \
-p 11434:11434 \
--name ollama \
docker.1ms.run/ollama/ollama:0.13.5
直接安装（宿主机）
默认只监听 127.0.0.1（本地），如需局域网访问，必须手动配置环境变量。
1、下载安装包安装https://ollama.com/download
2、配置网络监听
默认情况下 Ollama 只监听 127.0.0.1。为了让局域网其他设备能调用 API，需要修改环境变量 OLLAMA_HOST 为 0.0.0.0:11434。
- Windows (PowerShell)
# 临时生效（当前窗口） $env:OLLAMA_HOST = "0.0.0.0:11434" # 永久生效（设置用户级环境变量，推荐） - Linux (Systemd 服务)
如果使用安装脚本安装，通常由 systemd 管理服务。# 编辑服务配置 systemctl edit ollama.service # 在编辑器中输入以下内容并保存： [Service] Environment="OLLAMA_HOST=0.0.0.0:11434" # 重载并重启服务 systemctl daemon-reload systemctl restart ollama
3、启动服务
- Windows: 安装完成后通常会自动运行，或者在命令行输入
ollama serve。 - Linux:
systemctl start ollama或手动运行ollama serve。
0x02 下载与运行模型
以下操作在安装了 Ollama 的机器上执行（如果是 Docker 安装，需进入容器执行 docker exec -it ollama ollama ... 或者直接在宿主机调用 API，如果有装 CLI 客户端也可直接连）。
具体模型列表参考：https://ollama.com/search
测试环境：GTX 1080 (8G 显存) + 64G 内存，适合 7B/8B 左右模型。
这里以 DeepSeek-R1 8B 版本为例：
# 下载 deepseek-r1:8b
ollama pull deepseek-r1:8b
#查看已下载模型
ollama list
# 输出示例
NAME ID SIZE MODIFIED
deepseek-r1:8b 28f8fd6cdc67 4.9 GB 9 seconds ago
# 运行/测试模型
ollama run deepseek-r1:8b0x03 接入LLM UI
1、客户端 AnythingLLM
2、网页端 Dify
3、网页端 Open-WebUI
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:\open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
4、客户端Chatbox
https://chatboxai.app/zh
客户端 Cherry Studio
https://www.cherrystudiocn.com/
参考文章：
DeepSeek R1 模型本地化部署 + 个人知识库搭建与使用
DeepSeek-R1本地部署，再也不怕宕机，还有语音功能！
OLLAMA+FASTGPT+M3E 大模型本地化部署手记
Windows安装与配置Ollama
用消融的方法让大模型更听话，无需重新训练
AnythingLLM、Dify 与 Open-WebUI：如何接入 Ollama，它们有何不同？
huggingface 抱抱脸
huihui_ai/deepseek-r1-abliterated