Ollama搭建本地DeepSeek大模型

发布时间: 2025-2-6 文章作者: myluzh 分类名称: NOTE 朗读文章

0x01 安装ollama
1、安装ollama
（1）直接安装：https://ollama.com/download
（2）通过 docker：https://hub.docker.com/r/ollama/ollama/tags

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2、设置ollama监听
docker跑起来的的ollama 只需要-p把11434 api端口暴露出来即可，
安装完成ollama后，默认只监听来自127.0.0.1，为了方便局域网内调用api，配置 Ollama 服务监听所有网络接口

# windows powershell 配置方法如下
PS C:\Users\myluzh> $env:OLLAMA_HOST = "0.0.0.0:11434"
#如果你希望永久设置环境变量，可以通过 PowerShell 设置系统环境变量，使其在所有会话中生效：
[System.Environment]::SetEnvironmentVariable("OLLAMA_HOST", "0.0.0.0:11434", [System.EnvironmentVariableTarget]::User)

# linux配置方法
vi /etc/systemd/system/ollama.service
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434“

3、启动ollama api服务

PS C:\Users\myluzh> ollama serve

0x02 下载模型
其他模型也可以下载，具体可以参考ollama模型列表：https://ollama.com/library
我这边测试主机显卡是gtx1080 8g显存 64g内存，所以下载了8B的模型。

# 下载deepseek模型 deepseek-r1：https://ollama.com/library/deepseek-r1
C:\Users\myluzh>ollama pull deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.9 GB
verifying sha256 digest
writing manifest
success
# 查看本地已经下载的模型
C:\Users\myluzh>ollama list
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    9 seconds ago
# 测试模型
C:\Users\myluzh>ollama run deepseek-r1:8b