Ollama+Docker配置

安装ollama

1
sudo pacman -S ollama

[!IMPORTANT]

如需 GPU 支持，根据你的显卡类型选择安装：

  • NVIDIA：安装 ollama-cuda
  • AMD：安装 ollama-rocm

启用/启动服务

1
sudo systemctl enable --now ollama.service

安装模型

[!TIP]

正常安装模型是ollama run gemma3:270m

推荐手动安装避免中途网络问题，首先创建模型存放文件夹

1
mkdir -r /home/$HOME/.ollama/models/blobs/

[!IMPORTANT]

Ai对话模型推荐在这里下载：https://huggingface.co/

在网站搜索模型名称即可，例如：LLaMA、Qwen、Seed等等

将下载好的gguf后缀模型文件重命名为哈希值

获取哈希值

1
shasum -a 256 *.gguf

创建Modelfile文件夹

1
mkdir /home/$HOME/.ollama/models/Modelfile/

创建Modelfile文件

1
vim Modelfile

添加如下代码

1
FROM /home/$HOME/.ollama/models/blobs/33981adf6bae52c503fb5c24f72539010632f7ed290a56c1315a8cd50adca587.gguf

创建模型运行

[!IMPORTANT]

Nous-Hermes-2-Mistral-7B-DPO.Q8_0：模型名字即可

Modelfile：刚刚创建的Modelfile文件

1
ollama create Nous-Hermes-2-Mistral-7B-DPO.Q8_0 -f Modelfile

运行ollama查看模型

1
ollama list

Docker从安装到代理

安装docker包

1
sudo pacman -S docker

启用docker.service服务

1
sudo systemctl enable --now docker.service

也可以使用docker.socket将会在第一次启动Docker时启动，使用后者可以减少开机启动时间

如果你想以普通用户身份运行docker的话，添加你自己到 docker 用户组

1
gpasswd  -a  [用户名]  [组名]

将用户从组中移除

1
gpasswd  -d  [用户名]  [组名]

重启服务

1
sudo systemctl daemon-reload
1
sudo systemctl restart docker.service

查看当前配置

1
sudo docker info

配置代理

在执行docker pull时，是由守护进程dockerd来执行。因此代理需要配在dockerd的环境中。而这个环境则是受systemd所管控

1
sudo mkdir /etc/systemd/system/docker.service.d
1
sudo vim /etc/systemd/system/docker.service.d/proxy.conf

[!IMPORTANT]

SOCKS5 键入如下配置

1
2
3
4
[Service]
Environment="HTTP_PROXY=socks5://127.0.0.1:1080/"
Environment="HTTPS_PROXY=socks6://127.0.0.1:1080/"
Environment="NO_PROXY=localhost,.example.com"

[!TIP]

HTTP、HTTPS 键入如下配置

1
2
3
4
[Service]
Environment="HTTP_PROXY=http://127.0.0.1:7890"
Environment="HTTPS_PROXY=http://127.0.0.1:7890"
Environment="NO_PROXY=localhost,.example.com"

最后重启docker

1
sudo systemctl daemon-reload
1
sudo systemctl restart docker.service

验证代理是否生效

1
sudo systemctl show docker --property=Environment

看到里边有 HTTP_PROXY、HTTPS_PROXY 就对了

再试：

1
sudo docker pull alpine

如果本来不翻墙就拉不到、现在能拉了，说明代理成功了

安装openwebui

1
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Open WebUI 设置

1
2
3
4
5
6
OpenAI API 管理
OpenAI API连接 https://api.openai.com/v1
Ollama API 管理
Ollama API连接 http://host.docker.internal:11434

最后浏览器打开http://localhost:3000
Linux
#Linux
Ollama+Docker配置
https://huishao.fun/Ollama配置使用/
作者
huishao
发布于
2025年8月24日
许可协议