Ollama+Docker配置

安装ollama

sudo pacman -S ollama

[!IMPORTANT]

如需 GPU 支持，根据你的显卡类型选择安装：

• NVIDIA：安装 ollama-cuda
• AMD：安装 ollama-rocm

启用/启动服务

sudo systemctl enable --now ollama.service

安装模型

[!TIP]

正常安装模型是ollama run gemma3:270m

推荐手动安装避免中途网络问题，首先创建模型存放文件夹

mkdir -r /home/$HOME/.ollama/models/blobs/

[!IMPORTANT]

Ai对话模型推荐在这里下载：https://huggingface.co/

在网站搜索模型名称即可，例如：LLaMA、Qwen、Seed等等

将下载好的gguf后缀模型文件重命名为哈希值

获取哈希值

shasum -a 256 *.gguf

创建Modelfile文件夹

mkdir /home/$HOME/.ollama/models/Modelfile/

创建Modelfile文件

vim Modelfile

添加如下代码

FROM /home/$HOME/.ollama/models/blobs/33981adf6bae52c503fb5c24f72539010632f7ed290a56c1315a8cd50adca587.gguf

创建模型运行

[!IMPORTANT]

Nous-Hermes-2-Mistral-7B-DPO.Q8_0：模型名字即可

Modelfile：刚刚创建的Modelfile文件

ollama create Nous-Hermes-2-Mistral-7B-DPO.Q8_0 -f Modelfile

运行ollama查看模型

ollama list

Docker从安装到代理

安装docker包

sudo pacman -S docker

启用docker.service服务

sudo systemctl enable --now docker.service

也可以使用docker.socket将会在第一次启动Docker时启动，使用后者可以减少开机启动时间

如果你想以普通用户身份运行docker的话，添加你自己到 docker 用户组

gpasswd  -a  [用户名]  [组名]

将用户从组中移除

gpasswd  -d  [用户名]  [组名]

重启服务

sudo systemctl daemon-reload

sudo systemctl restart docker.service

查看当前配置

sudo docker info

配置代理

在执行docker pull时，是由守护进程dockerd来执行。因此代理需要配在dockerd的环境中。而这个环境则是受systemd所管控

sudo mkdir /etc/systemd/system/docker.service.d

sudo vim /etc/systemd/system/docker.service.d/proxy.conf

[!IMPORTANT]

键入如下配置

HTTP_PROXY或HTTPS_PROXY 分别用于代理访问 socks5请求（也可以是http或https请求，根据自己代理为准），如果想某个 IP或域名不走代理则配置到 NO_PROXY中

socks5://127.0.0.1:1080/必须是免密代理

[Service]
Environment="HTTP_PROXY=socks5://127.0.0.1:1080/"
Environment="HTTPS_PROXY=socks6://127.0.0.1:1080/"
Environment="NO_PROXY=localhost,.example.com"

最后重启docker

sudo systemctl daemon-reload

sudo systemctl restart docker.service

安装openwebui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Open WebUI 设置

OpenAI API 管理
OpenAI API连接 https://api.openai.com/v1
Ollama API 管理
Ollama API连接 http://host.docker.internal:11434

最后浏览器打开http://localhost:3000