ZorinOS DockerとOpenWebUIをインストールする
ここを参考にしました。
まずDockerを入れます。
sudo apt-get update
sudo apt-get install ca-certificates curl gnupg lsb-release
公式GPGキーを追加。
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
Dockerのインストール。
sudo apt-get install docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker
ユーザーをグループに追加。
sudo usermod -aG docker $USER
ここで一度ログアウトして、再度ログインすることで、sudo無しでdockerのコマンドが叩けます。
GPUが使えるようにします。
NVIDIA Container Toolkit をインストール
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.18.2-1
sudo apt-get install -y \
nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}
OpenWebUIを起動。
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
http://localhost:3000/ にアクセスすると、OpenWebUIが動きます。
Ollamaの接続設定します。http://host.docker.internal:11434
しかし、このままでは、OpenWebUIからOllamaにアクセスできません。Dockerから外に行けないらしい。
$ ss -ltn | grep 11434
LISTEN 0 4096 127.0.0.1:11434 0.0.0.0:* これだとダメです。
ここを参照。
sudo systemctl edit ollama.service
エディタが立ち上がったら、上のコメントの間に、2行追加します。
[Service]
Environment="OLLAMA_HOST=0.0.0.0"sudo systemctl daemon-reload
sudo systemctl restart ollama.service
$ ss -ltn | grep 11434
LISTEN 0 4096 *:11434 *:* こうなればOK。
これでいけるかな。
いけました。
ではまた。
