Статья · ИНСТРУКЦИИ · 29 июл. 2026 · 11 мин чтения

Ollama + Open WebUI на Ubuntu 24.04: запуск локальной нейросети на GPU

Олег
Технический писатель · Облачные сервисы
11 мин чтения

Связка Ollama + Open WebUI на Ubuntu 24.04 поднимается за вечер, а дальше остаётся вопрос эксплуатации. Ниже — практический маршрут: подбор GPU-сервера под размер модели, установка драйверов NVIDIA, развёртывание через docker compose, обратный прокси на Nginx с SSL и проверка того, что локальная LLM действительно считает на видеокарте.

Что даёт локальная LLM на своём сервере и какое железо ей нужно

Основной мотив разворачивать модель у себя — контроль над данными. Когда сотрудники загружают в модель договоры, выгрузки из 1С, исходный код или переписку с клиентами, любой внешний API превращается в канал утечки. Локальный контур снимает этот вопрос: запрос не покидает периметр, логи хранятся на вашем диске, доступ регулируется теми же средствами, что и к остальным внутренним сервисам.

Сценариев, которые окупают железо, обычно три: помощник по внутренней базе знаний с подключением регламентов через RAG; помощь разработчикам — объяснение легаси-кода, черновики тестов, разбор стектрейсов без отправки исходников наружу; пакетная обработка документов — классификация обращений, извлечение реквизитов, суммаризация протоколов.

Скорость генерации упирается не в вычислительную мощность карты, а в пропускную способность её памяти. Модель на каждый токен читает все свои веса из VRAM, поэтому потолок считается просто — пропускная способность делится на объём весов. Разброс между картами одного ценового класса здесь может быть кратным: у топовых игровых карт с GDDR6X пропускная способность памяти на порядок величины выше, чем у компактных серверных ускорителей вроде NVIDIA L4, и на одной и той же 8-миллиардной модели это напрямую превращается в разницу в токенах в секунду. Перед выбором сверьтесь со спецификацией конкретной карты — тип памяти, ширина шины и эффективная частота дают итоговую пропускную способность.

Подбор GPU и объёма видеопамяти под размер модели

Квантизация — сжатие весов до меньшей разрядности — определяет всё остальное. Формат Q4_K_M даёт примерно 0,5–0,6 ГБ на каждый миллиард параметров при потере качества, которую на большинстве прикладных задач не видно; FP16 требует около 2 ГБ на миллиард. К весам добавляется KV-кэш, растущий линейно с длиной контекста.

Класс модели

Квантизация

Вес модели в VRAM

Рекомендуемая VRAM при контексте 8–16 К

Типовые задачи

7–8B (Qwen2.5, Llama 3.1)

Q4_K_M

~4,5–5 ГБ

12 ГБ

Классификация, извлечение полей, короткие ответы по документам

12–14B (Qwen2.5, Mistral Nemo)

Q4_K_M

~7–9 ГБ

16 ГБ

Помощник по базе знаний, черновики текстов, разбор кода

27–32B (Gemma 2, Qwen2.5)

Q4_K_M

~15–20 ГБ

24–32 ГБ

Сложные рассуждения, длинные документы, качественный RAG

70B (Llama 3.3)

Q4_K_M

~35–43 ГБ

48–64 ГБ

Задачи, где качество ответа критичнее стоимости железа

7–8B

FP16

~16 ГБ

24 ГБ

Дообучение, эталонные замеры качества

Ориентиры по картам: 24 ГБ (RTX 4090, A10, L4) закрывают модели до 14B с запасом и 32B впритык; 48 ГБ (L40S, RTX 6000 Ada, RTX Pro 6000) — рабочий вариант под 32B с длинным контекстом; 70B требует 80 ГБ или двух карт с распределением слоёв.

Базовая подготовка Ubuntu 24.04 перед установкой

Ставим чистую Ubuntu Server 24.04 LTS и заранее решаем вопрос с дисками: три-четыре модели среднего размера — это 60–80 ГБ, и каталог моделей разумно вынести в /var/lib/ollama на быстром NVMe.

  1. Обновить систему: sudo apt update && sudo apt full-upgrade -y, затем перезагрузиться — драйвер будет собираться под актуальное ядро.
  2. Настроить доступ по ключам и отключить парольную аутентификацию SSH.
  3. Включить firewall: sudo ufw allow 22,80,443/tcp && sudo ufw enable.
  4. В unattended-upgrades исключить пакеты ядра и драйверов NVIDIA — обновление ядра без пересборки модуля оставит вас без GPU до следующей перезагрузки.

Установка драйверов NVIDIA и NVIDIA Container Toolkit

Драйвер — самая частая точка отказа. В Ubuntu 24.04 есть две ветки пакетов: обычная (например, nvidia-driver-575) и серверная с суффиксом -server, не тянущая за собой графический стек. Для GPU-сервера берите серверную ветку.

Установка драйвера и проверка nvidia-smi

sudo apt install -y ubuntu-drivers-common
sudo ubuntu-drivers devices
sudo ubuntu-drivers install --gpgpu
sudo reboot

Конкретную версию можно задать явно: sudo ubuntu-drivers install --gpgpu nvidia:575-server. После перезагрузки проверяем nvidia-smi. Если команда не найдена при установленном драйвере серверной ветки — доставьте nvidia-utils-<версия>-server. Версия CUDA в шапке nvidia-smi — это максимальная поддерживаемая драйвером, а не установленная в системе; отдельный CUDA Toolkit для Ollama не нужен.

Три проблемы, на которые уходит больше всего времени:

  • Конфликт с nouveau. Проверьте lsmod | grep nouveau. Если модуль остался — создайте /etc/modprobe.d/blacklist-nouveau.conf с директивами blacklist nouveau и options nouveau modeset=0, затем sudo update-initramfs -u и перезагрузка.
  • Secure Boot. Неподписанный модуль ядра не загрузится, и nvidia-smi выдаст ошибку связи с драйвером. Либо зарегистрируйте ключ (sudo mokutil --import /var/lib/shim-signed/mok/MOK.der), либо отключите Secure Boot в UEFI.
  • Расхождение версий после обновления ядра. Убедитесь, что установлен dkms и заголовки текущего ядра; статус смотрите через dkms status.

Настройка NVIDIA Container Toolkit для Docker

Контейнер сам по себе видеокарту не видит — доступ к устройству пробрасывает NVIDIA Container Toolkit. Ставим Docker из официального репозитория, затем toolkit:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
  | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Проверка занимает одну команду:

sudo docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi

Ошибка вида could not select device driver "" with capabilities: [[gpu]] означает, что runtime не прописался в /etc/docker/daemon.json.

Установка Ollama и запуск первой модели

Ollama берёт на себя загрузку моделей, распределение слоёв между GPU и CPU, выгрузку по таймауту и HTTP-интерфейс. Это обёртка над llama.cpp с внятным управлением жизненным циклом моделей.

Нативная установка против запуска в контейнере

Нативный вариант ставится одной командой и сразу регистрирует systemd-юнит:

curl -fsSL https://ollama.com/install.sh | sh

Контейнерный запускается образом ollama/ollama с флагом --gpus all и томом под модели.

Критерий

Нативная установка

Запуск в контейнере

Доступ к GPU

Напрямую через драйвер хоста

Через NVIDIA Container Toolkit

Обновление

Повторный запуск install.sh

docker compose pull + пересоздание

Изоляция от системы

Сервис работает от пользователя ollama

Полная изоляция файловой системы

Управление переменными

Через override systemd-юнита

Через блок environment в compose

Откат на прежнюю версию

Требует ручной установки нужного бинарника

Смена тега образа

Для выделенного GPU-сервера удобнее нативная установка: на один слой абстракции меньше при диагностике проблем с видеокартой. Если сервер общий — берите контейнер.

Загрузка модели, systemd-юнит и проверка нагрузки на GPU

Настройки задаются переменными окружения. Правим юнит через sudo systemctl edit ollama:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_FLASH_ATTENTION=1"

OLLAMA_HOST=0.0.0.0 нужен, чтобы к API мог обратиться контейнер Open WebUI — при привязке к 127.0.0.1 он получит отказ в соединении; открытость наружу закроем на уровне firewall. OLLAMA_KEEP_ALIVE задаёт, сколько модель держится в VRAM после последнего запроса: значение по умолчанию — 5 минут, и именно оно вызывает жалобы на то, что первый ответ после перерыва идёт 40 секунд. Применяем: sudo systemctl daemon-reload && sudo systemctl restart ollama.

ollama pull qwen2.5:14b-instruct-q4_K_M
ollama run qwen2.5:14b-instruct-q4_K_M --verbose
ollama ps

Колонка PROCESSOR в выводе ollama ps — главный индикатор. 100% GPU означает, что все слои легли в видеопамять. Если видите 62%/38% CPU/GPU, часть слоёв выгружена в оперативную память, и скорость упадёт в разы. Лечится уменьшением контекста, более сжатой квантизацией или моделью меньшего размера.

Развёртывание Open WebUI через Docker Compose

Ollama даёт только API. Open WebUI закрывает интерфейсную часть: чаты с историей, переключение моделей, загрузка документов, разграничение пользователей.

Файл docker-compose.yml и связка с Ollama

Создаём каталог /opt/openwebui и в нём docker-compose.yml:

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "127.0.0.1:3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
      - WEBUI_AUTH=true
      - ENABLE_SIGNUP=true
      - DEFAULT_USER_ROLE=pending
      - WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY}
    extra_hosts:
      - "host.docker.internal:host-gateway"
    volumes:
      - open-webui:/app/backend/data

volumes:
  open-webui:

Привязка 127.0.0.1:3000 вместо 3000:8080 критически важна: Docker вносит правила DNAT в iptables, минуя цепочки ufw, и правила ufw при этом не применяются — контейнер, опубликованный без указания адреса, окажется доступен из интернета вопреки закрытому firewall. Секция extra_hosts нужна, чтобы контейнер видел Ollama на хосте. Том open-webui хранит базу с историей чатов и загруженными документами — это то, что нужно резервировать. WEBUI_SECRET_KEY держим в .env рядом с compose, сгенерировав через openssl rand -hex 32. Запуск: docker compose up -d.

Первый вход, права пользователей и закрытие регистрации

Первый зарегистрировавшийся пользователь автоматически получает роль администратора — поэтому регистрацию открываем ровно на время создания своей учётной записи и закрываем сразу после.

  1. Открыть интерфейс, зарегистрировать администратора с рабочей почтой и стойким паролем.
  2. Поменять ENABLE_SIGNUP на false в compose-файле и применить: docker compose up -d.
  3. Заводить сотрудников через админ-панель либо оставить DEFAULT_USER_ROLE=pending — новые учётные записи будут ждать ручного подтверждения.

Распространённая ошибка — оставить открытую регистрацию на несколько дней, пока подключаются коллеги. При наличии публичного домена этого времени хватает, чтобы в панели появились посторонние учётные записи: сканеры находят типовые интерфейсы за часы.

Домен, Nginx и SSL-сертификат для внешнего доступа

Здесь уместно разделить роли. GPU-сервер с моделями держат в закрытом сегменте вовсе без публичного адреса, а точку входа — Nginx с сертификатом — выносят на отдельную небольшую машину, связанную с ним по внутренней сети или VPN. Для такой роли подойдёт аренда сервера с Ubuntu в Cloud4U: виртуальная машина разворачивается за несколько минут, в услугу входит защита от DDoS и резервное копирование, а круглосуточная поддержка снимает вопрос дежурства по ночам. Мощная видеокарта фронтенду не нужна — обратный прокси нагружают только сетевые операции, двух ядер и 4 ГБ памяти хватает с запасом.

Конфигурация обратного прокси и WebSocket

Ставим Nginx и описываем виртуальный хост в /etc/nginx/sites-available/ai.example.ru:

server {
    listen 80;
    server_name ai.example.ru;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ai.example.ru;

    client_max_body_size 128m;

    location / {
        proxy_pass http://127.0.0.1:3000;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_read_timeout 600s;
        proxy_send_timeout 600s;
        proxy_buffering off;
    }
}

Заголовки Upgrade и Connection включают поддержку WebSocket, без которой чат подключается, но ответы не приходят потоком. proxy_buffering off отключает накопление ответа в буфере — иначе пользователь ждёт молча, а потом получает весь текст разом. Увеличенные таймауты нужны для длинных генераций: ответ на большой документ у 32B-модели легко занимает три-четыре минуты, а стандартные 60 секунд оборвут соединение. Нюанс версий: в Nginx из репозитория Ubuntu 24.04 HTTP/2 включается как listen 443 ssl http2;, а начиная с 1.25.1 этот синтаксис объявлен устаревшим и заменён отдельной директивой http2 on;.

Сертификат Let's Encrypt и ограничение доступа к портам

Сертификат выпускаем через certbot, предварительно направив A-запись домена на адрес сервера:

sudo apt install -y certbot python3-certbot-nginx
sudo certbot --nginx -d ai.example.ru
sudo certbot renew --dry-run

Автопродление работает через systemd-таймер certbot.timer — проверьте его состояние командой systemctl list-timers | grep certbot, потому что молчаливо не сработавший таймер обнаруживается обычно в день истечения сертификата.

Дальше закрываем всё лишнее:

  • порты 3000 и 11434 не публикуем наружу — первый привязан к петлевому интерфейсу, второй закрываем правилом sudo ufw deny 11434/tcp и разрешаем только с адреса фронтенда;
  • в ufw оставляем открытыми 22, 80 и 443, причём SSH разумно ограничить подсетью офиса;
  • после настройки проверяем результат снаружи: nmap -Pn ai.example.ru должен показать только разрешённые порты.

Проверка работы, производительность и эксплуатация

Тест через API и замер скорости генерации

Ollama возвращает в ответе счётчики, по которым скорость считается без сторонних инструментов:

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:14b-instruct-q4_K_M",
  "prompt": "Перечисли этапы подготовки Ubuntu-сервера под GPU-нагрузку",
  "stream": false
}' | jq '{tokens: .eval_count, sec: (.eval_duration/1000000000), tps: (.eval_count/(.eval_duration/1000000000))}'

Поле eval_count — число сгенерированных токенов, eval_duration — время в наносекундах; их отношение и даёт токены в секунду. Абсолютные цифры сильно зависят от карты, квантизации и длины контекста, поэтому ориентироваться стоит на собственный замер: снимите токены в секунду на своей модели при полном размещении весов в VRAM и используйте это число как базовую точку. Общая закономерность простая — при переходе от 8B к 14B и дальше к 32B скорость падает примерно пропорционально росту объёма весов, а на карте с вдвое меньшей пропускной способностью памяти те же модели работают примерно во столько же раз медленнее.

Ollama отдаёт OpenAI-совместимый интерфейс по адресу /v1/chat/completions, что позволяет подключать её к существующим приложениям сменой базового URL. Во время нагрузочного теста держите открытым nvidia-smi -l 1 или nvtop: заполнение VRAM должно оставаться стабильным, а температура карты — не упираться в порог троттлинга.

Обновление, резервное копирование и типовые ошибки

Резервировать нужно том open-webui с базой чатов и векторным индексом документов, а также compose-файл с .env. Сами модели копировать не нужно — они загружаются заново командой ollama pull. Снимок тома:

docker run --rm -v open-webui:/data -v /opt/backup:/backup alpine \
  tar czf /backup/webui-$(date +%F).tar.gz -C /data .

Обновление интерфейса — docker compose pull && docker compose up -d; данные переживают пересоздание контейнера. Ollama обновляется повторным запуском установочного скрипта. Не обновляйте оба компонента одновременно: при расхождении в API удобнее понимать, какой из них принёс регресс.

Ошибки, которые встречаются чаще остальных:

  • Модель выгружается из памяти между запросами. Причина — OLLAMA_KEEP_ALIVE со значением по умолчанию. Для рабочего сервиса ставьте 30 минут или -1.
  • Скорость упала после обновления системы. Проверьте ollama ps: обновление ядра без пересборки модуля драйвера роняет инференс на CPU.
  • Ответы обрываются на длинных генерациях. Смотрите таймауты Nginx и наличие proxy_buffering off.

Главные выводы

Связка Ollama и Open WebUI собирается за несколько часов, и основная работа приходится не на установку, а на два соседних участка: корректно поставленные драйверы NVIDIA с Container Toolkit и аккуратно закрытый внешний периметр с Nginx, SSL и firewall. Определяющим решением остаётся выбор GPU-сервера — размер видеопамяти задаёт доступный класс моделей, а пропускная способность памяти карты напрямую переводится в токены в секунду. Разумная отправная точка для корпоративного помощника — модель на 14 миллиардов параметров в квантизации Q4_K_M на карте с 24 ГБ VRAM.

Дальше локальная LLM живёт как обычный внутренний сервис: с мониторингом загрузки видеокарты, резервным копированием тома с настройками, плановыми обновлениями контейнеров и понятной моделью доступа.

Вверх!