Связка Ollama + Open WebUI на Ubuntu 24.04 поднимается за вечер, а дальше остаётся вопрос эксплуатации. Ниже — практический маршрут: подбор GPU-сервера под размер модели, установка драйверов NVIDIA, развёртывание через docker compose, обратный прокси на Nginx с SSL и проверка того, что локальная LLM действительно считает на видеокарте.
Что даёт локальная LLM на своём сервере и какое железо ей нужно
Основной мотив разворачивать модель у себя — контроль над данными. Когда сотрудники загружают в модель договоры, выгрузки из 1С, исходный код или переписку с клиентами, любой внешний API превращается в канал утечки. Локальный контур снимает этот вопрос: запрос не покидает периметр, логи хранятся на вашем диске, доступ регулируется теми же средствами, что и к остальным внутренним сервисам.
Сценариев, которые окупают железо, обычно три: помощник по внутренней базе знаний с подключением регламентов через RAG; помощь разработчикам — объяснение легаси-кода, черновики тестов, разбор стектрейсов без отправки исходников наружу; пакетная обработка документов — классификация обращений, извлечение реквизитов, суммаризация протоколов.
Скорость генерации упирается не в вычислительную мощность карты, а в пропускную способность её памяти. Модель на каждый токен читает все свои веса из VRAM, поэтому потолок считается просто — пропускная способность делится на объём весов. Разброс между картами одного ценового класса здесь может быть кратным: у топовых игровых карт с GDDR6X пропускная способность памяти на порядок величины выше, чем у компактных серверных ускорителей вроде NVIDIA L4, и на одной и той же 8-миллиардной модели это напрямую превращается в разницу в токенах в секунду. Перед выбором сверьтесь со спецификацией конкретной карты — тип памяти, ширина шины и эффективная частота дают итоговую пропускную способность.
Подбор GPU и объёма видеопамяти под размер модели
Квантизация — сжатие весов до меньшей разрядности — определяет всё остальное. Формат Q4_K_M даёт примерно 0,5–0,6 ГБ на каждый миллиард параметров при потере качества, которую на большинстве прикладных задач не видно; FP16 требует около 2 ГБ на миллиард. К весам добавляется KV-кэш, растущий линейно с длиной контекста.
|
Класс модели |
Квантизация |
Вес модели в VRAM |
Рекомендуемая VRAM при контексте 8–16 К |
Типовые задачи |
|---|---|---|---|---|
|
7–8B (Qwen2.5, Llama 3.1) |
Q4_K_M |
~4,5–5 ГБ |
12 ГБ |
Классификация, извлечение полей, короткие ответы по документам |
|
12–14B (Qwen2.5, Mistral Nemo) |
Q4_K_M |
~7–9 ГБ |
16 ГБ |
Помощник по базе знаний, черновики текстов, разбор кода |
|
27–32B (Gemma 2, Qwen2.5) |
Q4_K_M |
~15–20 ГБ |
24–32 ГБ |
Сложные рассуждения, длинные документы, качественный RAG |
|
70B (Llama 3.3) |
Q4_K_M |
~35–43 ГБ |
48–64 ГБ |
Задачи, где качество ответа критичнее стоимости железа |
|
7–8B |
FP16 |
~16 ГБ |
24 ГБ |
Дообучение, эталонные замеры качества |
Ориентиры по картам: 24 ГБ (RTX 4090, A10, L4) закрывают модели до 14B с запасом и 32B впритык; 48 ГБ (L40S, RTX 6000 Ada, RTX Pro 6000) — рабочий вариант под 32B с длинным контекстом; 70B требует 80 ГБ или двух карт с распределением слоёв.
Базовая подготовка Ubuntu 24.04 перед установкой
Ставим чистую Ubuntu Server 24.04 LTS и заранее решаем вопрос с дисками: три-четыре модели среднего размера — это 60–80 ГБ, и каталог моделей разумно вынести в /var/lib/ollama на быстром NVMe.
- Обновить систему:
sudo apt update && sudo apt full-upgrade -y, затем перезагрузиться — драйвер будет собираться под актуальное ядро. - Настроить доступ по ключам и отключить парольную аутентификацию SSH.
- Включить firewall:
sudo ufw allow 22,80,443/tcp && sudo ufw enable. - В
unattended-upgradesисключить пакеты ядра и драйверов NVIDIA — обновление ядра без пересборки модуля оставит вас без GPU до следующей перезагрузки.
Установка драйверов NVIDIA и NVIDIA Container Toolkit
Драйвер — самая частая точка отказа. В Ubuntu 24.04 есть две ветки пакетов: обычная (например, nvidia-driver-575) и серверная с суффиксом -server, не тянущая за собой графический стек. Для GPU-сервера берите серверную ветку.
Установка драйвера и проверка nvidia-smi
sudo apt install -y ubuntu-drivers-common
sudo ubuntu-drivers devices
sudo ubuntu-drivers install --gpgpu
sudo reboot
Конкретную версию можно задать явно: sudo ubuntu-drivers install --gpgpu nvidia:575-server. После перезагрузки проверяем nvidia-smi. Если команда не найдена при установленном драйвере серверной ветки — доставьте nvidia-utils-<версия>-server. Версия CUDA в шапке nvidia-smi — это максимальная поддерживаемая драйвером, а не установленная в системе; отдельный CUDA Toolkit для Ollama не нужен.
Три проблемы, на которые уходит больше всего времени:
- Конфликт с nouveau. Проверьте
lsmod | grep nouveau. Если модуль остался — создайте/etc/modprobe.d/blacklist-nouveau.confс директивамиblacklist nouveauиoptions nouveau modeset=0, затемsudo update-initramfs -uи перезагрузка. - Secure Boot. Неподписанный модуль ядра не загрузится, и
nvidia-smiвыдаст ошибку связи с драйвером. Либо зарегистрируйте ключ (sudo mokutil --import /var/lib/shim-signed/mok/MOK.der), либо отключите Secure Boot в UEFI. - Расхождение версий после обновления ядра. Убедитесь, что установлен
dkmsи заголовки текущего ядра; статус смотрите черезdkms status.
Настройка NVIDIA Container Toolkit для Docker
Контейнер сам по себе видеокарту не видит — доступ к устройству пробрасывает NVIDIA Container Toolkit. Ставим Docker из официального репозитория, затем toolkit:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
Проверка занимает одну команду:
sudo docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi
Ошибка вида could not select device driver "" with capabilities: [[gpu]] означает, что runtime не прописался в /etc/docker/daemon.json.
Установка Ollama и запуск первой модели
Ollama берёт на себя загрузку моделей, распределение слоёв между GPU и CPU, выгрузку по таймауту и HTTP-интерфейс. Это обёртка над llama.cpp с внятным управлением жизненным циклом моделей.
Нативная установка против запуска в контейнере
Нативный вариант ставится одной командой и сразу регистрирует systemd-юнит:
curl -fsSL https://ollama.com/install.sh | sh
Контейнерный запускается образом ollama/ollama с флагом --gpus all и томом под модели.
|
Критерий |
Нативная установка |
Запуск в контейнере |
|---|---|---|
|
Доступ к GPU |
Напрямую через драйвер хоста |
Через NVIDIA Container Toolkit |
|
Обновление |
Повторный запуск install.sh |
|
|
Изоляция от системы |
Сервис работает от пользователя ollama |
Полная изоляция файловой системы |
|
Управление переменными |
Через override systemd-юнита |
Через блок environment в compose |
|
Откат на прежнюю версию |
Требует ручной установки нужного бинарника |
Смена тега образа |
Для выделенного GPU-сервера удобнее нативная установка: на один слой абстракции меньше при диагностике проблем с видеокартой. Если сервер общий — берите контейнер.
Загрузка модели, systemd-юнит и проверка нагрузки на GPU
Настройки задаются переменными окружения. Правим юнит через sudo systemctl edit ollama:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_FLASH_ATTENTION=1"
OLLAMA_HOST=0.0.0.0 нужен, чтобы к API мог обратиться контейнер Open WebUI — при привязке к 127.0.0.1 он получит отказ в соединении; открытость наружу закроем на уровне firewall. OLLAMA_KEEP_ALIVE задаёт, сколько модель держится в VRAM после последнего запроса: значение по умолчанию — 5 минут, и именно оно вызывает жалобы на то, что первый ответ после перерыва идёт 40 секунд. Применяем: sudo systemctl daemon-reload && sudo systemctl restart ollama.
ollama pull qwen2.5:14b-instruct-q4_K_M
ollama run qwen2.5:14b-instruct-q4_K_M --verbose
ollama ps
Колонка PROCESSOR в выводе ollama ps — главный индикатор. 100% GPU означает, что все слои легли в видеопамять. Если видите 62%/38% CPU/GPU, часть слоёв выгружена в оперативную память, и скорость упадёт в разы. Лечится уменьшением контекста, более сжатой квантизацией или моделью меньшего размера.
Развёртывание Open WebUI через Docker Compose
Ollama даёт только API. Open WebUI закрывает интерфейсную часть: чаты с историей, переключение моделей, загрузка документов, разграничение пользователей.
Файл docker-compose.yml и связка с Ollama
Создаём каталог /opt/openwebui и в нём docker-compose.yml:
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: unless-stopped
ports:
- "127.0.0.1:3000:8080"
environment:
- OLLAMA_BASE_URL=http://host.docker.internal:11434
- WEBUI_AUTH=true
- ENABLE_SIGNUP=true
- DEFAULT_USER_ROLE=pending
- WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY}
extra_hosts:
- "host.docker.internal:host-gateway"
volumes:
- open-webui:/app/backend/data
volumes:
open-webui:
Привязка 127.0.0.1:3000 вместо 3000:8080 критически важна: Docker вносит правила DNAT в iptables, минуя цепочки ufw, и правила ufw при этом не применяются — контейнер, опубликованный без указания адреса, окажется доступен из интернета вопреки закрытому firewall. Секция extra_hosts нужна, чтобы контейнер видел Ollama на хосте. Том open-webui хранит базу с историей чатов и загруженными документами — это то, что нужно резервировать. WEBUI_SECRET_KEY держим в .env рядом с compose, сгенерировав через openssl rand -hex 32. Запуск: docker compose up -d.
Первый вход, права пользователей и закрытие регистрации
Первый зарегистрировавшийся пользователь автоматически получает роль администратора — поэтому регистрацию открываем ровно на время создания своей учётной записи и закрываем сразу после.
- Открыть интерфейс, зарегистрировать администратора с рабочей почтой и стойким паролем.
- Поменять
ENABLE_SIGNUPнаfalseв compose-файле и применить:docker compose up -d. - Заводить сотрудников через админ-панель либо оставить
DEFAULT_USER_ROLE=pending— новые учётные записи будут ждать ручного подтверждения.
Распространённая ошибка — оставить открытую регистрацию на несколько дней, пока подключаются коллеги. При наличии публичного домена этого времени хватает, чтобы в панели появились посторонние учётные записи: сканеры находят типовые интерфейсы за часы.
Домен, Nginx и SSL-сертификат для внешнего доступа
Здесь уместно разделить роли. GPU-сервер с моделями держат в закрытом сегменте вовсе без публичного адреса, а точку входа — Nginx с сертификатом — выносят на отдельную небольшую машину, связанную с ним по внутренней сети или VPN. Для такой роли подойдёт аренда сервера с Ubuntu в Cloud4U: виртуальная машина разворачивается за несколько минут, в услугу входит защита от DDoS и резервное копирование, а круглосуточная поддержка снимает вопрос дежурства по ночам. Мощная видеокарта фронтенду не нужна — обратный прокси нагружают только сетевые операции, двух ядер и 4 ГБ памяти хватает с запасом.
Конфигурация обратного прокси и WebSocket
Ставим Nginx и описываем виртуальный хост в /etc/nginx/sites-available/ai.example.ru:
server {
listen 80;
server_name ai.example.ru;
return 301 https://$host$request_uri;
}
server {
listen 443 ssl;
server_name ai.example.ru;
client_max_body_size 128m;
location / {
proxy_pass http://127.0.0.1:3000;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_read_timeout 600s;
proxy_send_timeout 600s;
proxy_buffering off;
}
}
Заголовки Upgrade и Connection включают поддержку WebSocket, без которой чат подключается, но ответы не приходят потоком. proxy_buffering off отключает накопление ответа в буфере — иначе пользователь ждёт молча, а потом получает весь текст разом. Увеличенные таймауты нужны для длинных генераций: ответ на большой документ у 32B-модели легко занимает три-четыре минуты, а стандартные 60 секунд оборвут соединение. Нюанс версий: в Nginx из репозитория Ubuntu 24.04 HTTP/2 включается как listen 443 ssl http2;, а начиная с 1.25.1 этот синтаксис объявлен устаревшим и заменён отдельной директивой http2 on;.
Сертификат Let's Encrypt и ограничение доступа к портам
Сертификат выпускаем через certbot, предварительно направив A-запись домена на адрес сервера:
sudo apt install -y certbot python3-certbot-nginx
sudo certbot --nginx -d ai.example.ru
sudo certbot renew --dry-run
Автопродление работает через systemd-таймер certbot.timer — проверьте его состояние командой systemctl list-timers | grep certbot, потому что молчаливо не сработавший таймер обнаруживается обычно в день истечения сертификата.
Дальше закрываем всё лишнее:
- порты 3000 и 11434 не публикуем наружу — первый привязан к петлевому интерфейсу, второй закрываем правилом
sudo ufw deny 11434/tcpи разрешаем только с адреса фронтенда; - в ufw оставляем открытыми 22, 80 и 443, причём SSH разумно ограничить подсетью офиса;
- после настройки проверяем результат снаружи:
nmap -Pn ai.example.ruдолжен показать только разрешённые порты.
Проверка работы, производительность и эксплуатация
Тест через API и замер скорости генерации
Ollama возвращает в ответе счётчики, по которым скорость считается без сторонних инструментов:
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "qwen2.5:14b-instruct-q4_K_M",
"prompt": "Перечисли этапы подготовки Ubuntu-сервера под GPU-нагрузку",
"stream": false
}' | jq '{tokens: .eval_count, sec: (.eval_duration/1000000000), tps: (.eval_count/(.eval_duration/1000000000))}'
Поле eval_count — число сгенерированных токенов, eval_duration — время в наносекундах; их отношение и даёт токены в секунду. Абсолютные цифры сильно зависят от карты, квантизации и длины контекста, поэтому ориентироваться стоит на собственный замер: снимите токены в секунду на своей модели при полном размещении весов в VRAM и используйте это число как базовую точку. Общая закономерность простая — при переходе от 8B к 14B и дальше к 32B скорость падает примерно пропорционально росту объёма весов, а на карте с вдвое меньшей пропускной способностью памяти те же модели работают примерно во столько же раз медленнее.
Ollama отдаёт OpenAI-совместимый интерфейс по адресу /v1/chat/completions, что позволяет подключать её к существующим приложениям сменой базового URL. Во время нагрузочного теста держите открытым nvidia-smi -l 1 или nvtop: заполнение VRAM должно оставаться стабильным, а температура карты — не упираться в порог троттлинга.
Обновление, резервное копирование и типовые ошибки
Резервировать нужно том open-webui с базой чатов и векторным индексом документов, а также compose-файл с .env. Сами модели копировать не нужно — они загружаются заново командой ollama pull. Снимок тома:
docker run --rm -v open-webui:/data -v /opt/backup:/backup alpine \
tar czf /backup/webui-$(date +%F).tar.gz -C /data .
Обновление интерфейса — docker compose pull && docker compose up -d; данные переживают пересоздание контейнера. Ollama обновляется повторным запуском установочного скрипта. Не обновляйте оба компонента одновременно: при расхождении в API удобнее понимать, какой из них принёс регресс.
Ошибки, которые встречаются чаще остальных:
- Модель выгружается из памяти между запросами. Причина —
OLLAMA_KEEP_ALIVEсо значением по умолчанию. Для рабочего сервиса ставьте 30 минут или-1. - Скорость упала после обновления системы. Проверьте
ollama ps: обновление ядра без пересборки модуля драйвера роняет инференс на CPU. - Ответы обрываются на длинных генерациях. Смотрите таймауты Nginx и наличие
proxy_buffering off.
Главные выводы
Связка Ollama и Open WebUI собирается за несколько часов, и основная работа приходится не на установку, а на два соседних участка: корректно поставленные драйверы NVIDIA с Container Toolkit и аккуратно закрытый внешний периметр с Nginx, SSL и firewall. Определяющим решением остаётся выбор GPU-сервера — размер видеопамяти задаёт доступный класс моделей, а пропускная способность памяти карты напрямую переводится в токены в секунду. Разумная отправная точка для корпоративного помощника — модель на 14 миллиардов параметров в квантизации Q4_K_M на карте с 24 ГБ VRAM.
Дальше локальная LLM живёт как обычный внутренний сервис: с мониторингом загрузки видеокарты, резервным копированием тома с настройками, плановыми обновлениями контейнеров и понятной моделью доступа.