Требования к Open WebUI

В предыдущем уроке вы определили задачи, круг пользователей и место обработки данных. Теперь нужно оценить технические ресурсы. Требования зависят от выбранной модели, функций и одновременной нагрузки. На каждом компьютере или сервере нужно учитывать ту работу, которую он выполняет.

Чтобы не смешивать разные процессы в одну общую цифру, мы разделим систему на работу самого веб-приложения, генерацию ответов моделью и дополнительные функции вроде разбора документов или голоса. Поняв, где именно выполняется каждая часть, вы сможете воспользоваться калькулятором в конце урока и получить стартовый ориентир перед установкой.

Как место выполнения определяет расчёт ресурсов

Оценка ресурсов всегда начинается со схемы размещения. Вспомните свой сценарий: где будет работать сам Open WebUI и откуда он будет получать ответы модели?

В обычной схеме браузер пользователя отображает интерфейс и передаёт действия на сервер Open WebUI. Само приложение хранит историю, управляет учётными записями и обращается к сервису модели по программному интерфейсу (API). Как мы уже отмечали, подключение по API не означает работу через облако: на другом конце соединения может находиться программа Ollama на том же самом компьютере, выделенный сервер в вашей локальной сети или внешний коммерческий провайдер.

От этого выбора напрямую зависит, чьи ресурсы расходуются:

• На одном компьютере. Open WebUI и локальная программа запуска моделей делят между собой один центральный процессор (CPU), оперативную память (RAM, в которой программы держат данные во время работы) и место на диске. Их потребности нужно складывать.
• На разных серверах в своей сети. Машина с Open WebUI отвечает за интерфейс и хранение данных, а основные вычисления модели ложатся на второй сервер. Оценивать эти два узла нужно отдельно.
• Через внешнего провайдера. Генерация текста выполняется на оборудовании поставщика, поэтому его модель не занимает оперативную память и диск вашего сервера с приложением.

Точно так же определяется место для дополнительных задач. Даже если чат-модель вызывается у внешнего провайдера, извлечение текста из загруженных документов или обработка голоса могут выполняться локально на машине с Open WebUI и нагружать именно её.

Что требуется самому приложению и дополнительным функциям

Посмотрим сначала на компьютер или сервер, где запущен сам Open WebUI. Ему нужны процессор и оперативная память для обслуживания веб-интерфейса, работы с базой данных и координации запросов.

Как поясняется в руководстве по производительности Open WebUI, потребление ресурсов зависит от выбранных функций и числа одновременно выполняемых операций. При этом общее количество созданных аккаунтов само по себе нагрузку не определяет: в команде из двадцати человек за ответом в один и тот же момент могут обратиться только двое. Помимо самого диалога, ресурсы расходуют фоновые задачи (например, автоматическое создание заголовков и тегов для бесед).

Существенную часть нагрузки на стороне приложения создают документы и голос:

• Работа с документами. Чтобы находить ответы в файлах по смыслу, система сначала извлекает из них текст, затем с помощью специальной модели создаёт эмбеддинги, числовые представления фрагментов текста, и сохраняет их для поиска. При желании к поиску добавляется переупорядочивание найденных фрагментов (reranking). Согласно документации по работе с документами и материалам о производительности, если разбор файлов и локальная модель эмбеддингов работают прямо внутри процесса Open WebUI, они заметно увеличивают расход оперативной памяти и нагрузку на процессор. Извлечение текста можно поручить отдельному обработчику, а создание эмбеддингов перенести в Ollama или другой сервис. При работе с документом можно также передавать извлечённый текст в контекст целиком вместо поиска отдельных фрагментов.
• Голосовой ввод и озвучивание. Если в сценарии нужен голос, а распознавание речи или синтез ответа выполняются локально внутри приложения, это тоже потребует дополнительной памяти и вычислительных ресурсов.

Для работы самого интерфейса Open WebUI и общения с моделями по API отдельная видеокарта (GPU, графический процессор) не обязательна. В руководстве по быстрому старту описан вариант образа Open WebUI с поддержкой CUDA: он помогает ускорить на видеокарте NVIDIA внутренние локальные модели самого приложения (например, для эмбеддингов или распознавания речи Whisper), но никак не ускоряет отдельную программу Ollama.

Как оценивать ресурсы для языковой модели

Теперь учтём ресурсы для генерации текста. Если в вашем сценарии ответы создаёт внешний провайдер, вычислительную нагрузку его серверов считать не нужно. Такое подключение разобрано в инструкции по подключению провайдеров. Для своего сценария нужно учитывать доступность сервиса, ключи доступа, ограничения одновременных запросов, квоты и бюджет.

Если же модель запускается на вашем оборудовании (на том же компьютере или на отдельном сервере), основное внимание уходит на память и способ вычислений. Ошибочно оценивать требования модели только по размеру её файла при скачивании. Во время работы память расходуется на несколько составляющих:

1. Веса самой модели. Объём зависит от числа параметров модели и выбранного варианта сжатия (квантования).
2. Память под контекст. Контекстом называют объём текста, который модель удерживает во внимании при ответе: системную инструкцию, историю текущего диалога, ваш вопрос и подставленные фрагменты документов.
3. Параллельные запросы и рабочие буферы. Как объясняется в вопросах и ответах по Ollama, при одновременной обработке нескольких запросов растёт расход памяти под контекст каждого активного слота. Чтобы выполнять параллельные запросы на видеокарте, в памяти должны поместиться и сама модель, и контекст для этих запросов.

Где именно размещаются эти данные, зависит от вашего оборудования. В документации Ollama по GPU и FAQ указано, что модель может работать полностью на центральном процессоре (используя обычную RAM), полностью в видеопамяти дискретной видеокарты (VRAM, собственная память GPU) или распределяться между ними. На компьютерах с процессорами Apple Silicon при обычной установке Ollama используется единая общая память системы; при этом запуск Ollama внутри Docker Desktop на macOS не позволяет задействовать аппаратное ускорение GPU.

Возможность ускорения зависит от конкретной видеокарты, операционной системы, драйверов и программы запуска. Модель можно запускать и на процессоре. Проверка на своих задачах покажет, устраивает ли вас скорость ответа.

Сколько места нужно на диске и какие соединения проверить

Помимо оперативной памяти, системе нужно постоянное место на накопителе и работающие сетевые маршруты между компонентами.

Расход диска складывается из нескольких частей, которые не обязательно находятся на одной машине:

• Среда приложения. Сюда входят сам образ или пакет Open WebUI и его программные зависимости. В быстром старте упоминается облегчённый вариант установки (:slim), из которого убраны встроенные библиотеки машинного обучения. Он занимает меньше места при загрузке и подходит для обычного чата по API, но если вам понадобятся документы или голос, для них потребуются подходящие отдельные сервисы. Их ресурсы и хранение данных нужно учитывать там, где они работают.
• Рабочие данные Open WebUI. Согласно руководству по резервному копированию, приложению нужно постоянное хранилище под базу данных, загруженные пользователями файлы, построенные поисковые индексы и кэш. Одного только файла базы данных для сохранения всей системы недостаточно.
• Файлы моделей. Как поясняется в FAQ Ollama, скачанные модели хранятся в собственном каталоге сервиса запуска моделей на том компьютере, где он установлен.
• Резервные копии и запас на рост. Архивы резервных копий требуют места на том диске или сетевом хранилище, куда вы решите их сохранять, а текущим папкам приложения нужен свободный запас под будущие диалоги и документы.

Не менее важно разделить сетевые соединения. Как показано в руководстве по подключению провайдеров, тот факт, что в вашем браузере открылся интерфейс Open WebUI, подтверждает лишь связь между вашим устройством и веб-приложением. В обычной схеме для получения ответа сервер Open WebUI должен иметь доступ к адресу модели. Если документы или голос обрабатываются отдельными сервисами, понадобятся соединения и с ними.

Кроме того, различаются потребности сети во время первичной подготовки и в повседневной работе. Доступ к приложению по локальной сети офиса не означает ни наличия интернета на сервере, ни готовности работать полностью без него. Как предупреждает руководство сообщества по автономному режиму (это материал сообщества, он не поддерживается официально командой Open WebUI), для работы без интернета нужно заранее скачать образы, локальные модели, библиотеки и кэши для каждой выбранной функции. Настройки автономного режима лишь отключают отдельные автоматические загрузки и проверки, но сами по себе не блокируют сетевой трафик, поэтому работоспособность чата, документов и даже способа входа в систему нужно проверять в целевых условиях.

Как рассчитать ориентир для своего сценария

Чтобы вам не приходилось складывать эти параметры вручную, используйте калькулятор ниже. Выберите в нём условия из вашего сценария: где размещена модель (у провайдера, на том же компьютере или на отдельном сервере), нужны ли обработка документов и голосовые функции, сколько ответов система должна генерировать одновременно и какой длины контекст вы планируете использовать.

Для собственной модели можно выбрать один из двух конкретных вариантов в Ollama (llama3.2:3b или llama3.1:8b в квантовании Q4_K_M) и способ запуска: процессор, дискретную видеокарту или Apple Silicon с общей памятью. Если нужны документы, дополнительно указываются их объём и необходимость одной локальной копии документов с индексом. Калькулятор покажет ориентир по ядрам процессора и объёмам RAM, VRAM и диска. Память и диск указаны в гибибайтах (ГиБ). Под результатом можно раскрыть объяснение каждой цифры и принятых допущений.

Полученные числа помогают выбрать конфигурацию для первого запуска. У расчёта есть несколько ограничений:

• Расходы памяти на операционную систему, само приложение Open WebUI, обработку документов, голос и запас места на диске заданы как разумные редакторские допущения для первого запуска, а не как официальные минимальные требования разработчиков.
• В расчёте для видеокарты предполагается, что веса выбранной модели и весь контекст целиком помещаются в VRAM; частичное разделение нагрузки между оперативной памятью и видеокартой калькулятор не оценивает.
• Опция резервной копии на диске учитывает только одну локальную копию документов и поискового индекса и не заменяет полноценное резервное копирование всей системы.
• Для другой собственной модели полный расчёт отсутствует. Её расход памяти и диска нужно оценивать отдельно. Длинные истории, распознавание текста в сканах (OCR), обработка видео и большие объёмы данных тоже требуют отдельной оценки.

После установки оценку нужно проверить на своих задачах: запустить ожидаемое число одновременных запросов, загрузить типичные документы и проверить соединения с выбранными сервисами. Тогда станет понятно, хватает ли ресурсов и устраивает ли вас скорость ответа.

Сопоставим оценку ресурсов с картой движения данных из урока об архитектуре: место обработки должно подходить и по мощности, и по правилам передачи рабочих материалов. Теперь, когда у вас есть описание сценария и оценка нужных ресурсов, перейдём к уроку «Выбираем схему установки», чтобы подобрать подходящий способ развёртывания Open WebUI.