Системные требования
Требования к параметрам сервера
Модуль ADP может устанавливаться как на отдельный сервер, так и на общий сервер вместе с остальными модулями IVA Terra.
Перед подготовкой и установкой модуля ADP необходимо проверить серверное оборудование на соответствие следующим минимальным требованиям:
Процессор (CPU) |
для развертывания модуля ADP на отдельном сервере: для развертывания IVA Terra c модулем ADP на общем сервере: |
Графический процессор (GPU) |
для развертывания модуля ADP на отдельном сервере: для развертывания IVA Terra c модулем ADP на общем сервере: |
Оперативная память (RAM) |
не менее 64 ГБ |
Жесткий диск (SSD) |
не менее 1 ТБ |
ОС |
Ubuntu версии 22.04 и старше (с поддержкой систем контейнеризации) |
Сетевой интерфейс |
1000 Мбит/с и более |
Для стабильной работы модуля ADP следует учитывать следующие требования и рекомендации:
-
GPU
-
Рекомендуется использовать четное количество видеокарт, если их больше одной (2, 4, 6, 8 и т. д.)
-
GPU: рекомендуется 2 шт. L40S / L40 (48 ГБ) для высоких нагрузок (от 10 мероприятий в минуту)
-
vRAM: не менее 80 ГБ (96 ГБ для высоких нагрузок)
-
vGPU: рекомендуется добавить 10 % к требуемой памяти (например, 90 ГБ физической vRAM для 80 ГБ доступной)
При использовании виртуализации GPU (vGPU) необходимо учитывать, что гипервизор резервирует 5−10 % видеопамяти каждой карты. Рекомендуется учитывать в расчетах запас памяти при планировании конфигурации -
Архитектура: CUDA Compute Capability не ниже версии 8.0 (Ampere и новее) и поддержка FP16 / BF16 для эффективного инференса
-
Межкарточное соединение: NVLink для более 2 GPU (обязательно для Tesla A100 / H100) для эффективного взаимодействия между видеокартами и лучшей пропускной способности
-
-
CPU
-
Рекомендуется использовать не менее 8 ядер на каждую GPU
-
Рекомендуется использовать 32 ядра — для базовых задач, 64 ядра — для обработки множества параллельных запросов
-
-
RAM и SSD
-
Рекомендуется использовать соотношение 2:1 к vRAM (например, 160 ГБ RAM для 80 ГБ vRAM)
-
Рекомендуемый объем RAM: не менее 256 ГБ
-
SSD: не менее 256 ГБ SSD NVMe
-
| Исполнение моделей нейронных сетей выполняется на графических процессорах (GPU) с альтернативной возможностью выполнения на центральном процессоре сервера (CPU) |