Системные требования
Требования к параметрам сервера
Модуль ADP может устанавливаться как на отдельный сервер, так и на общий сервер вместе с остальными модулями IVA Terra.
Перед подготовкой и установкой модуля ADP необходимо проверить серверное оборудование на соответствие следующим минимальным требованиям:
Процессор (CPU) |
для развертывания модуля ADP на отдельном сервере: для развертывания IVA Terra с модулем ADP на общем сервере: |
Графический процессор (GPU) |
для развертывания модуля ADP на отдельном сервере: для развертывания IVA Terra с модулем ADP на общем сервере необходимы два GPU:
|
Оперативная память (RAM) |
не менее 64 ГБ |
Жесткий диск (SSD) |
не менее 1 ТБ |
ОС |
|
Сетевой интерфейс |
1000 Мбит/с и более |
Для стабильной работы модуля ADP следует учитывать следующие требования и рекомендации:
-
GPU
-
Поддерживается одна видеокарта либо 2, 4 или 8 видеокарт для распределения модели между ними
-
GPU: рекомендуется 2 шт. L40S / L40 (48 ГБ) для высоких нагрузок (от 10 мероприятий в минуту)
-
VRAM: не менее 80 ГБ (96 ГБ для высоких нагрузок)
-
vGPU: рекомендуется добавить 10 % к требуемой памяти (например 90 ГБ физической VRAM для 80 ГБ доступной)
При использовании виртуализации GPU (vGPU) необходимо учитывать, что гипервизор резервирует 5−10 % видеопамяти каждой карты. Рекомендуется учитывать в расчетах запас памяти при планировании конфигурации -
Архитектура: CUDA Compute Capability не ниже версии 8.0 (Ampere и новее) и поддержка FP16 / BF16 для эффективного инференса
-
Межкарточное соединение: NVLink для более 2 GPU (обязательно для Tesla A100 / H100) для эффективного взаимодействия между видеокартами и лучшей пропускной способности
При работе модели на двух и более виртуальных картах возможны проблемы с межкарточным соединением. Прямой обмен данными между vGPU (NVLink, peer-to-peer) доступен не на всех гипервизорах и не для всех профилей vGPU. Если соединение между картами не устанавливается, модель не запустится либо будет работать заметно медленнее. Необходимо проверить межкарточное соединение перед развертыванием ADP.
Для конфигурации из двух видеокарт рекомендуется пробрасывать в виртуальную машину физические видеокарты целиком (GPU passthrough). В качестве альтернативы можно использовать одну видеокарту с объемом памяти 80 ГБ. При использовании vGPU необходимо уточнить у администратора виртуализации, поддерживаются ли для выбранного гипервизора и профиля несколько vGPU в одной виртуальной машине и обмен данными между ними, а также проверить запуск ADP на тестовом стенде до ввода в эксплуатацию
-
-
CPU
-
Рекомендуется использовать не менее 8 ядер на каждый GPU
-
Рекомендуется использовать 32 ядра — для базовых задач, 64 ядра — для обработки множества параллельных запросов
-
-
RAM и SSD
-
Рекомендуется использовать соотношение 1:1 к VRAM (например 80 ГБ RAM для 80 ГБ VRAM)
-
Рекомендуемый объем RAM: не менее 64 ГБ
-
SSD: не менее 256 ГБ SSD NVMe
-
| Исполнение моделей нейронных сетей выполняется на графических процессорах (GPU) с альтернативной возможностью выполнения на центральном процессоре сервера (CPU) |