Описание значений переменных окружения .env
Параметры для настройки сервиса ADP
| Переменная | Значение по умолчанию | Описание |
|---|---|---|
ADP_VERSION |
v2.0 |
версия модуля ADP |
ADP_API_PORT |
9002 |
порт для API-запросов (<ADP_API_PORT>) |
MODEL_PATH |
/app/triva_llm_instruct |
путь к папке с нейросетевой моделью |
Параметры для настройки CUDA-устройств
| Переменная | Значение по умолчанию | Описание |
|---|---|---|
NCCL_P2P_DISABLE |
1 |
отключение p2p между CUDA-устройствами |
CUDA_DEVICE_ORDER |
<PCI_BUS_ID> |
порядок определения CUDA-устройств, используемых при обработке данных нейросетями |
CUDA_VISIBLE_DEVICES |
0 |
индексы CUDA-устройств, видимых в системе |
MAX_INPUT_TOKENS |
16000 |
максимальное количество токенов для одновременной обработки в одном запросе |
CHUNK_LENGTH |
14000 |
размер фрагментов текста при разделении длинных запросов. При уменьшении значения MAX_INPUT_TOKENS, параметр CHUNK_LENGTH должен уменьшаться соответственно по формуле: CHUNK_LENGTH = MAX_INPUT_TOKENS − 2000 |
PARALLEL_UNITS |
1 |
количество GPU, между которыми распределяется обработка модели |
MEM_USAGE_RATIO |
0,95 |
процент видеопамяти GPU, выделяемой для работы модели (по умолчанию занимается 95 % от общего объема VRAM — рекомендуется оставить запас 5 % для стабильности системы) |
Параметры для настройки RabbitMQ
| Переменная | Значение по умолчанию | Описание |
|---|---|---|
RABBITMQ_HOST |
rabbitmq_adp |
хост для подключения к RabbitMQ |
RABBITMQ_PORT |
5672 |
порт для подключения к RabbitMQ |
RABBIT_USERNAME |
guest |
имя пользователя для доступа в контейнер RabbitMQ |
RABBIT_PASSWORD |
guest |
пароль пользователя для доступа в контейнер RabbitMQ |
RABBITMQ_URL |
amqp://${RABBIT_USERNAME}: |
полный адрес для подключения к RabbitMQ |
NAME_QUEUE |
inference_queue |
название очередей задач для RabbitMQ |