Описание значений переменных окружения .env
Параметры для настройки сервиса ADP
| Переменная | Значение по умолчанию | Описание |
|---|---|---|
ADP_VERSION |
5.0 |
версия модуля ADP |
ADP_API_PORT |
9003 |
порт для API-запросов (<ADP_API_PORT>) |
MODEL_PATH |
/app/triva_llm_instruct |
путь к папке с нейросетевой моделью |
API_KEYS |
— |
ключи доступа к API (несколько ключей указываются через запятую без пробелов, например: "ivcs123,xq223_3235qq") |
Параметры для настройки CUDA-устройств
| Переменная | Значение по умолчанию | Описание |
|---|---|---|
NCCL_P2P_DISABLE |
1 |
отключение прямой передачи данных (peer-to-peer) между GPU. Рекомендуется оставить значение 1 для отключения p2p при подключении видеокарт через шину PCIe (без поддержки NVLink) |
CUDA_DEVICE_ORDER |
<PCI_BUS_ID> |
порядок определения CUDA-устройств, используемых при обработке данных нейросетями |
CUDA_VISIBLE_DEVICES |
0 |
индексы CUDA-устройств, видимых в системе |
MAX_INPUT_TOKENS |
32000 |
максимальное количество токенов для одновременной обработки в одном запросе. Значение установлено по умолчанию, изменение не рекомендуется |
CHUNK_LENGTH |
14000 |
размер фрагментов текста при разделении длинных запросов. При уменьшении значения MAX_INPUT_TOKENS, параметр CHUNK_LENGTH должен уменьшаться соответственно по формуле: CHUNK_LENGTH = MAX_INPUT_TOKENS − 2000. В противном случае значение оставляется без изменений. Корректировка параметра CHUNK_LENGTH требуется только при изменении параметра MAX_INPUT_TOKENS |
PARALLEL_UNITS |
1 |
количество GPU, между которыми распределяется обработка модели |
MEM_USAGE_RATIO |
0,9 |
процент видеопамяти GPU, выделяемой для работы модели: по умолчанию занимается 90 % от общего объема VRAM, в связи с чем рекомендуется оставлять запас в 10 % для стабильности системы. Допустимо уменьшение значения, однако установка выше 0,9 не рекомендуется во избежание ошибок типа Out of Memory (OOM). Не рекомендуется менять значение параметра без необходимости |
Параметры для настройки RabbitMQ
| Переменная | Значение по умолчанию | Описание |
|---|---|---|
RABBITMQ_HOST |
rabbitmq_adp |
хост для подключения к RabbitMQ |
RABBITMQ_PORT |
5672 |
порт для подключения к RabbitMQ |
RABBIT_USERNAME |
guest |
имя пользователя для доступа в контейнер RabbitMQ |
RABBIT_PASSWORD |
guest |
пароль пользователя для доступа в контейнер RabbitMQ |
RABBITMQ_URL |
amqp://${RABBIT_USERNAME}: |
полный адрес для подключения к RabbitMQ |
NAME_QUEUE |
inference_queue |
название очередей задач для RabbitMQ |