Обработчик переводов

Раздел Обработчик переводов содержит параметры конфигурации модуля машинного перевода, включая настройки путей к языковым моделям, управления токенизацией текста и параметрами обработки переводов для многоязычной поддержки мероприятий.

Конфигурация включает:

пути хранения моделей перевода
параметры обработки текстовых данных и управления длиной запросов
настройки проверки входных языков и предотвращения некорректной работы нейросети
настройки длительности тайм-аута клиентского соединения

Параметры для настройки обработчика переводов

Параметр	Значение по умолчанию	Назначение
Уровень отладочных сообщений	INFO	минимальный уровень отладочных сообщений (возможные значения: CRITICAL, ERROR, WARNING, INFO, DEBUG)
Уникальное имя обработчика	FIRST	уникальное имя обработчика переводов
Путь к файлу сообщений	/var/log/terra/ {WORKER_TYPE}.{LOG_WORKER_NAME}. application.log	путь к файлу в контейнере для хранения логов обработчика переводов
Максимальный размер одного файла сообщений (байты)	10 000 000	максимальный размер одного лог-файла, в байтах
Максимальное количество файлов сообщений	10	максимальное количество хранимых лог-файлов одного контейнера
Длительность клиентского таймаута	4,5	время ожидания ответа для клиентских соединений (секунды)
Коды языков поддерживаемых для перевода	['ru', 'en', 'de', 'es', 'fr', 'pt', 'ch', 'zh', 'ar', 'fa', 'id', 'in', 'af', 'xh', 'ur', 'th', 'te', 'gu', 'hi', 'ne', 'bn', 'ml', 'mr', 'ta', 'vi', 'km']	список кодов языков, поддерживаемых для перевода (соответствие кодов полным названиям языков см. в разделе Многоязычная поддержка транскрибации)
Место хранения моделей для перевода	/code/	путь к директории, в которой хранятся модели машинного перевода для всех поддерживаемых языков
Режимы перевода	['alone-brt', 'brt-hls', 'double-brt']	список доступных режимов работы обработчика переводов
Выбранный режим перевода	alone-brt	текущий активный режим работы обработчика переводов

Параметр

Значение по умолчанию

Назначение

Уровень отладочных сообщений

INFO

минимальный уровень отладочных сообщений (возможные значения: CRITICAL, ERROR, WARNING, INFO, DEBUG)

Уникальное имя обработчика

FIRST

уникальное имя обработчика переводов

Путь к файлу сообщений

/var/log/terra/
{WORKER_TYPE}.{LOG_WORKER_NAME}.
application.log

путь к файлу в контейнере для хранения логов обработчика переводов

Максимальный размер одного файла сообщений (байты)

10 000 000

максимальный размер одного лог-файла, в байтах

Максимальное количество файлов сообщений

максимальное количество хранимых лог-файлов одного контейнера

Длительность клиентского таймаута

4,5

время ожидания ответа для клиентских соединений (секунды)

Коды языков поддерживаемых для перевода

['ru', 'en', 'de', 'es', 'fr', 'pt', 'ch', 'zh', 'ar', 'fa', 'id', 'in', 'af', 'xh', 'ur', 'th', 'te', 'gu', 'hi', 'ne', 'bn', 'ml', 'mr', 'ta', 'vi', 'km']

список кодов языков, поддерживаемых для перевода (соответствие кодов полным названиям языков см. в разделе Многоязычная поддержка транскрибации)

Место хранения моделей для перевода

/code/

путь к директории, в которой хранятся модели машинного перевода для всех поддерживаемых языков

Режимы перевода

['alone-brt', 'brt-hls', 'double-brt']

список доступных режимов работы обработчика переводов

Выбранный режим перевода

alone-brt

текущий активный режим работы обработчика переводов

Режимы перевода

В обработчике переводов доступны следующие режимы работы:

alone-brt — режим использования одного экземпляра многоязычной модели перевода

Характеристики режима alone-brt:
- потребление VRAM: до 5 ГБ
- скорость обработки: 4 – 20 текстовых предложений в секунду в направлении XX → YY (XX — один из доступных языков модели, YY — второй из доступных языков модели)
- длина предложения: до 100 слов
  
  Режим alone-brt рекомендуется при работе в условиях ограниченных ресурсов VRAM

brt-hls — гибридный режим, сочетающий три нейросетевые модели перевода с разделением по языковым парам

Характеристики режима brt-hls:

потребление VRAM: до 7 ГБ
скорость обработки:
- 4 – 30 текстовых предложений в секунду в направлении XX → YY (XX — один из доступных языков модели, YY — второй из доступных языков модели, кроме пар RU ↔ EN)
- 4 – 40 текстовых предложений в секунду в направлениях RU ↔ EN
особенность: режим brt-hls поддерживает три модели для перевода:
- RU → EN — модель для перевода фраз в направлении исключительно с русского языка на английский
- EN → RU — модель для перевода фраз в направлении исключительно с английского языка на русский
- XX → YY — модель для перевода фраз всех остальных языковых пар, кроме пар RU ↔ EN (XX — один из доступных языков модели, YY — второй из доступных языков модели)

длина предложения: до 80 слов

Режим brt-hls рекомендуется для систем с умеренным объемом VRAM и ориентирован на обработку перевода между русским и английским языками

double-brt — режим использования двух экземпляров многоязычной модели перевода

Характеристики режима double-brt:

потребление VRAM: до 10 ГБ
скорость обработки: 4 – 30 текстовых предложений в секунду в направлении XX → YY (XX — один из доступных языков модели, YY — второй из доступных языков модели)
особенность: один экземпляр используется только для направлений RU ↔ EN

длина предложения: до 100 слов

Режим double-brt рекомендуется для систем с избыточными ресурсами VRAM и ориентирован на обработку многоязычного перевода

XX и YY обозначают языковые пары, поддерживаемые многоязычной моделью (например, EN → DE, FR → ES, CH → IN и т. д.).

Подробнее — см. раздел Многоязычная поддержка транскрибации