Методика миграции корпоративной почтовой системы

Исполняемый файл syncIMAPMail копируется на воркер и устанавливается:

scp syncIMAPMail migrator@worker01.example.com:/tmp/syncIMAPMail
ssh migrator@worker01.example.com
sudo install -m 755 /tmp/syncIMAPMail /usr/local/bin/syncIMAPMail

Настраивается правило NOPASSWD sudo (иначе preflight завершается ошибкой на запросе пароля sudo):

sudo visudo -f /etc/sudoers.d/syncimapmail-gui
# содержимое файла:
migrator ALL=(root) NOPASSWD: /usr/local/bin/syncIMAPMail, /usr/bin/test, /usr/bin/stunnel

Устанавливается stunnel из репозитория дистрибутива.

В GUI путь к утилите указывается в Connections → Migration utility runners → Edit → Remote CLI: /usr/local/bin/syncIMAPMail. Для каждого воркера заводится отдельный SSH-раннер (host, SSH key, Use sudo). Раннеры включаются, локальный раннер при этом отключается автоматически — режимы взаимоисключающие.

В GUI отмечается Run migration on Linux worker, вводятся SSH host воркера, порт 22, имя пользователя migrator и путь к закрытому SSH-ключу.

При первом запуске отмечается Copy Linux worker to remote — исполняемый файл ivatool_ews2imail_jump загружается на воркер автоматически.

Нажимается Test remote, подключение подтверждается до запуска миграции. GUI транслирует журналы воркера в интерфейс, Stop завершает воркер по PID.

Открывается панель администратора IVA Mail, выполняется переход в установки аккаунта migrator.

Выбирается вкладка Права администрирования.

Отмечаются права: «Администратор домена», «Можно читать все настройки домена», «Можно изменять все настройки домена». Данные права обеспечивают чтение списка объектов (ObjectsList), назначение прав доступа (MailboxUpdateACL, CalendarUpdateACL, AccountACL), управление составом групп (GroupAddAccount) и импорт данных от лица пользователей через CMD и JUMP.

syncIMAPMail. В GUI выполняется Connections → Test selected для каждого SSH-раннера, затем общий Run preflight на Dashboard. Проверка выполняет sudo -n true и sudo -n test -x /usr/local/bin/syncIMAPMail, затем реальный запуск remote stunnel: на воркере создаётся временная конфигурация, выполняется подключение к 127.0.0.1:<remote port> и ожидается IMAP greeting через TLS-туннель. Успешная проверка выводит syncimap-stunnel-ok и syncimap-runner-ok, диагностический журнал stunnel сам по себе ошибкой не считается.

ivatool_ews2imail. В GUI нажимается Preflight checks; проверки выполняются на Linux-воркере. По первому аккаунту списка проверяются: CMD — подключение, аутентификация и наличие целевого аккаунта, JUMP --вход по HTTPS; EWS — доступность Exchange, аутентификация и совместимая версия сервера. Результат отображается по каждой проверке.

При любом отрицательном результате соответствующий доступ или учётная запись приводятся в требуемое состояние, проверка повторяется. Продуктивная миграция начинается только после успешного прохождения всех проверок.

На сервере управления Exchange открывается Exchange Management Shell.

Выполняется выгрузка пользовательских почтовых ящиков:

Get-Mailbox -ResultSize Unlimited -RecipientTypeDetails UserMailbox |
  Select-Object PrimarySmtpAddress,
    @{n='Aliases';e={($_.EmailAddresses |
      Where-Object {$_.PrefixString -ceq 'smtp'} |
      ForEach-Object {$_.SmtpAddress}) -join ';'}},
    DisplayName, LastName, FirstName, Title, Department, Phone,
    SamAccountName,
    @{n='Domain';e={$_.UserPrincipalName.Split('@')[1]}} |
  Export-Csv .\users.csv -NoTypeInformation -Encoding UTF8

Файл users.csv передаётся в подготовку входных файлов (раздел Верификация и подготовка входных файлов). Состав выгрузки: основной адрес, дополнительные адреса, отображаемое имя, фамилия, имя, отчество (при наличии), должность, подразделение, телефон, имя и домен аутентификации.

Выгружаются общие, ресурсные ящики, статические группы, контакты и почтовые пользователи:

Get-Mailbox -ResultSize Unlimited -RecipientTypeDetails `
  SharedMailbox,RoomMailbox,EquipmentMailbox |
  Select PrimarySmtpAddress,DisplayName,RecipientTypeDetails |
  Export-Csv .\objects.csv -NoTypeInformation -Encoding UTF8

Get-DistributionGroup -ResultSize Unlimited |
  Select PrimarySmtpAddress,DisplayName,RecipientTypeDetails |
  Export-Csv .\groups.csv -NoTypeInformation -Encoding UTF8

Get-DistributionGroup -ResultSize Unlimited | ForEach-Object {
  $g=$_; Get-DistributionGroupMember $g -ResultSize Unlimited |
  Select @{n='Group';e={$g.PrimarySmtpAddress}},PrimarySmtpAddress } |
  Export-Csv .\group_members.csv -NoTypeInformation -Encoding UTF8

Get-Recipient -ResultSize Unlimited -RecipientTypeDetails `
  MailUser,MailContact |
  Select PrimarySmtpAddress,ExternalEmailAddress,DisplayName |
  Export-Csv .\contacts.csv -NoTypeInformation -Encoding UTF8

Выгружаются динамические группы рассылки с условиями членства:

Get-DynamicDistributionGroup -ResultSize Unlimited |
  Select PrimarySmtpAddress,DisplayName,RecipientFilter,
    RecipientContainer |
  Export-Csv .\dynamic_groups.csv -NoTypeInformation -Encoding UTF8

Перенос условий динамических групп. В IVA Mail динамический состав группы задаётся настройкой DynamicMembersUri: при получении списка участников к статическим членам добавляется результат запроса к справочнику. Для каждой динамической группы условие RecipientFilter преобразуется в фильтр справочника, и после заведения группы через IVA ID её настройка задаётся командой CMD:

ObjectSetSetting "domain.ru" "dg-sales" "DynamicMembersUri"
  "directory://?base_dn=$domaindn&scope=sub&mail_field=mail
   &filter=(department=Sales)"
ObjectSetSetting "domain.ru" "dg-sales" "DynamicMembersCacheTime" "/D 1h"

Группы, собираемые по RecipientContainer. Если сбор членов выполняется по RecipientContainer без дополнительной фильтрации по типу объекта, в состав попадают также контакты. Для таких групп при переносе условия в фильтр справочника добавляется ограничение по типу объекта «аккаунт»; контакты, требующие получения рассылки, включаются в группу статически по адресу (GroupAddAccount с параметром true).

Права Full Access:

Get-Mailbox -ResultSize Unlimited | Get-MailboxPermission |
  Where-Object { $_.IsInherited -eq $false -and
    $_.User -notlike 'NT AUTHORITY\*' -and
    $_.AccessRights -contains 'FullAccess' } |
  Select Identity,User,AccessRights |
  Export-Csv .\acl_fullaccess.csv -NoTypeInformation -Encoding UTF8

Права Send As и Send on Behalf:

Get-Mailbox -ResultSize Unlimited | Get-RecipientPermission |
  Where-Object { $_.Trustee -notlike 'NT AUTHORITY\*' } |
  Select Identity,Trustee,AccessRights |
  Export-Csv .\acl_sendas.csv -NoTypeInformation -Encoding UTF8

Get-Mailbox -ResultSize Unlimited |
  Where-Object { $_.GrantSendOnBehalfTo } |
  Select PrimarySmtpAddress,
    @{n='OnBehalf';e={$_.GrantSendOnBehalfTo -join ';'}} |
  Export-Csv .\acl_onbehalf.csv -NoTypeInformation -Encoding UTF8

Права на папки и календари (цикл по всем мигрируемым ящикам):

Import-Csv .\users.csv | ForEach-Object {
  $mbx = $_.PrimarySmtpAddress
  foreach ($folder in @(':\Inbox', ':\Calendar')) {
    Get-MailboxFolderPermission -Identity ($mbx + $folder) `
      -ErrorAction SilentlyContinue |
    Where-Object { $_.User.DisplayName -notin 'Default','Anonymous' } |
    Select @{n='Mailbox';e={$mbx}},@{n='Folder';e={$folder}},
      User,AccessRights } } |
  Export-Csv .\acl_folders.csv -NoTypeInformation -Encoding UTF8

Из четырёх файлов формируется единая ведомость прав acl_registry.csv (UTF-8, разделитель «запятая») с колонками: Владелец (объект доступа), Субъект, Тип права (FullAccess / SendAs / SendOnBehalf / Folder / Calendar), Папка, Уровень Exchange.

Каждая строка ведомости acl_registry.csv рассматривается как связь «Владелец — Субъект».

Пользователи, соединённые связями (напрямую или через цепочку связей, включая общие и ресурсные ящики), объединяются в одну группу связности. Группа связности целиком включается в одну партию миграции: связки «руководитель — ассистент», пользователи одного общего ящика, пользователи с взаимным доступом к папкам и календарям не разделяются между партиями.

Общий почтовый ящик включается в ту же партию, что и все пользователи, имеющие права на него по ведомости. Ресурсный ящик включается в партию совместно со всеми пользователями, имеющими к нему доступ.

Группы связности, не связанные между собой, распределяются по партиям с учётом объёма ящиков, организационной структуры и допустимого окна работ (раздел Формирование очередности).

По выгрузкам разделов Сведения о пользователях–Сбор сведений о правах доступа и делегировании, деление на партии заполняются входные файлы утилит: CSV для syncIMAPMail и CSV для ivatool_ews2imail (форматы и примеры — раздел Обработка ошибок, реестр исключений и входные файлы), а также ведомость прав acl_registry.csv.

Перечни проверяются на полноту, отсутствие дублирующихся адресов, корректность атрибутов и соответствие правилам именования IVA Mail.

Проверка средствами утилит. В GUI ivatool_ews2imail выполняется Load / preview list: список разбирается и отображается в таблице Users Progress со статусом Pending, пустые и дублирующиеся записи подсвечиваются. В GUI syncIMAPMail список импортируется на вкладке Users, строки с ошибками подсвечиваются в таблице.

Выявленные расхождения устраняются в файлах, загрузка повторяется. К следующему разделу файлы принимаются без подсвеченных ошибок.

В IVA Mail домену domain.ru добавляется дополнительное имя ivamail-relay.domain.ru: в панели администратора на странице Объекты домена в поле «Добавить имя домена» вводится имя, нажимается «Добавить имя домена».

В Exchange создаётся Send-коннектор для промежуточного домена с доставкой на IVA Mail:

New-SendConnector -Name "To-IVAMail" `
  -AddressSpaces "ivamail-relay.domain.ru" `
  -SmartHosts "iva.domain.ru" -DNSRoutingEnabled $false `
  -SourceTransportServers "EXCH01"

Для каждого пользователя партии на шаге завершения перевода (раздел Завершение перевода пользователя) создаётся внешний контакт, указывающий на адрес доставки в промежуточном домене:

Коннектор приёма Exchange. На серверах Exchange создаётся Receive-коннектор, разрешающий приём с IP-адресов кластера IVA Mail (тип Internet, RemoteIPRanges = адреса IVA Mail), — для доставки почты из IVA Mail в Exchange по правилу RerouteUnknownMail и через переадресаторы.

Приём в IVA Mail. На стороне IVA Mail в настройках модуля SMTP разрешается приём соединений с IP-адресов серверов Exchange для промежуточного домена ivamail-relay.domain.ru.

Внешние системы и устройства. По перечню, полученному на обследовании, прикладные системы, МФУ и устройства, отправляющие почту через Exchange, переключаются на IVA Mail: в каждой системе адрес SMTP-сервера заменяется на iva.domain.ru (порт 25, при поддержке — 465 с аутентификацией), для систем с аутентификацией заводятся служебные аккаунты в IVA Mail.

Внешняя почта (KSMG). После завершения миграции всех партий маршрут доставки внешней входящей почты на внешнем шлюзе KSMG переключается с Exchange на IVA Mail; исходящая почта IVA Mail направляется через KSMG. До этого шага внешняя почта продолжает поступать в Exchange и доставляется переведённым пользователям по механизму контактов.

DNS. На завершающем этапе изменяются DNS-записи: MX почтовых доменов переводятся на KSMG/IVA Mail согласно целевой схеме; записи autodiscover заменяются записями автоконфигурации клиентов IVA Mail; SPF дополняется адресами IVA Mail до первого переключения исходящей почты; DKIM-подписание переносится на IVA Mail/KSMG одновременно с переключением исходящего потока; внутренние A-записи серверов Exchange сохраняются до вывода Exchange из эксплуатации.

За основу деления принимаются группы связности, построенные по ведомости прав acl_registry.csv (раздел Деление пользователей на партии по связям доступа). Группа связности не разделяется между партиями.

Группы связности распределяются по партиям до достижения целевого размера партии. Размер партии для проекта — до 500 пользователей при трёх воркерах и согласованном окне работ.

В план включаются: пилотная партия (10–20 пользователей из числа сотрудников ИТ-подразделения), приоритетные партии, основные партии. Пилотная партия проходит полный цикл разделов Алгоритм обработки партии–Проверка целостности и консистентности данных первой; результаты пилота подтверждаются до запуска основных партий.

Сохраняется перечень групп рассылки, в которые включены пользователи партии (из выгрузки group_members.csv раздела Сведения об иных объектах).

Выполняется проверка наличия целевых объектов партии (раздел Проверка наличия целевых объектов в IVA Mail).

Для каждого пользователя партии выполняется процедура миграции почтового ящика (раздел Миграция почтового ящика).

После переноса всех ящиков партии заполняется состав групп рассылки IVA Mail, относящихся к партии: члены добавляются командой GroupAddAccount по выгрузке group_members.csv; для динамических групп задаются настройки DynamicMembersUri (раздел Сведения об иных объектах).

Восстанавливаются права доступа и делегирования по партии (раздел Восстановление прав доступа и делегирования).

Выполняется проверка результатов по партии (раздел Проверка целостности и консистентности данных).

Выполняется информирование пользователей партии о завершении перевода (раздел Информирование пользователей).

Подтверждается наличие целевого аккаунта, его псевдонимов и переадресаторов в IVA Mail (раздел Проверка наличия целевых объектов в IVA Mail). Аккаунт создан компонентом MailConnector по записи IVA ID.

Утилитой syncIMAPMail выполняется первичное копирование содержимого почтового ящика при активном исходном ящике Exchange (раздел Перенос содержимого почтового ящика (syncIMAPMail, IMAP)).

На вкладке Users импортируется входной файл партии (формат — раздел Формат входного файла syncIMAPMail (IMAP)). Режим аутентификации — ServiceAccounts: используются сервисные аккаунты из Connections, source и target выбираются через impersonation и --target ~user/.

На вкладке Connections для Source Microsoft Exchange IMAP указывается сервер exchange.domain.ru без порта: подключение выполняется на порт 993 через remote stunnel (сервер без явного порта или с :993 идёт через TLS-туннель). Для Destination указывается iva.domain.ru:143.

Устанавливается Parallelism = 3 — по количеству включённых SSH-раннеров. Один SSH-раннер выполняет обработку одного пользователя за раз; очередь пользователей одна, каждый раннер берёт следующего пользователя из общей очереди.

На вкладке Mail migration queue проверяется preview команды, нажимается Start. Контроль выполнения ведётся на вкладке Migration log (live stdout/stderr и строки per-user журналов) и на вкладке Logs and failures.

В Microsoft Exchange создаётся внешний контакт пользователя, указывающий на адрес доставки в промежуточном домене (команды — раздел Настройка механизмов маршрутизации).

Проверяется маршрутизация: с действующего ящика Exchange отправляется контрольное письмо на адрес контакта; доставка в ящик IVA Mail подтверждается входом в веб-интерфейс IVA Mail под целевым аккаунтом.

Почтовый ящик пользователя в Microsoft Exchange отключается:

Disable-Mailbox -Identity user01@domain.ru -Confirm:$false

Утилитой syncIMAPMail повторным запуском по данному пользователю досылаются изменения, накопившиеся в исходном ящике с момента первичного копирования: утилита переносит только отсутствующие в целевом ящике сообщения.

Внешний контакт включается в группы рассылки, членом которых являлся пользователь (по перечню шага 1 раздела Алгоритм обработки партии):

Add-DistributionGroupMember -Identity "sales-team" `
-Member "User 01 (IVA)"

Клиентское приложение IVA Mail разворачивается пользователю групповой политикой; параметры подключения включаются в уведомление о переводе (раздел Информирование пользователей).

В GUI задаются Tool (путь к исполняемому файлу CLI) и Mode = migrate.

Заполняется Connections → Servers and admin accounts: Exchange Server = exchange.domain.ru (утилита обращается к https://exchange.domain.ru/EWS/Exchange.asmx); Exchange version = Auto; Admin = migrator@exchange.example.com с паролем; IVA Server = iva.domain.ru, Admin = migrator, Port = 8106, Use TLS включён; Use HTTPS for JUMP включён, JUMP port = 443.

Включается Use EWS impersonation — доступ к календарям и контактам пользователей выполняется под сервисной учётной записью с правом ApplicationImpersonation.

Задаются параметры миграции: Migrate calendars и Migrate contacts включены; устанавливается All dates — переносятся все элементы календаря независимо от даты; Calendar Bulk Size = 50; Calendar Max Bulk Bytes = 4194304; Contacts Bulk Size = 200. Include empty folders выключен: целевые папки для пустых исходных папок не создаются.

В режиме Accounts file (list) указывается CSV партии (формат — раздел Формат входного файла ivatool_ews2imail (EWS)), выполняется Load / preview list, затем Preflight checks.

Нажимается Start. Контроль ведётся на вкладке Users Progress: статус каждого ящика в реальном времени, сводка Total / Done / Failed / In progress / Pending над таблицей.

Выполняется подключение к CMD-интерфейсу IVA Mail (iva.domain.ru:8106, TLS) под сервисной учётной записью.

Ведомость acl_registry.csv фильтруется по пользователям текущей партии.

Права уровня аккаунта (FullAccess, SendAs, SendOnBehalf) назначаются записью ключа AccountACL владельца. Словарь формируется по всем субъектам данного владельца из ведомости и записывается одной командой:

# ассистент assistant: FullAccess + SendOnBehalf к ящику user01
ObjectSetSetting "domain.ru" "user01" "AccountACL" {"assistant": "sw"}

Права на папки назначаются по каждой строке типа Folder; идентификатор без доменной части относится к домену владельца ресурса:

# colleague: Reviewer на папку Inbox ящика user01
MailboxUpdateACL "domain.ru" "user01" "Inbox" "colleague" "+lr"

Права на календари назначаются по каждой строке типа Calendar:

# secretary: Editor календаря user01
CalendarUpdateACL "domain.ru" "user01" "Calendar" "secretary" "r3w3" MailboxUpdateACL "domain.ru" "user01" "Calendar" "secretary" "+lrswite"

Назначение проверяется контрольным чтением по каждому владельцу партии:

MailboxGetACL "domain.ru" "user01" "Inbox"
CalendarGetACL "domain.ru" "user01" "Calendar"
ObjectGetSetting "domain.ru" "user01" "AccountACL"

Строки ведомости, назначение которых завершилось ошибкой, вносятся в реестр исключений с текстом ошибки CMD и обрабатываются до завершения партии.

IMAP-перенос. По завершении партии на вкладке Logs and failures GUI syncIMAPMail проверяется отсутствие пользователей со статусом ошибки; по журналам per-user сверяется количество перенесённых сообщений и папок с исходным ящиком. Пользователи с ошибками и расхождениями вносятся в реестр исключений.

EWS-перенос. На вкладке Users Progress GUI ivatool_ews2imail проверяется сводка Total / Done / Failed: значение Failed равно нулю. Нажимается Export to CSV — итоговый отчёт содержит по каждому пользователю количество объектов Objects (импортировано/получено) и размер Size (импортировано/получено); отчёт сохраняется в состав документации партии. Расхождение «импортировано меньше получено» по пользователю означает частичный перенос: пользователь вносится в реестр исключений.

Повтор проваленных. Для пользователей со статусом Failed в GUI ivatool_ews2imail список предварительно загружается через Load / preview list, затем нажимается Retry failed: утилита формирует временный список только из проваленных аккаунтов и перезапускает миграцию для них. В GUI syncIMAPMail проблемные пользователи перезапускаются повторной постановкой в очередь на вкладке Mail migration queue.

Выборочная проверка подключением. Для 5% пользователей партии (не менее трёх) выполняется вход в веб-интерфейс IVA Mail: подтверждается наличие основных папок, писем в них, календарных событий и личных контактов.

Критерий завершения партии. Партия считается завершённой при статусе Done по всем пользователям в обоих отчётах, нулевом количестве неразобранных записей реестра исключений и успешной выборочной проверке.