Обновление кластера

Сервер арбитра обновляется также, как и медиасерверы. Для обновления сервера арбитра необходимо использовать ISO-образ головного сервера Платформы IVA MCU (в зависимости от используемой ОС).

При обновлении сервера арбитра возможно появление информационного предупреждения, которое можно проигнорировать:

KeeperErrorCode = ConnectionLoss for /applications/voip-signalling-gateway
Running /tmp/update2t8cboev/iso/updates/004_registry.sh update script...Failed
Running /tmp/update2t8cboev/iso/updates/999_misc.sh update script...
Running /tmp/update2t8cboev/iso/updates/999_misc.sh update script...Done
Update finished. Please reboot computer.
!!! WARNING !!! WARNING !!! WARNING !!!
There are 1 failed actions during update.
Please see update log above and manually check this situation before reboot.
!!! WARNING !!! WARNING !!! WARNING !!!
Lock 140356554520560 released on /var/tmp/live-update.lock

Обновление кластера для Платформы IVA MCU версии 22.0 и ниже

Данная инструкция актуальна при обновлении кластеров Active/Active/DBStandBy и Active/Active/ExternalDB до версии Платформы IVA MCU 22.0 и ниже

Для обновления кластера Active/Active/DBStandBy с помощью утилиты iva-cli необходимо:

обновить медиасерверы, выполнив следующие действия:

Выполнение команд допускается проводить одновременно на всех медиасерверах

поместить необходимый ISO-образ (ivcs-media-live_<MEDIA_VERSION>.iso или ivcs-media-deb_<MEDIA_VERSION>.iso) на каждый медиасервер в папку /tmp
выполнить команду обновления системы на медиасервере:
```
sudo iva-cli system update /tmp/<iva-media>
```
где <iva-media> — название ISO-образа для медиасервера: ivcs‑media‑live_<MEDIA_VERSION>.iso или ivcs‑media‑deb_<MEDIA_VERSION>.iso

сохранить изменения на медиасервере, выполнив команду:

sudo iva-cli live save-changes

Если программное обеспечение компании IVA Technologies установлено на серверы с ОС Astra Linux, то команду sudo iva-cli live save-changes выполнять не требуется

перезагрузить медиасервер, выполнив команду:
```
sudo reboot now
```

обновить второй головной сервер, выполнив следующие действия:

перевести первый головной сервер ivcs-main-1 в состояние StandBy, выполнив команду:
```
sudo crm_standby --node ivcs-main-1 --lifetime=forever --update=on
```

убедиться, что все ресурсы перенесены на второй головной сервер ivcs‑main-2, выполнив команду:

sudo crm status

Выполнение команды может занимать длительное время

Пример вывода команды:

Node List:
  * Node ivcs-main-1: standby
  * Online: [ ivcs-main-2 ]

Full List of Resources:
  * Resource Group: db-group:
    * db-ip     (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: ivcs-server-group:
    * ivcs-server-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: filestorage-group:
    * filestorage-fs    (ocf::heartbeat:Filesystem):     Started ivcs-main-2
    * filestorage-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
    * samba     (systemd:smbd):  Started ivcs-main-2
  * Clone Set: ivcs-db-ms [ivcs-db] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]
  * Clone Set: drbd-ms [drbd] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]
  * Clone Set: monitor-clone [monitor]:
    * Started: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]
  * Clone Set: diskspace-clone [diskspace]:
    * Started: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]

если используется локальная база данных: убедиться, что база данных второго головного сервера стала базой данных master, выполнив команду:

sudo crm_mon -1 -A

Выполнение команды может занимать длительное время

Пример вывода команды:

Node Attributes:
  * Node: ivcs-main-1:
    * dev_sda1_free                     : 6
    * ivcs-db-replication-ip            : 10.10.10.171
    * ivcs-db-status                    : STOPPED
    * master-ivcs-db                    : -INFINITY
    * root_free                         : 1
  * Node: ivcs-main-2:
    * dev_sda1_free                     : 7
    * ivcs-db-replication-ip            : 10.10.10.173
    * ivcs-db-status                    : MASTER
    * ivcs-db-timeline                  : 3
    * master-ivcs-db                    : 100
    * root_free                         : 1

если используется внутреннее файловое хранилище: проверить, что DRBD на втором головном сервере стал Primary, выполнив команду:
```
sudo drbd-overview
```
Пример вывода команды:
```
0:filestorage/0  WFConnection Primary/Unknown UpToDate/DUnknown /var/filestorage ext4 7.8G 22M 7.4G 1%
```
поместить необходимый ISO-образ (ivcs-live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso) на второй головной сервер в папку /tmp
выполнить команду обновления системы на втором головном сервере:
```
sudo iva-cli system update /tmp/<iva-head>
```
где <iva-head> — название ISO-образа для головного сервера: ivcs‑live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso

сохранить изменения на втором головном сервере, выполнив команду:

sudo iva-cli live save-changes

перезагрузить второй головной сервер, выполнив команду:
```
sudo reboot now
```
Перезагрузка головного сервера может занимать продолжительное время: 20 минут и более
дождаться окончания перезагрузки второго головного сервера и убедиться, что на нем запущена служба ivcs-server, выполнив команду:
```
sudo tail -f -n 500 /var/log/ivcs-server/ivcs-server.log | grep "(IVCSService) - 'ivcs-server' service is ready"
```
Выполнение команды может занимать длительное время: от 5 до 10 минут

Пример вывода команды:
```
2024-12-16 10:00:26,510 [main] INFO  (IVCSService) - 'ivcs-server' service is ready in 26636ms
```

проверить статус выполнения службы ivcs-server на втором головном сервере, выполнив команду:

sudo systemctl status ivcs-server.service

Пример вывода команды:

ivcs-server.service - Service dedicated to provides video conference services
     Loaded: loaded (/lib/systemd/system/ivcs-server.service; enabled; vendor preset: enabled)
     Active: active (running) since Tue 2025-01-21 15:40:55 MSK; 20h ago
   Main PID: 1459 (java)
      Tasks: 173 (limit: 9477)
     Memory: 1.0G
        CPU: 12min 736ms
     CGroup: /system.slice/ivcs-server.service
             └─1459 ivcs-server -Djava.library.path=/usr/share/ivcs-server/native -Djava.net.preferIPv4Stack=true -Dzookeeper.sas>

вывести первый головной сервер из состояния StandBy, выполнив команду:
```
sudo crm_standby --node ivcs-main-1 --lifetime=forever --update=off
```

убедиться, что первый головной сервер вышел из состояния StandBy, выполнив команду:

sudo crm status

Выполнение команды может занимать длительное время

Пример вывода команды:

Node List:
  * Online: [ ivcs-main-1 ivcs-main-2 ]

Full List of Resources:
  * Resource Group: db-group:
    * db-ip     (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: ivcs-server-group:
    * ivcs-server-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: filestorage-group:
    * filestorage-fs    (ocf::heartbeat:Filesystem):     Started ivcs-main-2
    * filestorage-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
    * samba     (systemd:smbd):  Started ivcs-main-2
  * Clone Set: ivcs-db-ms [ivcs-db] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Slaves: [ ivcs-main-1 ]
  * Clone Set: drbd-ms [drbd] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Slaves: [ ivcs-main-1 ]
  * Clone Set: monitor-clone [monitor]:
    * Started: [ ivcs-main-1 ivcs-main-2 ]
  * Clone Set: diskspace-clone [diskspace]:
    * Started: [ ivcs-main-1 ivcs-main-2 ]

если используется локальная база данных: убедиться, что базы данных на первом и втором головных серверах синхронизировались (на первом головном сервере — база данных HOTSTANDBY, на втором головном сервере — база данных master), выполнив команду:

sudo crm_mon -1 -A

Выполнение команды может занимать длительное время

Пример вывода команды:

Node Attributes:
  * Node: ivcs-main-1:
    * dev_sda1_free                     : 7
    * ivcs-db-backup-master-ip          : 10.10.10.173
    * ivcs-db-backup-status             : SUCCESS
    * ivcs-db-hotstandby                : 1677498950
    * ivcs-db-replication-ip            : 10.10.10.171
    * ivcs-db-status                    : HOTSTANDBY
    * ivcs-db-timeline                  : 4
    * master-ivcs-db                    : 20
    * root_free                         : 1
  * Node: ivcs-main-2:
    * dev_sda1_free                     : 7
    * ivcs-db-replication-ip            : 10.10.10.173
    * ivcs-db-status                    : MASTER
    * ivcs-db-timeline                  : 3
    * master-ivcs-db                    : 100
    * root_free                         : 1

если используется внутреннее файловое хранилище: убедиться, что DRBD синхронизированы на каждом из головных серверов, выполнив команду:
```
sudo drbd-overview
```
Пример вывода команды:
- на первом головном сервере:
  0:filestorage/0 Connected Secondary/Primary UpToDate/UpToDate
- на втором головном сервере:
  0:filestorage/0 Connected Primary/Secondary UpToDate/UpToDate /var/filestorage ext4 7.8G 22M 7.4G 1%

обновить первый головной сервер, выполнив следующие действия:

перевести второй головной сервер (ivcs-main-2) в состояние StandBy, выполнив команду:
```
sudo crm_standby --node ivcs-main-2 --lifetime=forever --update=on
```

убедиться, что все ресурсы перенесены на первый головной сервер ivcs‑main-1, выполнив команду:

sudo crm status

Выполнение команды может занимать длительное время

Пример вывода команды:

Node List:
  * Node ivcs-main-2: standby
  * Online: [ ivcs-main-1 ]

Full List of Resources:
  * Resource Group: db-group:
    * db-ip     (ocf::heartbeat:IPaddr2):        Started ivcs-main-1
  * Resource Group: ivcs-server-group:
    * ivcs-server-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-1
  * Resource Group: filestorage-group:
    * filestorage-fs    (ocf::heartbeat:Filesystem):     Started ivcs-main-1
    * filestorage-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-1
    * samba     (systemd:smbd):  Started ivcs-main-1
  * Clone Set: ivcs-db-ms [ivcs-db] (promotable):
    * Masters: [ ivcs-main-1 ]
    * Stopped: [ ivcs-main-2 ]
  * Clone Set: drbd-ms [drbd] (promotable):
    * Masters: [ ivcs-main-1 ]
    * Stopped: [ ivcs-main-2 ]
  * Clone Set: monitor-clone [monitor]:
    * Started: [ ivcs-main-1 ]
    * Stopped: [ ivcs-main-2 ]
  * Clone Set: diskspace-clone [diskspace]:
    * Started: [ ivcs-main-1 ]
    * Stopped: [ ivcs-main-2 ]

если используется локальная база данных: убедиться, что база данных первого головного сервера стала базой данных master, выполнив команду:

sudo crm_mon -1 -A

Выполнение команды может занимать длительное время

Пример вывода команды:

Node Attributes:
  * Node: ivcs-main-1:
    * dev_sda1_free                     : 6
    * ivcs-db-replication-ip            : 10.10.10.171
    * ivcs-db-status                    : MASTER
    * master-ivcs-db                    : 100
    * root_free                         : 1
  * Node: ivcs-main-2:
    * dev_sda1_free                     : 7
    * ivcs-db-replication-ip            : 10.10.10.173
    * ivcs-db-status                    : STOPPED
    * ivcs-db-timeline                  : 3
    * master-ivcs-db                    : INFINITY
    * root_free                         : 1

если используется внутреннее файловое хранилище: убедиться, что DRBD на первом головном сервере стал Primary, выполнив команду:
```
sudo drbd-overview
```
Пример вывода команды:
```
0:filestorage/0  WFConnection Primary/Unknown UpToDate/DUnknown /var/filestorage ext4 7.8G 22M 7.4G 1%
```
поместить необходимый ISO-образ (ivcs-live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso) на первый головной сервер в папку /tmp
выполнить команду обновления системы на первом головном сервере:
```
sudo iva-cli system update /tmp/<iva-head>
```
где <iva-head> — название ISO-образа для головного сервера: ivcs‑live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso

сохранить изменения на первом головном сервере, выполнив команду:

sudo iva-cli live save-changes

Если программное обеспечение компании IVA Technologies установлено на сервере с ОС Astra Linux, то команду sudo iva-cli live save-changes выполнять не требуется

перезагрузить первый головной сервер, выполнив команду:
```
sudo reboot now
```
Перезагрузка головного сервера может занимать продолжительное время: 20 минут и более
дождаться окончания перезагрузки первого головного сервера и убедиться, что на нем запущена служба ivcs-server, выполнив команду:
```
sudo tail -f -n 500 /var/log/ivcs-server/ivcs-server.log | grep "(IVCSService) - 'ivcs-server' service is ready"
```
Выполнение команды может занимать длительное время: от 5 до 10 минут

Пример вывода команды:
```
2024-12-16 10:00:26,510 [main] INFO  (IVCSService) - 'ivcs-server' service is ready in 26636ms
```

проверить статус выполнения службы ivcs-server на первом головном сервере, выполнив команду:

sudo systemctl status ivcs-server.service

Пример вывода команды:

ivcs-server.service - Service dedicated to provides video conference services
     Loaded: loaded (/lib/systemd/system/ivcs-server.service; enabled; vendor preset: enabled)
     Active: active (running) since Tue 2025-01-21 15:40:55 MSK; 20h ago
   Main PID: 1459 (java)
      Tasks: 173 (limit: 9477)
     Memory: 1.0G
        CPU: 12min 736ms
     CGroup: /system.slice/ivcs-server.service
             └─1459 ivcs-server -Djava.library.path=/usr/share/ivcs-server/native -Djava.net.preferIPv4Stack=true -Dzookeeper.sas>

после перезагрузки первого головного сервера, вывести второй головной сервер из состояния StandBy, выполнив команду:
```
sudo crm_standby --node ivcs-main-2 --lifetime=forever --update=off
```

убедиться, что второй головной сервер (ivcs-main-2) вышел из состояния StandBy, выполнив команду:

sudo crm status

Выполнение команды может занимать длительное время: от 5 до 10 минут

Пример вывода команды:

Node List:
  * Online: [ ivcs-main-1 ivcs-main-2 ]

Full List of Resources:
  * Resource Group: db-group:
    * db-ip     (ocf::heartbeat:IPaddr2):        Started ivcs-main-1
  * Resource Group: ivcs-server-group:
    * ivcs-server-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-1
  * Resource Group: filestorage-group:
    * filestorage-fs    (ocf::heartbeat:Filesystem):     Started ivcs-main-1
    * filestorage-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-1
    * samba     (systemd:smbd):  Started ivcs-main-1
  * Clone Set: ivcs-db-ms [ivcs-db] (promotable):
    * Masters: [ ivcs-main-1 ]
    * Slaves: [ ivcs-main-2 ]
  * Clone Set: drbd-ms [drbd] (promotable):
    * Masters: [ ivcs-main-1 ]
    * Slaves: [ ivcs-main-2 ]
  * Clone Set: monitor-clone [monitor]:
    * Started: [ ivcs-main-1 ivcs-main-2 ]
  * Clone Set: diskspace-clone [diskspace]:
    * Started: [ ivcs-main-1 ivcs-main-2 ]

если используется локальная база данных: убедиться, что базы данных на обоих серверах синхронизировались. На первом головном сервере — база данных master, на втором головном сервере — база данных HOTSTANDBY:

sudo crm_mon -1 -A

Пример вывода команды:

Node Attributes:
  * Node: ivcs-main-1:
    * dev_sda1_free                     : 7
    * ivcs-db-replication-ip            : 10.10.10.171
    * ivcs-db-status                    : MASTER
    * ivcs-db-timeline                  : 3
    * master-ivcs-db                    : 100
    * root_free                         : 1
  * Node: ivcs-main-2:
    * dev_sda1_free                     : 7
    * ivcs-db-backup-master-ip          : 10.10.10.171
    * ivcs-db-backup-status             : SUCCESS
    * ivcs-db-hotstandby                : 1737546767
    * ivcs-db-replication-ip            : 10.10.10.173
    * ivcs-db-status                    : HOTSTANDBY
    * ivcs-db-timeline                  : 4
    * master-ivcs-db                    : 20
    * root_free                         : 1

если используется внутреннее файловое хранилище: убедиться, что DRBD синхронизированы на каждом из головных серверов, выполнив команду:
```
sudo drbd-overview
```
Пример вывода команды:
- на первом головном сервере:
  0:filestorage/0 Connected Primary/Secondary UpToDate/UpToDate /var/filestorage ext4 7.8G 22M 7.4G 1%
- на втором головном сервере:
  0:filestorage/0 Connected Secondary/Primary UpToDate/UpToDate

Обновление кластера для Платформы IVA MCU версии 22.1 и выше

Данная инструкция актуальна при обновлении кластеров Active/Active/DBStandBy и Active/Active/ExternalDB начиная с версии Платформы IVA MCU 22.1

Начиная с версии Платформы IVA MCU 23.0 для групп ресурсов кластера ivcs-db-ms [ivcs-db] и drbd-ms [drbd] доступны другие статусы ресурсов:

* Clone Set: ivcs-db-ms [ivcs-db] (promotable):
  * Promoted: [ ivcs-main-1 ]
  * Unpromoted: [ ivcs-main-2 ]
* Clone Set: drbd-ms [drbd] (promotable):
  * Promoted: [ ivcs-main-1 ]
  * Unpromoted: [ ivcs-main-2 ]

Для обновления кластера Active/Active/DBStandBy (Active/Active/ExternalDB) с помощью утилиты iva-cli необходимо:

обновить все медиасерверы, выполнив следующие действия:

Выполнение команд можно проводить одновременно на всех медиасерверах

поместить необходимый ISO-образ (ivcs-media-live_<MEDIA_VERSION>.iso или ivcs-media-deb_<MEDIA_VERSION>.iso) на каждый медиасервер в папку /tmp
выполнить команду обновления системы на медиасервере:
```
sudo iva-cli system update /tmp/<iva-media>
```
где <iva-media> — название ISO-образа для медиасервера: ivcs‑media‑live_<MEDIA_VERSION>.iso или ivcs‑media‑deb_<MEDIA_VERSION>.iso

сохранить изменения на медиасервере, выполнив команду:

sudo iva-cli live save-changes

перезагрузить медиасервер, выполнив команду:
```
sudo reboot now
```

обновить второй головной сервер, выполнив следующие действия:

выключить службу ivcs-server.service на каждом головном сервере, выполнив команду:
```
sudo systemctl stop ivcs-server.service
```
перевести первый головной сервер ivcs-main-1 в состояние StandBy, выполнив команду:
```
sudo crm_standby --node ivcs-main-1 --lifetime=forever --update=on
```

убедиться, что все ресурсы перенесены на второй головной сервер ivcs-main-2, выполнив команду:

sudo crm status

Выполнение команды может занимать длительное время

Пример вывода команды:

Node List:
  * Node ivcs-main-1: standby
  * Online: [ ivcs-main-2 ]

Full List of Resources:
  * Resource Group: db-group:
    * db-ip     (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: ivcs-server-group:
    * ivcs-server-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: filestorage-group:
    * filestorage-fs    (ocf::heartbeat:Filesystem):     Started ivcs-main-2
    * filestorage-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
    * samba     (systemd:smbd):  Started ivcs-main-2
  * Clone Set: ivcs-db-ms [ivcs-db] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]
  * Clone Set: drbd-ms [drbd] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]
  * Clone Set: monitor-clone [monitor]:
    * Started: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]
  * Clone Set: diskspace-clone [diskspace]:
    * Started: [ ivcs-main-2 ]
    * Stopped: [ ivcs-main-1 ]

sudo crm_mon -1 -A

Выполнение команды может занимать длительное время

Пример вывода команды:

Node Attributes:
  * Node: ivcs-main-1:
    * dev_sda1_free                     : 6
    * ivcs-db-replication-ip            : 10.10.10.171
    * ivcs-db-status                    : STOPPED
    * master-ivcs-db                    : -INFINITY
    * root_free                         : 1
  * Node: ivcs-main-2:
    * dev_sda1_free                     : 7
    * ivcs-db-replication-ip            : 10.10.10.173
    * ivcs-db-status                    : MASTER
    * ivcs-db-timeline                  : 3
    * master-ivcs-db                    : 100
    * root_free                         : 1

если используется внутреннее файловое хранилище: проверить, что DRBD на втором головном сервере стал Primary, выполнив команду:
```
sudo drbd-overview
```
Пример вывода команды:
```
0:filestorage/0  WFConnection Primary/Unknown UpToDate/DUnknown /var/filestorage ext4 7.8G 22M 7.4G 1%
```
поместить необходимый ISO-образ (ivcs-live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso) на второй головной сервер в папку /tmp
выполнить команду обновления системы на втором головном сервере:
```
sudo iva-cli system update /tmp/<iva-head>
```
где <iva-head> — название ISO-образа для головного сервера: ivcs‑live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso

сохранить изменения на втором головном сервере, выполнив команду:

sudo iva-cli live save-changes

перезагрузить второй головной сервер, выполнив команду:
```
sudo reboot now
```
Перезагрузка головного сервера может занимать продолжительное время: 20 минут и более
дождаться окончания перезагрузки второго головного сервера и убедиться, что на нем запущена служба ivcs-server, выполнив команду:
```
sudo tail -f -n 500 /var/log/ivcs-server/ivcs-server.log | grep "(IVCSService) - 'ivcs-server' service is ready"
```
Выполнение команды может занимать длительное время: от 5 до 10 минут

Пример вывода команды:
```
2024-12-16 10:00:26,510 [main] INFO  (IVCSService) - 'ivcs-server' service is ready in 26636ms
```

проверить статус выполнения службы ivcs-server на втором головном сервере, выполнив команду:

sudo systemctl status ivcs-server.service

Пример вывода команды:

ivcs-server.service - Service dedicated to provides video conference services
     Loaded: loaded (/lib/systemd/system/ivcs-server.service; enabled; vendor preset: enabled)
     Active: active (running) since Tue 2025-01-21 15:40:55 MSK; 20h ago
   Main PID: 1459 (java)
      Tasks: 173 (limit: 9477)
     Memory: 1.0G
        CPU: 12min 736ms
     CGroup: /system.slice/ivcs-server.service
             └─1459 ivcs-server -Djava.library.path=/usr/share/ivcs-server/native -Djava.net.preferIPv4Stack=true -Dzookeeper.sas>

обновить первый головной сервер, выполнив следующие действия:

поместить необходимый ISO-образ (ivcs-live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso) на первый головной сервер в папку /tmp
выполнить команду обновления системы на первом головном сервере:
```
sudo iva-cli system update /tmp/<iva-head>
```
где <iva-head> — название ISO-образа для головного сервера: ivcs‑live_<HEAD_VERSION>.iso или ivcs‑deb_<HEAD_VERSION>.iso

сохранить изменения на первом головном сервере, выполнив команду:

sudo iva-cli live save-changes

перезагрузить первый головной сервер, выполнив команду:
```
sudo reboot now
```
Перезагрузка головного сервера может занимать продолжительное время: 20 минут и более
дождаться окончания перезагрузки первого головного сервера и вывести его из состояния StandBy, выполнив команду:
```
sudo crm_standby --node ivcs-main-1 --lifetime=forever --update=off
```

убедиться, что первый головной сервер вышел из состояния StandBy, выполнив команду:

sudo crm status

Выполнение команды может занимать длительное время

Пример вывода команды:

Node List:
  * Online: [ ivcs-main-1 ivcs-main-2 ]

Full List of Resources:
  * Resource Group: db-group:
    * db-ip     (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: ivcs-server-group:
    * ivcs-server-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
  * Resource Group: filestorage-group:
    * filestorage-fs    (ocf::heartbeat:Filesystem):     Started ivcs-main-2
    * filestorage-ip    (ocf::heartbeat:IPaddr2):        Started ivcs-main-2
    * samba     (systemd:smbd):  Started ivcs-main-2
  * Clone Set: ivcs-db-ms [ivcs-db] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Slaves: [ ivcs-main-1 ]
  * Clone Set: drbd-ms [drbd] (promotable):
    * Masters: [ ivcs-main-2 ]
    * Slaves: [ ivcs-main-1 ]
  * Clone Set: monitor-clone [monitor]:
    * Started: [ ivcs-main-1 ivcs-main-2 ]
  * Clone Set: diskspace-clone [diskspace]:
    * Started: [ ivcs-main-1 ivcs-main-2 ]

если используется локальная база данных: убедиться, что базы данных на первом и втором головных серверах синхронизировались. На первом головном сервере — база данных HOTSTANDBY, на втором головном сервере — база данных master:

sudo crm_mon -1 -A

Выполнение команды может занимать длительное время

Пример вывода команды:

Node Attributes:
  * Node: ivcs-main-1:
    * dev_sda1_free                     : 7
    * ivcs-db-backup-master-ip          : 10.10.10.173
    * ivcs-db-backup-status             : SUCCESS
    * ivcs-db-hotstandby                : 1677498950
    * ivcs-db-replication-ip            : 10.10.10.171
    * ivcs-db-status                    : HOTSTANDBY
    * ivcs-db-timeline                  : 4
    * master-ivcs-db                    : 20
    * root_free                         : 1
  * Node: ivcs-main-2:
    * dev_sda1_free                     : 7
    * ivcs-db-replication-ip            : 10.10.10.173
    * ivcs-db-status                    : MASTER
    * ivcs-db-timeline                  : 3
    * master-ivcs-db                    : 100
    * root_free                         : 1

если используется внутреннее файловое хранилище: убедиться, что DRBD синхронизированы на каждом из головных серверов, выполнив команду:
```
sudo drbd-overview
```
Пример вывода команды:
- на первом головном сервере:
  0:filestorage/0 Connected Secondary/Primary UpToDate/UpToDate
- на втором головном сервере:
  0:filestorage/0 Connected Primary/Secondary UpToDate/UpToDate /var/filestorage ext4 7.8G 22M 7.4G 1%
убедиться, что служба ivcs-server запущена на первом головном сервере, выполнив команду:
```
sudo tail -f -n 500 /var/log/ivcs-server/ivcs-server.log | grep "(IVCSService) - 'ivcs-server' service is ready"
```
Выполнение команды может занимать длительное время: от 5 до 10 минут

Пример вывода команды:
```
2024-12-16 10:00:26,510 [main] INFO  (IVCSService) - 'ivcs-server' service is ready in 26636ms
```

убедиться, что на каждом из головных серверов запущена служба ivcs-server, выполнив команду:

sudo systemctl status ivcs-server.service

Выполнение команды необходимо проводить поочередно на каждом головном сервере

Пример вывода команды:

ivcs-server.service - Service dedicated to provides video conference services
     Loaded: loaded (/lib/systemd/system/ivcs-server.service; enabled; vendor preset: enabled)
     Active: active (running) since Tue 2025-01-21 15:40:55 MSK; 20h ago
   Main PID: 1459 (java)
      Tasks: 173 (limit: 9477)
     Memory: 1.0G
        CPU: 12min 736ms
     CGroup: /system.slice/ivcs-server.service
             └─1459 ivcs-server -Djava.library.path=/usr/share/ivcs-server/native -Djava.net.preferIPv4Stack=true -Dzookeeper.sas>