HA-кластеризацией (High-Availability - высокая доступность) называется процесс объединения нескольких экземпляров сетевых устройств (далее, нода) в одну логическую группу - кластер для обеспечения высокой доступности, масштабируемости и отказоустойчивости.
Основной целью HA-кластеризации является обеспечение непрерывного доступа к сетевым ресурсам и выполнение основных функций межсетевого экрана даже в случае сбоя одного или нескольких устройств в кластере.
Основные преимущества HA-кластеризации
Высокая доступность: В случае сбоя одного устройства в HA-кластере другая нода может взять на себя его задачи, что минимизирует время простоя.
Отказоустойчивость: HA-кластеризация позволяет защитить сеть от различных типов отказов оборудования или программного обеспечения.
Балансировка нагрузки: Трафик может равномерно распределяться между устройствами в HA-кластере, что улучшает общую производительность сети.
Основные компоненты и механизмы HA-кластеризации:
Контроль состояния устройств в HA-кластере: Каждое устройство в HA-кластере постоянно отслеживает состояние соседних нод. В случае выявления неисправности резервная нода берет на себя функции управления и обработки трафика.
Синхронизация конфигурации: Обеспечивает синхронизацию конфигурации между нодами HA-кластера. Возможно настроить полную или частичную синхронизацию конфигурации между нодами для последующего выполнения функций межсетевого экрана при сбое одной из нод.
Обмен сессиями и состояний соединений: Для обеспечения бесперебойной работы сессий между сетевыми клиентами производится обмен состояний текущих соединений между нодами в HA-кластере.
Виртуальные IP-адреса: В рамках HA-кластера производится резервирование IP-адреса шлюза на внешнем и внутреннем сетевом сегменте. Для конечного клиента IP-адрес шлюза остается неизменным при сбое активной ноды в HA-кластере.
Виртуальные MAC-адреса: VMAC позволяет оптимизировать процесс коммутации в случае сбоя активной ноды в кластере. Конечные клиенты используют один уникальный MAC-адрес резервируемого виртуального IP-адреса шлюза.
Режимы работы HA-кластера
Существует несколько режимов работы HA-кластера:
Active - Passive
Ноды в кластере делятся на роли - MASTER и BACKUP.
MASTER-нода производит обработку всего поступающего в HA-кластер трафика, BACKUP-нода производит непрерывный мониторинг состояния активной ноды. При возникновении сбоя MASTER-ноды, BACKUP-нода берет на себя роль и функции MASTER-ноды.
Active - Active
Все ноды в HA-кластере являются MASTER и производят обработку поступающего
трафика. Нагрузка распределяется между всеми MASTER-нодами, что
позволяет максимально использовать доступные ресурсы.
Проверки работоспособности
Для обеспечения стабильной работы HA-кластера доступны следующие виды проверок:
- Интерфейс - мониторинг состояния интерфейса(Статус:Up/Down; Мин. скорость:10/100/1000/10000Мбит/c; Режим работы: Half Duplex/Full Duplex);
- IP-адрес - мониторинг доступности удаленного сетевого узла(ICMP-тест);
- TCP-соединение - мониторинг состояния TCP-соединения;
Проверки работоспособности позволяют повысить качество доступности внешних сервисов конечным пользователям, сделать резервирование HA-кластера более гибким.
Важно
В текущей версии ОС REFOS проверки работоспособности доступны только в режиме работы active/passive.
Режимы балансировки трафика в кластере
В режиме работы кластера Active - Active возможно использовать несколько
подходов по распределению (балансировки) трафика в HA-кластере:
ARP-балансировка;
Данный подход предполагает использование
распределения нагрузки по всем нодам в кластере с использованием
динамического распределения MAC-адреса шлюза для каждого клиента в
зависимости от его MAC-адреса. В данном случае каждый клиент во
внутреннем сетевом сегменте использует один IP-адрес шлюза по умолчанию.
Перед передачей трафика клиент инициирует ARP-запрос на получение
актуального MAC-адреса шлюза по умолчанию. Основная нода в свою очередь,
анализируя MAC-адрес клиента предоставляет MAC-адрес интерфейса основной
или соседней ноды.
Балансировщик трафика;
Данный подход предполагает использование
дополнительного экземпляра устройства RTT-M300 для распределения
трафика по всем нодам в HA-кластере. В данном случае отдельный
балансировщик берет на себя все процессы распределения трафика, ноды
в HA-кластере только производят обработку поступающего трафика.
Балансировщик использует следующие механизмы распределения трафика:
Циклический - пакеты распределяются равномерно в порядке очереди
между всеми нодами в HA-кластере;
Весовой коэффициент - для каждой ноды возможно задать процентное
соотношение от общего объема распределяемого трафика. Например,
первая нода обрабатывает 60% всего перераспределяемого трафика,
вторая нода только 40%.
JHash - для распределения трафика используются значения IP-адреса
и номера порта отправителя.
Описание параметров конфигурации HA-кластера
Конфигурация HA-кластера в режиме active/passive производится в нескольких разделах:
HA-кластер - Настройки - Группы роутеров - конфигурация групп, которые используются для объединения проверок работоспособности с определенными VRRP-роутерами;
HA-кластер - Настройки - VRRP-роутеры - конфигурация VRRP-экземпляра(инстанса), который регулирует резервирование виртуального IP-адреса в определенном сетевом сегменте, и соответствующих параметров VRRP-экземпляру;
Активация режима высокой доступности (HA, High Availability)
IP-адреса узлов кластера
Список доменных имен или IP-адресов интерфейсов синхронизации
нод HA-кластера, которые будут использоваться для синхронизации
конфигурации. Пример ввода: 192.168.1.10, 192.168.1.11
Режим работы НА-кластера
Режим работы HA-кластера:
Active/Passive: Один узел активен, второй - в резерве и
принимает управление при сбое.
Active/Active: Оба узла активны и обрабатывают трафик.
Роль узла синхронизации
Выберите роль узла синхронизации:
Master - Главный узел для синхронизации конфигурации;
Slave - Ведомый узел, получающий конфигурацию от Master;
Интерфейс синхронизации
Сетевой интерфейс синхронизации сессий между нодами кластера.
Количество GARP-повторов
Количество GARP-пакетов (Gratuitous ARP) после смены Master.
GARP уведомляет сеть о смене MAC-адреса виртуального IP.
Значение по умолчанию: 5.
Интервал отправки GARP
(сек)
Интервал (в секундах) между отправкой GARP-пакетов.
Значение по умолчанию: 60.
Multicast IP-адрес
Multicast IP адрес для обмена сессиями в HA-кластере.
Адрес должен быть уникальным в сети и не использоваться другими
сервисами. Значение по умолчанию: 225.0.0.50.
Параметры для
синхронизации
Разделы конфигурации, которые будут синхронизироваться между
нодами. Описание списка конфигураций представлен в таблице
Список синхронизируемых настроек.
В рамках одного кластера могут существовать несколько Групп роутеров. Каждая Группа роутеров включает в себя несколько VRRP-роутеров и Проверок, и отвечает за синхронизацию состояний в рамках одной группы. При отказе одного из VRRP-роутера в состояние fault переводится сразу вся Группа роутеров. Так же VRRP-роутеры переводятся в сотстояние fault при провале одной или нескольких проверок.
VRRP-роутеры состоящие в разных Группах роутеров наоборот, не оказывают друг на друга влияния.
Параметры раздела HA-кластер - Настройки - Группы роутеров
Параметр
Описание параметра
Имя
Уникальное имя группы роутеров. Параметр используется
для идентификации и управления группой.
Включить проверки
Активация опции позволяет привязать проверки работоспособности
к текущей группе.
Список проверок для
группы
Указать проверку работоспособности или список проверок.
Конфигурация проверок производится в разделе
HA-кластер - Настройки - Проверки работоспособности.
Логическое условие проверок
Логика учёта результата нескольких проверок:
ИЛИ - должны провалиться все проверки для перехода
Группы роутеров в состояние Fault
И - должна провалиться одна из проверок для перехода
Группы роутеров в состояние Fault
Интервал проверок(сек)
Укажите периодичность выполнения проверок (в секундах).
В разделе HA-кластер - Настройки - VRRP-роутеры настраивается взаимодействие с соседними VRRP-роутерами кластера. Конфигурировать этот раздел следует с учётом настроек VRRP-роутеров на другом устройстве: для того, чтоб VRRP-роутеры установили взаимодействие у них должна быть сетевая связанность, и совпадать параметры VRRP ID, Пароль VRRP, Интервал отправки VRRP-анонсов (сек) и Использовать VMAC. Параметр Начальное состояние VRRP-роутера при этом должен быть различным.
Имя VRRP-роутера(VRRP-экземпляра), которое используется для
идентификации роутера в конфигурации и логах.
Начальное состояние
VRRP-роутера
Начальное состояние роутера:
MASTER - активная роль узла. Производит прием и
обработку трафика;
BACKUP - Резервная роль узла. Мониторит Master-узел
через VRRP-сообщения. Берет роль Master, если текущий Master
перестает отвечать.
Интерфейс
Физический сетевой интерфейс, который будет использоваться
для работы VRRP. На этот интерфейс будет назначен виртуальный
IP-адрес.
VRRP ID
Уникальный идентификатор VRRP-роутера в сети. Значение VRRP ID
должно быть одним для всех участников VRRP-группы.
Использовать VMAC
Программно генерируемый MAC-адрес, который используется
резервируемым виртуальным IP-адресом. Ускоряет процесс
восстановления кластера, убирая необходимость перестроения
ARP-таблиц на конечных хостах.
Виртуальный IP-адрес
Резервируемый виртуальный IP-адрес. Используется конечными узлами
Интервал отправки
VRRP-анонсов (сек)
Периодичность в секундах, с которой MASTER будет отправлять
VRRP-анонсы. Значение по умолчанию: 3.
Задержка перехода
в Master (сек)
Задержка в секундах, которая определяет, как быстро резервная
нода может взять на себя роль мастера после его восстановления
Значение по умолчанию: 1.
Значение 0 - нода не возвращает роль Master.
Режим Unicast для VRRP
При использовании данного режима VRRP-анонсы будут рассылаться
на unicast-адрес. По умолчанию рассылка VRRP-анонсов производится
на multicast-адрес.
IP-адрес для Unicast VRRP
(при использовании режима
Unicast для VRRP)
IP-адрес интерфейса соседней ноды, который используется в качестве
получателя VRRP-анонса. По умолчанию рассылка VRRP-анонсов
производится на multicast-адрес. Пример ввода: 192.168.7.2
Пароль VRRP
Пароль аутентификации нод в кластере.
Единый пароль должен быть настроен на всех роутерах, участвующих
в VRRP-группе.
Длина пароля: 8 символов(возможные символы «A-Za-z0-9_$?@^%»).
Группа роутеров
Группа роутеров для привязки проверок работоспособности к
VRRP-роутеру. Важно! Конфигурация VRRP-роутера в обязательном
порядке должна включать Группу роутеров, даже если проверки
работоспособности отсутсвуют. Также имя группы должно быть
одинаковый в рамках одного VRRP-роутера на двух нодах кластера.
Имя используется для идентификации проверки в конфигурации.
Тип проверки
Достуны следующие проверки:
Интерфейс - мониторит статус и режимы работы сетевого
интерфейса;
IP адрес - производит отправку ICMP-запросов по указанному
IP-адресу и проверяет наличие ICMP-ответов;
TCP-соединение - производит попытку установить
TCP-соединение с указанным IP-адресом и портом;
Интерфейс для мониторинга
(При использовании проверок
Интерфейс и IP-адрес)
Сетевой интерфейс, который будет использоваться проверкой
для мониторинга.
Минимальная скорость
(При использовании проверки
Интерфейс)
Мониторинг минимальной скорости интерфейса. Доступные значения:
10Мбит/c;
100Мбит/c;
1000Мбит/c;
10000Мбит/c
При понижении скорости ниже установленного значения, срабатывает
триггер проверки.
Режим работы
(При использовании проверки
Интерфейс)
Мониторинг режима работы интерфейса. Доступные значения:
Full Duplex;
Half Duplex;
При изменении режима работы интерфейса срабатывает триггер
проверки.
IP-адрес назначения
(При использовании проверок
Интерфейс, TCP-соединение)
IP-адрес получателя, который используется для проверки доступности
узла или порта службы/приложения.
TCP-порт назначения
(При использовании проверки
TCP-соединение)
Номер TCP-порта службы или приложения на принимающей стороне.
Таймаут TCP(сек)
(При использовании проверки
TCP-соединение)
Максимальная продолжительность в секундах, в течение которой
TCP-соединение или ожидание отклика остаются активными без
получения ответа, после чего оно автоматически разрывается
вследствие длительного ожидания или потери связи.
Максимальное RTT(мс)
(При использовании проверки
IP-адрес)
Максимальное время RTT (Round-Trip Time) в миллисекундах для
ICMP -запросов.
Количество ICMP-пакетов
(При использовании проверки
IP-адрес)
Количество ICMP-пакетов, которые будут отправляться в каждом
интервале проверки.
Ожидаемый результат
проверки
Результат проверки, который считается успешным:
True - Должны быть выполнены все параметры проверки (например,
интерфейс должен быть активен, должны поступать ICMP-ответы ,
TCP-соединение должно устанавливаться).
False - Параметры проверки не должны выполняться (например,
интерфейс должен быть неактивным, должны отсутствовать
ICMP-ответы, TCP-соединение не должно устанавливаться).
Описание параметров HA-кластера в режиме active/active
Активация режима высокой доступности (HA, High Availability)
IP-адреса узлов
кластера
Список доменных имен или IP-адресов интерфейсов синхронизации
нод HA-кластера, которые будут использоваться для синхронизации
конфигурации. Пример ввода: 192.168.1.10, 192.168.1.11
Режим работы
НА-кластера
Режим работы HA-кластера:
Active/Passive: Один узел активен, второй - в резерве и
принимает управление при сбое.
Active/Active: Оба узла активны и обрабатывают трафик.
Роль узла
синхронизации
Выберите роль узла синхронизации:
Master: Главный узел для синхронизации конфигурации.
Slave: Ведомый узел, получающий конфигурацию от Master.
Интерфейс
внутренней сети
Сетевой интерфейс ноды, который будет использоваться
для виртуального адреса (Virtual IP) внутренней сети кластера.
Виртуальный
IP-адрес
внутренней сети
Виртуальный IP-адрес шлюза (Virtual IP) во внутренней сети
кластера.
Интерфейс
внешней сети
Сетевой интерфейс ноды, который будет использоваться для
виртуального адреса (Virtual IP) внешней сети кластера.
Виртуальный
IP-адрес внешней
сети
Виртуальный IP-адрес шлюза (Virtual IP) во внешней сети кластера.
Пароль
аутентификации
Пароль аутентификации нод в кластере.
Параметры
для
синхронизации
Разделы конфигурации, которые будут синхронизироваться между
нодами. Описание списка конфигураций представлен в таблице
Список синхронизируемых настроек.
Режим
балансировки
нагрузки
Активировать режим ARP-балансировки.
Приоритет
балансировки
нагрузки
(В режиме
балансировки
нагрузки)
Укажите приоритет ноды для ARP балансировки.
Возможный диапазон значений от 0 до 255. Нода с меньшим значением
первая ответит на ARP-запрос.
Важно
В режиме Active/Active важно, чтобы в параметре “Список нод в кластере” были указаны исключительно внутренние IP адреса устройств в кластере;
В режиме Active/Active с использованием балансировщика используется два уникальных виртуальных IP (Virtual IP) для каждой внешней и внутренней сети;
Описание параметров конфигурации балансировщика трафика
Конфигурация балансировщика трафика производится в разделе HA-кластер - Балансировщик трафика.
Описание параметров балансировщика трафика
Параметр
Описание параметра
Включен
Активация функции балансировщика трафика
Список нод в кластере
Список доменных имен или IP-адресов интерфейсов синхронизации нод кластера, которые будут использоваться для синхронизации конфигурации.
Механизм балансировки
Режим работы кластера: Циклический , Весовой коэффициент , Jhash .
Список нод кластера и процент перераспределяемого трафика
Список IP-адресов нод кластера и процент распределяемого трафика
Интерфейс внутренней сети
Сетевой интерфейс ноды, который будет использоваться для виртуального адреса (Virtual IP) внутренней сети кластера.
Интерфейс внешней сети
Сетевой интерфейс ноды, который будет использоваться для виртуального адреса (Virtual IP) внешней сети кластера.
Пароль аутентификации
Пароль аутентификации нод в кластере.
Password repeat
Пароль аутентификации нод в кластере.
Важно
Механизм балансировки JHash производит балансировку только TCP-трафика. Весь остальной трафик (например, UDP или ICMP) балансировщик не распределяет по нескольким нодам, а отправляет на одну в полном объёме.
Весь поступающий трафик на Интерфейс внутренней сети балансировщик перенаправляет на Интерфейс внешней сети, т.е. балансировщик может не иметь маршрут до удаленной сети перенаправляемого пакета.
Описание списка синхронизируемых настроек разделов конфигурации
ОС REFOS позволяет гибко настраивать частичную синхронизацию конфигурации между нодами. Администратор имеет возможность указать только те разделы конфигурации, которые необходимо синхронизировать с другой нодой.
Параметры синхронизации
Конфигурация
Описание
Система - Доступ
Перенос конфигурации раздела Система -
Доступ
Система - Шлюзы
Перенос конфигурации раздела Система -
Шлюзы
Система - Маршруты
Перенос конфигурации раздела Система -
Маршруты
Система - Настройки -
Администрирование
Перенос конфигурации раздела Система -
Настройки - Администрирование
Система - Настройки -
Общие настройки
Перенос конфигурации раздела Система -
Настройки - Общие настройки
Система - Настройки -
Журналирование
Перенос конфигурации раздела Система -
Настройки - Журналирование
Система - Настройки -
Экспорт журналов
Перенос конфигурации раздела Система -
Настройки - Экспорт журналов
Система - Менеджер
сертификатов
Перенос конфигурации раздела Система -
Менеджер сертификатов
Перенос конфигурации раздела Службы -
Обнаружение вторжений
Службы - Мониторинг
служб
Перенос конфигурации раздела Службы -
Мониторинг служб
Службы - Сетевое
время
Перенос конфигурации раздела Службы -
Сетевое время
Службы - DNS
Перенос конфигурации раздела Службы -
DNS
Службы - Прокси
Перенос конфигурации раздела Службы -
Веб-прокси
Важно
Параметры синхронизации можно задать только на ноде с ролью синхронизации Master.
Нода с ролью Master предоставляет конфигурацию ноде с ролью Slave.
Мониторинг состояния нод в кластере
Мониторинг HA-кластера - критически важная задача для обеспечения бесперебойной работы сервисов.
В разделе HA-кластер - Состояние кластера собраны основные параметры и статусы, которые позволяют произвести первичный анализ состояния HA-кластера и соответсвующих нод.
Описание параметров и статусов в разделе Общая информация
Параметр
Описание параметра
Состояние
Статус состояния службы HA-кластера:
running(зеленый индикатор) – служба HA-кластера на ноде запущена;
stopped(желтый индикатор) - служба HA-кластера остановлена;
disable(красный индикатор) - служба кластеризации на ноде отключена;
Режим работы HA-кластера
Статус режима работы ноды в HA-кластере:
Undefined - служба HA-кластера на ноде не запущена;
Active - Passive - нода настроена в режиме Active - Passive;
Active - Active - нода настроена в режиме Active - Active;
Синхронизация конфигурации
Статус синхронизации конфигурации между нодами:
Undefined(серый индикатор) - служба HA-кластера на ноде не запущена;
Synchronized(зеленый индикатор) - конфигурации нод в HA-кластере синхронизированы;
NotSynchronized(желтый индикатор) - конфигурации нод в HA-кластере не синхронизированы;
В разделе VRRP-роутеры отображается перечень сконфигурированных VRRP-роутеров и соответствующие статусы ролей:
Master(зеленый индикатор) - VRRP-роутер с ролью Master производит обработку поступающего трафика;
Backup(желтый индикатор) - VRRP-роутер с ролью Backup производит мониторинг соседнего Master VRRP-роутера. При сбое соседнего VRRP-роутера берет на себя роль Master;
На фронтальной за состояние кластера отвечает индикатор «Резерв»:
Зелёный - Хотя бы один из VRRP-роутеров в состоянии Master, нет VRRP-роутеров в статусе fault
Жёлтый - Все VRRP-роутеры в состоянии Backup
Красный - Хотя бы один из VRRP-роутеров в состоянии fault
Журналы и основные события
ОС REFOS производит регистрацию событий функционирования службы HA-кластера. В разделе HA-кластер - Журнал событий представлен журнал с основными событиями.
События делятся на три типа:
Cluster state - информация о состоянии и функционировании службы HA-кластера;
Verifications events - информация о проверках работоспособности
Synchronization - информация о состоянии синхронизации конфигурации между нодами HA-кластера.
Описание базовых событий
Событие в журнале
Описание
[check] VRRP_Script(check_lan) failed (exited
with status 1)
Пример конфигурации HA-кластера в режиме Active/Passive
Предположим, что необходимо настроить HA-кластер из двух нод в режиме Active/Passive в рамках сетевой топологии ниже.
В рамках данного примера предполагается, что активная нода с ролью MASTER берет на себя обработку трафика, а пассивная нода с ролью BACKUP мониторит состояние активной ноды.
Используя линк синхронизации между нодами, производится перенос сессий (таблица состояния соединений) с активной ноды на пассивную. Виртуальные интерфейсы позволяют резервировать шлюз по умолчанию.
Также в рамках кластера производится перенос конфигурации с активной ноды на пассивную. Для дополнительной отказоустойчивости производится конфигурация двух проверок работоспособности, которые производят мониторинг состояния внешнего интерфейса и доступность удаленного сервиса.
Конфигурация состоит из большого количества параметров в разных разделах системы и следует использовать определенную последовательность:
В разделе HA-кластер - Настройки - Проверки работоспособности произвести конфигурацию двух проверок производительности, которые будут производить мониторинг состояния внешнего интерфейса и доступность удаленного узла.
Примечание
Таким образом повышается отказоустойчивость HA-кластера. При отсутствии доступа к удаленным сетям Backup нода возьмет роль Master. По умолчанию без проверок работоспособности контролируются только VRRP-интерфейсы внутреннего сетевого сегмента; Это не обязательный этап, необходимый дополнительного мониторинга нод в кластере.
В разделе HA-кластер - Настройки - Группы роутеров произвести конфигурацию Группы и привязать к ней созданные ранее проверки.
Примечание
Группу роутеров необходимо создать, даже если VRRP-роутер планируется только один.
В разделе HA-кластер - Настройки - Общие параметры произвести конфигурацию основных параметров синхронизации конфигурации;
Важно
Для исключения возможных ошибок применения конфигурации и исправной работы кластера рекомендуется использование идентичных физических интерфейсов в топологии кластера. Также адресация участвующих интерфейсов каждой ноды должна быть уникальна.
Пример конфигурации MASTER-ноды
В разделе HA-кластер - Настройки - Проверки работоспособности произвести конфигурацию двух проверок производительности, которые будут мониторить состояние внешнего интерфейса и доступность удаленного узла.
Пример конфигурации проверки, которая производит мониторинг интерфейса.
Параметр
Описание/Значение параметра
Включить
Активировать конфигурацию проверки.
Имя
Указать уникальное имя проверки - Test_int
Тип проверки
Указать тип проверки - Интерфейс, которая
будет использоваться для проверки
функционирования интерфейса.
Интерфейс для
мониторинга
Указать интерфейс, который будет использоваться
для мониторинга - GE1.
Минимальная
скорость
Указать минимальную скорость интерфейса 1Гбит/c
- 1000. При изменении скорости интерфейса
ниже заданного значения сработает триггер
проверки.
Режим работы
Задать режим работы интерфейса -
Full Duplex. При смене режима работы
интерфейса сработает триггер проверки.
Ожидаемый
результат проверки
Указать ожидаемый результат проверки -
True. Условия проверки должны выполняться.
Пример конфигурации проверки, которая производит мониторинг удаленного узла.
Параметр
Описание/Значение параметра
Включить
Активировать конфигурацию проверки.
Имя
Указать уникальное имя проверки - Test_Ping
Тип проверки
Указать тип проверки - IP-адрес, которая
будет использоваться для проверки доступности
удаленного хоста.
Интерфейс для
мониторинга
Указать интерфейс, который будет использоваться
для генерации проверочных ICMP-сообщений -
GE1.
IP-адрес
назначения
Указать IP-адрес удаленного узла
для мониторинга - 8.8.8.8.
Максимальное RTT
(мс)
Указать максимальное время RTT(Round-Trip Time)
в миллисекундах для ICMP - запросов - 50.
Количество
ICMP-пакетов
Указать количество ICMP -пакетов, генерируемые
в рамках проверки.
Ожидаемый
результат проверки
Указать ожидаемый результат проверки -
True. Условия проверки должны выполняться.
Пример конфигурации проверки, которая производит мониторинг интерфейса.
Пример конфигурации проверки, которая производит мониторинг удаленного узла.
Итоговая конфигурация проверок работоспособности.
В разделе HA-кластер - Настройки - Группы роутеров произвести конфигурацию группы, которая будет использоваться для привязки проверки работоспособности к определенному VRRP-роутеру.
Пример конфигурации группы роутеров.
Параметр
Описание/Значение параметра
Имя группы
Задать имя для группы роутеров - R1.
Включить
проверки
Активировать опцию для привязки проверок
работоспособности
Список проверок
для группы
Указать ранее сконфигурированные проверки -
Test_int, Test_Ping.
Логическое условие
проверок
Указать логическое условие выполнение проверки
- И, т.е. должны выполняться все проверки.
В ином случае произойдет общий триггер
проверок.
Интервал проверок
(сек)
Указать периодичность выполнения проверок в
секундах - 3.
Пример конфигурации группы роутеров.
Итоговая конфигурация групп роутеров.
В разделе HA-кластер - Настройки - VRRP-роутеры произвести конфигурацию экземпляра VRRP-роутера, который инициирует работу протокола VRRP.
Пример конфигурации VRRP-роутера.
Параметр
Описание/Значение параметра
Включить
Активировать работу данного VRRP-роутера.
Наименование
VRRP-роутера
Задать имя VRRP-роутера - router1.
Начальное
состояние
VRRP-роутера
Выбрать начальное состояние для Master-ноды -
MASTER
Интерфейс
Выбрать физический сетевой интерфейс, который
будет использоваться для работы VRRP - GE3.
VRRP ID
Указать уникальный идентификатор VRRP - 1.
Идентичный идентификатор VRRP должен
использоваться на соседней ноде.
Использовать
VMAC
В рамках данного примера эта опция
не используется.
Задать уникальный пароль аутентификации нод в
кластере - Rustel11. Пароль должен быть
идентичным на соседней ноде HA-кластера.
Группа роутеров
синхронизируемых
настроек**
Указать ранее сконфигурированную группу
роутеров - R1. Тем самым произведем
привязку к текущему VRRP-роутеру.
Пример конфигурации VRRP-роутера.
В разделе HA-кластер - Настройки - Общие параметры произвести конфигурацию режима работы HA-кластера и параметров синхронизации пассивной ноды, используя следующие параметры:
Пример конфигурации Общих параметры на Master-ноде.
Параметр
Описание/Значение параметра
Включить
Произвести запуск функции HA-кластера
IP-адреса узлов
кластера
Указать для каждой ноды IP-адреса интерфейсов
синхронизации конфигурации - 10.0.0.1,
10.0.0.2.
Режим работы
HA-кластера
Задать режим работы кластера - Active /
Passive.
Роль узла
синхронизации
Указать роль узла синхронизации - Master.
Т.е. предоставлять конфигурацию Slave-ноде.
Параметры для
синхронизации
В рамках данного примера списки синхронизации
конфигурации не используются.
Пример конфигурации Общих параметров.
BACKUP-нода имеет аналогичную конфигурацию, исключением является параметр Начальное состояние VRRP-роутера, значение которого должно быть BACKUP. А также Роль узла синхронизации на Backup-ноде необходим выставить в Slave.
Конфигурация VRRP-роутера на Backup-ноде.
Конфигурация Общих параметров на Backup-ноде.
После сохранения конфигураций HA-кластера, удостовериться, что служба корректно запустилась. Статус службы представлен в правом верхнем углу раздела HA-кластер.
Активный статус службы.
Для проверки работоспособности кластера необходимо проверить состояние нод в кластере. В разделе HA-кластер - Состояние кластера фиксируется состояние HA-кластера, статус VRRP-роутера, статус проверок работоспособности.
В рамках данного примера роли VRRP-роутеров должны корректно распределиться(Master/Backup). Статус проверок отображает «Ok» при следующих условиях: внешний интерфейс активен; удалённый узел отвечает.
Корректный статус Master-ноды.
Корректный статус Backup-ноды.
При ограничении доступа к удаленному узлу, на Master-ноде срабатывает триггер проверок работоспособности, нода меняет роль на Backup.
Пример срабатывания триггера проверок работоспособности.
Пример конфигурации кластера в режиме Active/Active c ARP-балансировкой
В следующем примере предположим, что необходимо настроить кластер из двух нод в режиме Active/Active с ARP-балансировкой в рамках сетевой топологии ниже.
В рамках данного примера используются две активные ноды, которые могут одновременно обрабатывать трафик.
Для балансировки трафика между нодами используется механизм ARP-балансировки, который позволяет при использовании одного виртуального IP-адреса распределять MAC-адреса интерфейсов нод между клиентами внутреннего сетевого сегмента.
Т.е. клиенты внутреннего сетевого сегмента используют виртуальный IP-адрес (Internal Virtual IP), как основной шлюз по умолчанию, но MAC-адресом шлюза может выступать интерфейс любой ноды в зависимости от MAC-адреса клиента.
Основная активная нода отвечает на ARP-запросы во внутреннем сетевом сегменте, распределяя MAC-адреса интерфейсов нод соответствующему виртуальному IP-адресу.
Например, в рамках представленной схемы, трафик клиента с IP-адресом 192.168.8.20 будет обрабатываться первой активной нодой, а трафик клиента с IP-адресом 192.168.8.21 будет обрабатываться второй активной нодой, тем самым производится распределение трафика по всем активным нодам.
Пример конфигурации первой активной ноды представлен ниже.
В разделе HA-кластер - Настройки - Общие параметры произвести конфигурацию первой активной ноды, используя следующие параметры:
Пример конфигурации HA-кластера в режиме Active/Active на Master-ноде.
Параметр
Описание/Значение параметра
Включить
Произвести запуск функции кластеризации.
IP-адреса узлов -
кластера
Указать для каждой ноды IP-адреса интерфейсов
синхронизации конфигурации - 192.168.8.2,
192.168.8.3.
Режим работы
HA-кластера
Задать режим работы HA-кластера - Active /
Active.
Роль узла
синхронизации
Указать роль узла синхронизации - Master.
Т.е. предоставлять конфигурацию Slave-ноде.
Интерфейс
внутренней сети
Указать сетевой интерфейс ноды, который будет
использоваться виртуальным IP-адресом
внутренней сети (Internal Virtual IP) -
GE6.
Интерфейс внешней
сети
Указать сетевой интерфейс ноды, который будет
использоваться виртуальным IP-адресом внешней
сети (External Virtual IP) - GE1.
Виртуальный
IP-адрес внутренней
сети
Задать виртуальный IP-адрес внутренней сети -
192.168.8.10.
Виртуальный
IP-адрес внешней
сети
Задать виртуальный IP-адрес внешней сети -
172.16.1.252.
Пароль
аутентификации
Задать уникальный пароль аутентификации нод в
кластере.
Список
синхронизируемых
настроек
Выбрать из списка синхронизируемые части
конфигурации текущей ноды.
Режим
балансировки
нагрузки
Включить ARP-балансировку
Приоритет
балансировки
нагрузки
Приоритет ноды для ARP балансировки.
Возможный диапазон значений от 0 до 255.
Вторая активная нода имеет аналогичную конфигурацию, исключением является параметр Приоритет балансировки нагрузки, значение которого равно 2.
Для проверки работоспособности кластера необходимо проверить состояние нод в кластере. В разделе HA-кластер - Состояние кластера фиксируется состояние, роль ноды, состояние синхронизации.
Важно
В рамках режима Active/Active используется две роли в кластере: - MASTER - BACKUP Ноды вне зависимости от роли в режиме Active/Active являются активными, т.е. производят обработку трафика.
Роль BACKUP также в рамках Active/Active является активной.
Параметры раздела HA-кластер - Состояние кластера первой активной ноды.
После проверки работоспособности кластера можно выбрать необходимые для переноса на резервную ноду списки конфигурации.
Пример конфигурации кластера в режиме Active/Active c балансировщиком трафика
В заключительном примере рассмотрена реализация кластеризации с внешним балансировщиком трафика. Предположим, что необходимо настроить кластер из двух нод в режиме Active/Active с внешним балансировщиком трафика, который производит распределение всего поступающего в кластер трафика.
В рамках примера производится конфигурация двух нод в кластере в режиме работы Active/Active. После конфигурации кластера производится настройка внешнего балансировщика.
Следует обратить внимание, что в рамках данного примера используется два виртуальных IP-адреса во внутренней и внешней сети кластера (Internal - 192.168.8.10, 192.168.8.11; External - 172.16.1.252, 172.16.1.253), по которым балансировщик производит перераспределение трафика.
Важно
В качестве балансировщика может выступать отдельный экземпляр RTT-M300 или любой иной брокер пакетов.
В разделе HA-кластер - Настройки - Общие параметры произвести конфигурацию первой активной ноды, используя следующие параметры:
Пример конфигурации первой активной Master-ноды.
Параметр
Описание/Значение параметра
Включен
Произвести запуск функции кластеризации.
Список нод в
кластере
Указать для каждой ноды IP-адреса интерфейсов
синхронизации конфигурации - 192.168.8.2,
192.168.8.3.
Режим работы
кластера
Задать режим работы HA-кластера - Active /
Active.
Интерфейс
внутренней сети
Указать сетевой интерфейс ноды, который будет
использоваться виртуальным IP-адресом
внутренней сети (Internal Virtual IP) -
GE6.
Интерфейс внешней
сети
Указать сетевой интерфейс ноды, который будет
использоваться виртуальным IP-адресом внешней
сети (External Virtual IP) - GE1.
Виртуальный
IP-адрес внутренней
сети
Задать виртуальный IP-адрес внутренней сети -
192.168.8.10.
Виртуальный
IP-адрес внешней
сети
Задать виртуальный IP-адрес внешней сети -
172.16.1.252.
Пароль
аутентификации
Задать уникальный пароль аутентификации нод в
кластере.
Password repeat
Повторить уникальный пароль аутентификации нод
в кластере.
Список
синхронизируемых
настроек
Выбрать из списка синхронизируемые части
конфигурации текущей ноды.
Пример конфигурации первой активной Master-ноды.
Вторая активная нода имеет аналогичную конфигурацию, исключением является параметры Виртуальный IP-адрес внутренней сети - 192.168.8.11, Виртуальный IP-адрес внешней сети- 172.16.1.253.
Пример конфигурации второй активной Master-ноды.
В разделе HA-кластер - Балансировщик трафика произвести конфигурацию балансировщика трафика, используя следующие параметры:
Пример конфигурации балансировщика трафика.
Параметр
Описание параметра
Включен
Запустить функцию балансировки трафика на устройстве.
Список нод в кластере
Указать виртуальные IP адреса (Virtual IP), которые используются нодами в кластере для синхронизации во внутреннем сетевом сегменте - 192.168.8.10, 192.168.8.11.
Механизм балансировки
Указать механизм балансировки. В рамках примера используется механизм Весовой коэффициент.
Список нод кластера и процент перераспределяемого трафика
Указать виртуальные IP адреса (Virtual IP), которые используются нодами в кластере во внутреннем сетевом сегменте и процентное соотношение распределяемого трафика. В рамках примера данные вводятся в формате 192.168.8.10:40, 192.168.8.11:60 (где 40/60 - это 40/60 процентов от общего количество распределяемого трафика);
Интерфейс внутренней сети
Укажите сетевой интерфейс, который «смотрит» в сторону сетевого сегмента (противоположная сторона от кластера) - GE5.
Интерфейс внешней сети
Укажите сетевой интерфейс, который «смотрит» в сторону кластера - GE4.
Пример конфигурации балансировщика трафика.
Для проверки работоспособности кластера необходимо проверить состояние нод в кластере. В разделе HA-кластер - Состояние кластера фиксируется состояние, роль ноды, количество синхронизаций.
В режиме active/active каждая нода должна иметь роль MASTER. Состояние службы кластеризации должно иметь статус - running (служба запущена).
Примечание
В режиме active/active после возобновления работы, MASTER берет роль BACKUP и сохраняет ее до новых выборов основной ноды в кластере.
Балансировщик в активном состоянии должен иметь статус - running.
После проверки работоспособности кластера можно выбрать необходимые для переноса на соседнюю ноду списки конфигурации.
Настройки кластера в режиме VMAC
В настройках VRRP-роутеров присутствует опция VMAC (Virtual MAC). Данная опция при включении изменяет логику работы резервирования: вместо резервирования IP-адреса начинает резервироваться MAC-адрес. Такой подход обеспечивает резервирование без необходимости перестраивать ARP таблицу на конечных хостах в момент переключения ролей между нодами. В первую очередь данный режим предназначается для работы в промышленных сетях, предъявляющих требования к неизменности состояния ARP таблиц на контролируемых устройствах.
Примечание
Опция VMAC может оптимизировать скорость работы кластера, однако она значительно усложняет корректную настройку всех модулей, и поэтому не рекомендуется без явной необходимости
Пример активированной опции VMAC приведён на изображении ниже:
При настройке кластера с включеной настройкой Использовать VMAC следует учитывать логику реализации функции VMAC.
Поскольку VMAC реализован на базе виртуального интерфейса, а настройка некоторых модулей предполагает указания названия интерфейса, то при включении Использовать VMAC следует производить настройки с учётом усложнившейся топологии: после включения VMAC трафик продолжает отправляться с физического интерфейса, но приходить на виртуальный.
Для примера рассмотрим простейший случай - переключение ролей кластера и прохождение трафика в этот момент.
Транзитный трафик будет представлен ICMP запросами от устройства в локальной сети с IP 192.168.9.123 до удалённого IP 8.8.8.8 и ответами в обратную сторону
Кроме этого, внутри кластера всегда есть служебный трафик, в данном случае это VRRP-анонсы, выполняющие синхронизацию ролей VRRP-роутеров и ARP-анонсы, рассылаемые для поддержнаия ARP таблиц в актуальном состоянии.
На данном изображении обозначены:
момент перехода роли Master на Backup ноду - синяя черта
MAC-адреса Физических интерфейсов обеих нод - зелёный контур
Виртуальный MAC-адрес при взаимодействии с обеими нодами - красный контур
Проанализируем эту ситуацию:
до перестроения кластера трафик отправляется с физического интерфейса Ноды-1, а возвращается уже на виртуальный
VRRP анонсы уходят с физического адреса Ноды-1
ARP анонсы уходят с вируального MAC-адреса, поскольку все устройства должны отправлять трафик на него
после смены ролей VRRP анонсы идут с физического адреса Ноды-2
трафик отправляется с физического интерфейса Ноды-2, а возвращается уже на виртуальный
Поскольку весь (как с направлением INPUT, так и FORWARD) трафик, который приходит на интерфейс кластера с VMAC, приходит не на физический, а на виртуальный интерфейс, то он не будет обработан правилами, настроеными на физическом интерфейсе. Для осуществления фильтрации, после активации VMAC необходимо зайти в раздел Правила фильтрации и выбрать подраздел vmac_[имя_VRRP_роутера], например:
Ниже приведён список модулей, которые может застронуть опция VMAC, и список действий для корректной конфигурации:
Модуль
Эффект при отсутствии донастройки под VMAC
Способ донастройки
Правила фильтрации
Перестают корректно фильтроваться пакеты,
приходящие на интерфейс, где активирован VMAC
Продублируйте необходимые правила на отдельно
вкладке Межсетевой экран - Правила фильтрации -
Имя_виртуального_интерфейса
DNAT
Перестают попадать под трасляцию DNAT пакеты,
приходящие на интерфейс, где активирован VMAC
Зайдите в раздел Межсетевой экран - NAT - DNAT (Prerouting),
зайдите в редактирование нужного правила, и выберите в настройке
Интерфейс помимо физического интерфейса ещё и вирутуальный
SNAT
Перестают попадать под трасляцию SNAT пакеты,
уходящие с интерфейса, где активирован VMAC
Зайдите в раздел Межсетевой экран - NAT - SNAT (Postrouting)
зайдите в редактирование нужного правила, и выберите в настройке
Интерфейс помимо физического интерфейса ещё и вирутуальный
Прокси
Прокси в прозрачном режиме перестаёт
перехватывать трафик
Необходимо внести правки в правила DNAT, перехватывающие трафик
СОВ (IDS/IPS)
СОВ в режиме IPS перестаёт детектировать пакеты
приходящие на интерфейс, где активирован VMAC
Настройкить захват пакетов на интерфейсы другой сетевой зоны,
где VMAC отсутствует
Параметры служебного трафика
Для синхронизации внутри кластера используется служебный трафик, который не должен попадать под блокирующие правила фильтрации, для того чтобы кластер функционировал.
Параметры трафика:
Назначение
Направление
Протокол
Порт получателя
IP назначения
Синхронизация ролей
INPUT
VRRP
224.0.0.18
Синхронизация
сессий и настроек
INPUT
UDP
3780
задаётся в разделе Кластеризация
- Настройки - Кластер
(по умолчанию 224.0.0.50)
Примечание
В режиме Стандартной политики «Отклонять» необходимо создавать разрешающие правила.
Обновление системного ПО (REFOS) каждой ноды в кластере.
При наличии новой версии ПО обновляется каждая нода последовательно. В рамках кластера версия ПО не должна отличаться. В режиме active/passive синхронизация сессий напрямую зависит от версии ПО каждой ноды.
При наличии в кластере нод с разными версиями ПО, синхронизация сессий производиться не будет.
