Перейти к основному содержимому
Перейти к основному содержимому

Руководство по настройке источника Aurora Postgres

Поддерживаемые версии Postgres​

ClickPipes поддерживает Aurora PostgreSQL-Compatible Edition версии 12 и выше.

Включите логическую репликацию​

Вы можете пропустить этот раздел, если ваша инстанс Aurora уже имеет следующие настройки:

  • rds.logical_replication = 1
  • wal_sender_timeout = 0

Эти настройки обычно предустановлены, если вы ранее использовали другой инструмент репликации данных.

Если настройки не сконфигурированы, выполните следующие шаги:

  1. Создайте новую группу параметров для вашей версии Aurora PostgreSQL с необходимыми настройками:
    • Установите rds.logical_replication в 1
    • Установите wal_sender_timeout в 0
  1. Примените новую группу параметров к вашему кластеру Aurora PostgreSQL
  1. Перезагрузите ваш кластер Aurora, чтобы применить изменения

Настройте пользователя базы данных​

Подключитесь к вашему инстансу Aurora PostgreSQL как администратор и выполните следующие команды:

  1. Создайте специализированного пользователя для ClickPipes:

  2. Предоставьте права на схему. Следующий пример показывает права для схемы public. Повторите эти команды для каждой схемы, которую вы хотите реплицировать:

  3. Предоставьте привилегии репликации:

  4. Создайте публикацию для репликации:

Настройте сетевой доступ​

Контроль доступа по IP​

Если вы хотите ограничить трафик к вашему кластеру Aurora, добавьте документированные статические NAT IP-адреса в Inbound rules вашей группы безопасности Aurora.

Чтобы подключиться к вашему кластеру Aurora через частную сеть, вы можете использовать AWS PrivateLink. Следуйте нашему руководству по настройке AWS PrivateLink для ClickPipes, чтобы настроить соединение.

Особые моменты для Aurora​

При настройке ClickPipes с Aurora PostgreSQL, обратите внимание на следующие моменты:

  1. Точка подключения: Всегда подключайтесь к конечной точке записи вашего кластера Aurora, так как логическая репликация требует доступа на запись для создания слотов репликации и должна подключаться к основному экземпляру.

  2. Обработка отказов: В случае сбоя Aurora автоматически продвигает читателя до нового писателя. ClickPipes обнаружит разъединение и попытается повторно подключиться к конечной точке писателя, которая теперь будет указывать на новый основной экземпляр.

  3. Глобальная база данных: Если вы используете Aurora Global Database, следует подключаться к конечной точке писателя первичного региона, так как межрегиональная репликация уже обрабатывает перемещение данных между регионами.

  4. Хранение: Уровень хранения Aurora совместно используется всеми экземплярами в кластере, что может обеспечить лучшую производительность для логической репликации по сравнению со стандартным RDS.

Работа с динамическими конечными точками кластера​

Хотя Aurora предоставляет стабильные конечные точки, которые автоматически направляют на соответствующий экземпляр, вот несколько дополнительных подходов для обеспечения стабильного подключения:

  1. Для настроек высокой доступности конфигурируйте ваше приложение так, чтобы оно использовало конечную точку писателя Aurora, которая автоматически указывает на текущий основной экземпляр.

  2. Если используется межрегиональная репликация, рассмотрите возможность настройки отдельных ClickPipes для каждого региона, чтобы уменьшить задержку и улучшить отказоустойчивость.

Что дальше?​

Теперь вы можете создать свой ClickPipe и начать принимать данные из вашего кластера Aurora PostgreSQL в ClickHouse Cloud. Не забудьте записать данные подключения, которые вы использовали при настройке вашего кластера Aurora PostgreSQL, поскольку они понадобятся вам в процессе создания ClickPipe.