Перейти к основному содержимому
Перейти к основному содержимому

Руководство по настройке источника RDS Postgres

Поддерживаемые версии Postgres​

ClickPipes поддерживает версии Postgres 12 и выше.

Включите логическую репликацию​

Вы можете пропустить этот раздел, если ваш экземпляр RDS уже имеет следующие настройки:

  • rds.logical_replication = 1
  • wal_sender_timeout = 0

Эти настройки обычно заранее сконфигурированы, если вы ранее использовали другой инструмент репликации данных.

Если они еще не сконфигурированы, выполните следующие шаги:

  1. Создайте новую группу параметров для вашей версии Postgres с требуемыми настройками:
    • Установите rds.logical_replication в 1
    • Установите wal_sender_timeout в 0
  1. Примените новую группу параметров к вашей базе данных RDS Postgres
  1. Перезагрузите ваш экземпляр RDS, чтобы применить изменения

Настройте пользователя базы данных​

Подключитесь к вашему экземпляру RDS Postgres как пользователь-администратор и выполните следующие команды:

  1. Создайте отдельного пользователя для ClickPipes:

  2. Предоставьте права на схему. Пример ниже показывает права для схемы public. Повторите эти команды для каждой схемы, которую вы хотите реплицировать:

  3. Предоставьте права на репликацию:

  4. Создайте публикацию для репликации:

Настройте сетевой доступ​

Контроль доступа на основе IP​

Если вы хотите ограничить трафик к вашему экземпляру RDS, добавьте документированные статические NAT IP-адреса в Inbound rules вашей группы безопасности RDS.

Чтобы подключиться к вашему экземпляру RDS через частную сеть, вы можете использовать AWS PrivateLink. Следуйте нашему руководству по настройке AWS PrivateLink для ClickPipes, чтобы установить соединение.

Обходные пути для RDS Proxy​

RDS Proxy не поддерживает соединения логической репликации. Если у вас динамические IP-адреса в RDS и вы не можете использовать DNS-имя или лямбду, вот несколько альтернатив:

  1. Используя cron, периодически определяйте IP-адрес конечной точки RDS и обновляйте NLB, если он изменился.
  2. Использование событий RDS с EventBridge/SNS: автоматическое публикация обновлений с использованием уведомлений событий AWS RDS.
  3. Стабильный EC2: развёртывание экземпляра EC2 для работы в качестве службы опроса или прокси на основе IP.
  4. Автоматизация управления IP-адресами с использованием таких инструментов, как Terraform или CloudFormation.

Что будет дальше?​

Теперь вы можете создать свой ClickPipe и начать приём данных из вашего экземпляра Postgres в ClickHouse Cloud. Не забудьте записать детали соединения, которые вы использовали при настройке вашего экземпляра Postgres, так как они понадобятся вам в процессе создания ClickPipe.