Как вставить данные из PostgreSQL

Мы рекомендуем прочитать это руководство, чтобы узнать о лучших практиках вставки данных в ClickHouse для оптимизации производительности вставок.

Для пакетной загрузки данных из PostgreSQL пользователи могут использовать:

• использование ClickPipes, управляемого интеграционного сервиса для ClickHouse Cloud - в настоящее время на частной предварительной версии. Пожалуйста, зарегистрируйтесь здесь
• PeerDB by ClickHouse, инструмент ETL, специально разработанный для репликации баз данных PostgreSQL как в самоуправляемый ClickHouse, так и в ClickHouse Cloud.
  • PeerDB теперь доступен в ClickHouse Cloud - молниеносная репликация Postgres в ClickHouse CDC с нашим новым коннектором ClickPipe - сейчас на частной предварительной версии. Пожалуйста, зарегистрируйтесь здесь
• Табличная функция Postgres для непосредственного чтения данных. Это обычно уместно, если пакетная репликация на основе известного водяного знака, например, временной метки, является достаточной или если это одноразовая миграция. Этот подход может масштабироваться до десятков миллионов строк. Пользователи, стремящиеся мигрировать большие объемы данных, должны рассмотреть возможность множественных запросов, каждый из которых обрабатывает часть данных. Промежуточные таблицы могут использоваться для каждой части перед перемещением ее разделов в окончательную таблицу. Это позволяет повторно попытаться выполнить неудачные запросы. Для получения дополнительной информации об этой стратегии пакетной загрузки смотрите здесь.
• Данные могут быть экспортированы из Postgres в формате CSV. Затем их можно вставить в ClickHouse из локальных файлов или через объектное хранилище, используя табличные функции.