Перемещение данных из облачного объектного хранилища в ClickHouse Cloud

Если вы используете облачное объектное хранилище в качестве озера данных и хотите импортировать эти данные в ClickHouse Cloud, или если ваша текущая система баз данных может напрямую выгружать данные в облачное объектное хранилище, вы можете использовать одну из табличных функций для миграции данных, хранящихся в облачном объектном хранилище, в таблицу ClickHouse Cloud:

Если ваша текущая система баз данных не может напрямую выгружать данные в облачное объектное хранилище, вы можете использовать инструмент ETL/ELT стороннего производителя или clickhouse-local для перемещения данных из вашей текущей системы баз данных в облачное объектное хранилище, чтобы мигрировать эти данные во втором этапе в таблицу ClickHouse Cloud.

Хотя это двухступенчатый процесс (выгрузка данных в облачное объектное хранилище, затем загрузка в ClickHouse), преимущество в том, что это масштабируется до петабайтов благодаря надежной поддержке ClickHouse Cloud высокопараллельных чтений из облачного объектного хранилища. Кроме того, вы можете использовать сложные и сжатые форматы, такие как Parquet.

Есть статья в блоге с конкретными примерами кода, показывающая, как вы можете получить данные в ClickHouse Cloud с использованием S3.