Пакетные вставки
Загружайте данные пакетами
По умолчанию каждая вставка, отправляемая в ClickHouse, приводит к немедленному созданию части на хранилище, содержащей данные из вставки вместе с другой метаданной, которую необходимо сохранить. Поэтому отправка меньшего количества вставок, каждая из которых содержит больше данных, по сравнению с отправкой большего количества вставок, каждая из которых содержит меньше данных, сократит количество необходимых записей. Как правило, мы рекомендуем вставлять данные в достаточно больших пакетах, по крайней мере, по 1,000 строк за раз, а в идеале — от 10,000 до 100,000 строк. Для достижения этой цели рассмотрите возможность реализации механизма буфера, такого как использование движка таблицы Buffer для включения пакетных вставок, или используйте асинхронные вставки (см. асинхронные вставки).
Независимо от размера ваших вставок, мы рекомендуем удерживать количество запросов на вставку около одного запроса на вставку в секунду. Причина этой рекомендации заключается в том, что созданные части сливаются в более крупные части в фоновом режиме (для оптимизации ваших данных для запросов на чтение), и отправка слишком большого количества запросов на вставку в секунду может привести к ситуациям, когда фоновое слияние не может успевать за количеством новых частей. Однако вы можете использовать более высокую скорость запросов на вставку в секунду, когда используете асинхронные вставки (см. асинхронные вставки).