Parquet
| Входной | Выходной | Псевдоним |
|---|---|---|
| ✔ | ✔ |
Описание
Apache Parquet — это столбцовый формат хранения, широко распространенный в экосистеме Hadoop. ClickHouse поддерживает операции чтения и записи для этого формата.
Сопоставление типов данных
Ниже представлена таблица поддерживаемых типов данных и их соответствий типам данных ClickHouse в запросах INSERT и SELECT.
Тип данных Parquet (INSERT) | Тип данных ClickHouse | Тип данных Parquet (SELECT) |
|---|---|---|
BOOL | Bool | BOOL |
UINT8, BOOL | UInt8 | UINT8 |
INT8 | Int8/Enum8 | INT8 |
UINT16 | UInt16 | UINT16 |
INT16 | Int16/Enum16 | INT16 |
UINT32 | UInt32 | UINT32 |
INT32 | Int32 | INT32 |
UINT64 | UInt64 | UINT64 |
INT64 | Int64 | INT64 |
FLOAT | Float32 | FLOAT |
DOUBLE | Float64 | DOUBLE |
DATE | Date32 | DATE |
TIME (ms) | DateTime | UINT32 |
TIMESTAMP, TIME (us, ns) | DateTime64 | TIMESTAMP |
STRING, BINARY | String | BINARY |
STRING, BINARY, FIXED_LENGTH_BYTE_ARRAY | FixedString | FIXED_LENGTH_BYTE_ARRAY |
DECIMAL | Decimal | DECIMAL |
LIST | Array | LIST |
STRUCT | Tuple | STRUCT |
MAP | Map | MAP |
UINT32 | IPv4 | UINT32 |
FIXED_LENGTH_BYTE_ARRAY, BINARY | IPv6 | FIXED_LENGTH_BYTE_ARRAY |
FIXED_LENGTH_BYTE_ARRAY, BINARY | Int128/UInt128/Int256/UInt256 | FIXED_LENGTH_BYTE_ARRAY |
Массивы могут быть вложенными и могут иметь значение типа Nullable в качестве аргумента. Типы Tuple и Map также могут быть вложенными.
Неподдерживаемые типы данных Parquet:
FIXED_SIZE_BINARYJSONUUIDENUM.
Типы данных столбцов таблицы ClickHouse могут отличаться от соответствующих полей данных Parquet, которые вставляются. При вставке данных ClickHouse интерпретирует типы данных в соответствии с таблицей выше, а затем приводит типы данных к тому типу, который установлен для столбца таблицы ClickHouse.
Пример использования
Вставка и выборка данных
Вы можете вставить данные Parquet из файла в таблицу ClickHouse, используя следующую команду:
Вы можете выбрать данные из таблицы ClickHouse и сохранить их в некотором файле в формате Parquet, используя следующую команду:
Для обмена данными с Hadoop вы можете использовать HDFS table engine.
Настройки формата
| Настройка | Описание | Значение по умолчанию |
|---|---|---|
input_format_parquet_case_insensitive_column_matching | Игнорировать регистр при сопоставлении столбцов Parquet со столбцами CH. | 0 |
input_format_parquet_preserve_order | Избежать перекрытия строк при чтении из файлов Parquet. Обычно это делает процесс значительно медленнее. | 0 |
input_format_parquet_filter_push_down | При чтении файлов Parquet пропускать целые группы строк на основе выражений WHERE/PREWHERE и мин/max статистики в метаданных Parquet. | 1 |
input_format_parquet_bloom_filter_push_down | При чтении файлов Parquet пропускать целые группы строк на основе выражений WHERE и фильтра Блума в метаданных Parquet. | 0 |
input_format_parquet_use_native_reader | При чтении файлов Parquet использовать нативный читатель вместо arrow reader. | 0 |
input_format_parquet_allow_missing_columns | Разрешить отсутствующие столбцы при чтении входных форматов Parquet. | 1 |
input_format_parquet_local_file_min_bytes_for_seek | Минимальное количество байт, необходимое для локального чтения (файла), чтобы произвести поиск, вместо чтения с игнорированием в входном формате Parquet. | 8192 |
input_format_parquet_enable_row_group_prefetch | Включить предварительное выборку групп строк во время парсинга Parquet. В данный момент только однопоточный парсер может предварительно выбирать. | 1 |
input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference | Пропускать столбцы с неподдерживаемыми типами при выводе схемы для формата Parquet. | 0 |
input_format_parquet_max_block_size | Максимальный размер блока для читателя Parquet. | 65409 |
input_format_parquet_prefer_block_bytes | Средний размер блока, выводимый читателем Parquet. | 16744704 |
output_format_parquet_row_group_size | Целевой размер группы строк в строках. | 1000000 |
output_format_parquet_row_group_size_bytes | Целевой размер группы строк в байтах, до сжатия. | 536870912 |
output_format_parquet_string_as_string | Использовать тип Parquet String вместо Binary для строковых столбцов. | 1 |
output_format_parquet_fixed_string_as_fixed_byte_array | Использовать тип Parquet FIXED_LENGTH_BYTE_ARRAY вместо Binary для столбцов FixedString. | 1 |
output_format_parquet_version | Версия формата Parquet для выходного формата. Поддерживаемые версии: 1.0, 2.4, 2.6 и 2.latest (по умолчанию). | 2.latest |
output_format_parquet_compression_method | Метод сжатия для выходного формата Parquet. Поддерживаемые кодеки: snappy, lz4, brotli, zstd, gzip, none (несжатый). | zstd |
output_format_parquet_compliant_nested_types | В схеме файла parquet использовать имя 'element' вместо 'item' для элементов списка. Это исторический артефакт реализации библиотеки Arrow. Обычно увеличивает совместимость, кроме, возможно, с некоторыми старыми версиями Arrow. | 1 |
output_format_parquet_use_custom_encoder | Использовать более быстрое внедрение кодировщика Parquet. | 1 |
output_format_parquet_parallel_encoding | Выполнять кодирование Parquet в нескольких потоках. Требует output_format_parquet_use_custom_encoder. | 1 |
output_format_parquet_data_page_size | Целевой размер страницы в байтах, до сжатия. | 1048576 |
output_format_parquet_batch_size | Проверять размер страницы каждые это количество строк. Рассмотрите возможность уменьшения, если у вас есть столбцы со средним размером значений выше нескольких КБ. | 1024 |
output_format_parquet_write_page_index | Добавить возможность записи индекса страницы в файлы parquet. | 1 |
input_format_parquet_import_nested | Устаревшая настройка, ничего не делает. | 0 |