функция табличного типа deltaLakeCluster

Это расширение для функции табличного типа deltaLake.

Позволяет обрабатывать файлы из таблиц Delta Lake в Amazon S3 в параллельном режиме с множества узлов в указанном кластере. На инициаторе создается соединение со всеми узлами в кластере и динамически распределяются файлы. На рабочем узле он запрашивает у инициатора следующую задачу для обработки и выполняет ее. Это повторяется до тех пор, пока все задачи не будут завершены.

Синтаксис

Аргументы

cluster_name — Имя кластера, которое используется для построения набора адресов и параметров соединения с удаленными и локальными серверами.
Описание всех других аргументов совпадает с описанием аргументов в эквивалентной функции табличного типа deltaLake.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера в указанной таблице Delta Lake в S3.

Смотрите также