Перейти к основному содержимому
Перейти к основному содержимому

azureBlobStorageCluster Табличная Функция

Позволяет обрабатывать файлы из Azure Blob Storage параллельно с множеством узлов в указанном кластере. При запуске создается соединение со всеми узлами в кластере, скрываются символы в пути файла S3, и динамически распределяются задачи для каждого файла. На рабочем узле он запрашивает у инициатора следующую задачу для обработки и выполняет ее. Это повторяется до тех пор, пока все задачи не будут выполнены. Эта табличная функция аналогична функции s3Cluster.

Синтаксис

Аргументы

  • cluster_name — Имя кластера, являющегося основой для построения набора адресов и параметров соединения с удаленными и локальными серверами.
  • connection_string|storage_account_url — connection_string включает имя аккаунта и ключ (Создать строку соединения) или можно также указать URL хранилища здесь и имя аккаунта с ключом как отдельные параметры (см. параметры account_name и account_key)
  • container_name - Имя контейнера
  • blobpath - путь к файлу. Поддерживает следующие подстановочные знаки в режиме только для чтения: *, **, ?, {abc,def} и {N..M}, где N, M — числа, 'abc', 'def' — строки.
  • account_name - если используется storage_account_url, то имя аккаунта можно указать здесь
  • account_key - если используется storage_account_url, то ключ аккаунта можно указать здесь
  • format — формат файла.
  • compression — Поддерживаемые значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. По умолчанию автоматически определяется метод сжатия по расширению файла. (то же самое, что установка на auto).
  • structure — Структура таблицы. Формат 'column1_name column1_type, column2_name column2_type, ...'.

Возвращаемое значение

Таблица с указанной структурой для чтения или записи данных в указанном файле.

Примеры

Аналогично движку таблиц AzureBlobStorage, пользователи могут использовать эмулятор Azurite для локальной разработки в Azure Storage. Подробности здесь. Предположим, что Azurite доступен на хосте azurite1.

Выберите количество для файла test_cluster_*.csv, используя все узлы в кластере cluster_simple:

См. также

Использование Общих Доступов Подписей (SAS)​

Смотрите azureBlobStorage для примеров.