read_pulsar функция потоковой передачи табличного значения

Область применения: Databricks SQL Databricks Runtime 14.1 и выше

Возвращает таблицу с записями, считываемыми из Pulsar.

Эта табличная функция поддерживает только потоковые запросы и не поддерживает пакетные запросы.

Синтаксис

read_pulsar ( { option_key => option_value } [, ...] )

Аргументы

Для этой функции требуется использование именованных параметров при вызове ключей опций.

Параметры serviceUrl и topic обязательны.

Ниже приведены краткие описания аргументов. См. документацию по структуированному потоковому вещанию Pulsar для получения более подробных описаний.

Следующие аргументы используются для проверки подлинности клиента pulsar:

Эти аргументы используются для настройки и проверки подлинности системы управления доступом пульсара. Конфигурация администратора pulsar требуется только в том случае, если включено управление доступом (когда задан параметр maxBytesPerTrigger).

Возвраты

Таблица записей пульсара со следующей схемой.

• __key STRING NOT NULL: ключ сообщения Pulsar.

• value BINARY NOT NULL: значение сообщения Pulsar.

  Примечание. Для разделов с схемой Avro или JSON вместо загрузки содержимого в поле двоичного значения содержимое будет развернуто, чтобы сохранить имена полей и типы полей раздела Pulsar.

• __topic STRING NOT NULL: имя раздела Pulsar.

• __messageId BINARY NOT NULL: идентификатор сообщения Pulsar.

• __publishTime TIMESTAMP NOT NULL: время публикации сообщения Pulsar.

• __eventTime TIMESTAMP NOT NULL: время события сообщения Pulsar.

• __messageProperties MAP<STRING, STRING>: параметры сообщения Pulsar.

Примеры

-- Streaming from Pulsar
> CREATE STREAMING TABLE testing.streaming_table AS
  SELECT * FROM STREAM read_pulsar(
      serviceUrl => 'pulsar://broker.example.com:6650',
      startingOffsets => 'earliest',
      topic => 'my-topic');

-- Streaming Ingestion from Pulsar with authentication
> CREATE STREAMING TABLE testing.streaming_table AS
  SELECT * FROM STREAM read_pulsar(
        serviceUrl => 'pulsar://broker.example.com:6650',
        startingOffsets => 'earliest',
        topic => 'my-topic',
        pulsarClientAuthPluginClassName => 'org.apache.pulsar.client.impl.auth.AuthenticationKeyStoreTls',
        pulsarClientAuthParams => 'keyStoreType:JKS,keyStorePath:/var/private/tls/client.keystore.jks,keyStorePassword:clientpw'
        );

The data can now to be queried from the testing.streaming_table for further analysis.

Связанные статьи

• CREATE STREAMING TABLE
• read_files табличное значение функции
• read_kafka табличное значение функции
• read_kinesis функция потоковой передачи табличного значения