read_kafka табличное значение функции

Область применения: Databricks SQL Databricks Runtime 13.3 LTS и выше

Считывает данные из кластера Apache Kafka и возвращает данные в табличной форме.

Может считывать данные из одной или нескольких тем Kafka. Он поддерживает как пакетные запросы, так и прием потоковой передачи.

Синтаксис

read_kafka([option_key => option_value ] [, ...])

Аргументы

Для этой функции требуется вызов именованного параметра.

• option_key: имя параметра для настройки. Необходимо использовать обратные кавычки () for options that contain dots (.`).
• option_value: константное выражение для задания параметра. Принимает литералы и скалярные функции.

Возвраты

Записи считываются из кластера Apache Kafka со следующей схемой:

• key BINARY: ключ для записи Kafka.
• value BINARY NOT NULL: значение записи Kafka.
• topic STRING NOT NULL: имя топика Kafka, из которого считывается запись.
• partition INT NOT NULL: идентификатор раздела Kafka, из которого считывается запись.
• offset BIGINT NOT NULL: номер смещения записи в TopicPartitionKafka.
• timestamp TIMESTAMP NOT NULL: значение метки времени для записи. Столбец timestampType определяет, что соответствует этой метке времени.
• timestampType INTEGER NOT NULL: тип метки времени, указанной в столбце timestamp.
• headers ARRAY<STRUCT<key: STRING, VALUE: BINARY>>: значения заголовков, предоставленные как часть записи (если включено).

Примеры

-- A batch query to read from a topic.
> SELECT value::string as value
  FROM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  ) LIMIT 10;

-- Streaming ingestion from Kafka with JSON parsing.
> CREATE OR REFRESH STREAMING TABLE catalog.schema.raw_events AS
  SELECT
    value::string:events,                 -- extract the field `events`
    to_timestamp(value::string:ts) as ts  -- extract the field `ts` and cast to timestamp
  FROM STREAM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  );

Параметры

Подробный список параметров можно найти в документации по Apache Spark .

Обязательные параметры

Укажите приведенный ниже вариант для подключения к кластеру Kafka.

Укажите только один из приведенных ниже вариантов, чтобы настроить, какие разделы Kafka будут извлекать данные из.

Прочие параметры

read_kafka можно использовать в пакетных запросах и в потоковых запросах. Приведенные ниже параметры указывают тип запроса, к которому они применяются.

Связанные статьи

• CREATE STREAMING TABLE
• табличное значение функции
• read_pubsub функция потоковой передачи табличного значения