read_kinesis функция потоковой передачи табличного значения

Область применения: Databricks SQL Databricks Runtime 13.3 LTS и выше

Возвращает таблицу с записями, считываемыми из Kinesis из одного или нескольких потоков.

Синтаксис

read_kinesis ( { parameter => value } [, ...] )

Аргументы

read_kinesis требует вызова именованных параметров.

Единственным обязательным аргументом является streamName. Все остальные аргументы являются необязательными.

Ниже приведены краткие описания аргументов. Дополнительные сведения см. в документации Amazon Kinesis .

Существует несколько способов подключения и проверки подлинности с помощью AWS. Рекомендуемый подход — создать учетные данные службы Databricks и указать их, используя опцию serviceCredential. Кроме того, можно выполнить проверку подлинности с помощью awsAccessKey и awsSecretKey. Эти параметры можно указать в аргументах функции с помощью secret функции, вручную задать в аргументах или настроить в качестве переменных среды, как указано ниже. roleArn, roleExternalID, roleSessionName также можно использовать для аутентификации в AWS с помощью профилей экземпляров. Если ни одно из них не указано, оно будет использовать цепочку поставщиков AWS по умолчанию.

Следующие аргументы используются для управления пропускной способностью чтения и задержкой для Kinesis:

Возвраты

Таблица записей Kinesis со следующей схемой:

Столбцы (stream, shardId, sequenceNumber) представляют собой первичный ключ.

Примеры

-- Streaming Ingestion from Kinesis
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        awsAccessKey => secret('test-databricks', 'awsAccessKey'),
        awsSecretKey => secret('test-databricks', 'awsSecretKey'),
        initialPosition => 'earliest');

-- The data would now need to be queried from the testing.streaming_table

-- A streaming query when the environment variables already contain AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest');

-- A streaming query when the roleArn, roleSessionName, and roleExternalID are configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest',
        roleArn => 'arn:aws:iam::123456789012:role/MyRole',
        roleSessionName => '[email protected]');

Связанные функции

• sequence функция
• read_kafka Функция с табличным значением
• read_pubsub функция потоковой передачи табличного значения