Добавление источника данных Amazon Kinesis Data Streams в поток событий

В этой статье показано, как добавить источник Amazon Kinesis Data Streams в поток событий.

Amazon Kinesis Data Streams — это масштабируемая и высокодоступная служба приема и обработки данных, оптимизированная для потоковой передачи данных. Интеграция Amazon Kinesis Data Streams в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric.

Предварительные условия

  • Доступ к рабочей области в режиме лицензии на использование Fabric или в режиме пробной лицензии с правами на уровне участников или выше.
  • Учетная запись Amazon Web Services (AWS) с включенной службой Kinesis Data Streams.
  • Поток данных Amazon Kinesis должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети. Если он находится в защищенной сети, подключитесь к нему с помощью инъекции виртуальной сети соединителя Eventstream.

Добавьте Потоки данных Amazon Kinesis в качестве источника

Если вы еще не добавили источник в поток событий, выберите плитку "Подключить источники данных ". Вы также можете выбрать Добавить источник>Подключить источники данных на ленте.

Снимок экрана, показывающий выбор плитки для использования внешнего источника.

Если вы добавляете источник в уже опубликованный поток событий, переключитесь в режим редактирования . На ленте выберите Добавить источник>Подключить источники данных.

Снимок экрана: выборы для добавления внешних источников.

На шаге Выбор источника данных, выберите Kinesis Data Streams.

Снимок экрана с выбором потоков данных Kinesis.

Настройка и подключение к Потокам данных Amazon Kinesis

  1. В разделе "Подключение" выберите "Создать подключение" , чтобы создать подключение.

    Снимок экрана: страница

  2. В параметрах подключения введите имя потока данных из Amazon Kinesis для Имя потока данных.

    Снимок экрана: экран потока данных Amazon Kinesis.

  3. В учетных данных подключения выполните следующие действия.

    1. Введите имя этого облачного подключения в имени подключения.
    2. Убедитесь, что для типа аутентификации выбран ключ Kinesis.
    3. Введите учетные данные, используемые для доступа к потоку данных Kinesis для ключа API и секрета API. Перейдите в консоль Amazon Identity and Access Management (IAM) и выберите учетные данные безопасности. Скопируйте идентификатор ключа доступа с экрана ключей доступа и вставьте его в ключ API и секрет API.

    Снимок экрана: доступ к учетным данным безопасности Amazon Web Services (AWS) Kinesis.

  4. Нажмите Подключиться.

    Снимок экрана: экран

  5. На Connect введите имя этого нового источника потоков событий в Имя источника.

  6. Прокрутите вниз и в разделе "Настройка источника данных Amazon Kinesis" введите регион для источника данных. Код региона Amazon, например us-west-2, можно найти в сводке по потоку данных Kinesis.

    Снимок экрана: поле

Сведения о потоке или источнике

  1. На странице "Подключение" выполните одно из этих действий на основе того, используете ли вы поток событий или концентратор Real-Time.

    • Eventstream:

      В области сведений о источнике справа выполните следующие действия:

      1. Чтобы изменить имя источника, нажмите кнопку Карандаш.

      2. Обратите внимание, что имя потока событий и имя Stream доступны только для чтения.

    • центрReal-Time:

      В разделе сведений о потоке справа выполните следующие действия.

      1. Выберите рабочую область Fabric где нужно создать поток событий.

      2. Для имени eventstream нажмите кнопку «Карандаш» и введите название для eventstream.

      3. Значение имени потока автоматически создается шляхом добавления -stream к имени eventstream. Этот поток отображается на странице "Все потоки данных " концентратора в режиме реального времени, когда мастер завершит работу.

  2. Нажмите кнопку "Далее" в нижней части страницы "Настройка ".

Проверка и подключение

На экране "Обзор и подключение" просмотрите сводку и выберите "Добавить (Eventstream) или "Connect (Real-Time hub).

Проверка потока событий

В режиме редактирования можно увидеть источник Потока данных Amazon Kinesis, добавленный в поток событий.

Снимок экрана, показывающий источник Потоков данных Amazon Kinesis в режиме редактирования.

Чтобы реализовать этот недавно добавленный источник данных Amazon Kinesis Data Stream, выберите "Опубликовать". После выполнения этих действий источник данных Amazon Kinesis Data Stream доступен для визуализации в режиме реального времени.

Снимок экрана: источник Потоков данных Amazon Kinesis в режиме реального времени.

Примечание.

Чтобы просмотреть события из этого источника Amazon Kinesis Data Stream, убедитесь, что ключ доступа, используемый для создания облачного подключения, имеет разрешение на чтение для групп потребителей, префиксированных с префиксом "preview-".

Для источника данных Amazon Kinesis Data Stream можно просмотреть только сообщения в формате JSON .

Снимок экрана: предварительная версия исходных данных Amazon Kinesis Data Streams.

Другие соединители: