Получение данных из других источников данных

Из этой статьи вы узнаете, как получить события из широкого спектра источников данных и соединителей в центре Real-Time в новую или существующую таблицу. Это можно сделать непосредственно из интерфейса получения данных в базе данных KQL в Real-Time Intelligence, не оставляя рабочий процесс или не настраивая поток событий.

Предпосылки

Шаг 1. Источник

Выберите дополнительные источники данных в качестве источника данных:

  1. На портале Microsoft Fabric перейдите к базе данных KQL.

  2. Выберите "Получить данные " и выберите "Подключить дополнительные источники данных".

    Это можно сделать с помощью кнопки "Получить данные " в верхней строке меню или из раскрывающегося меню получения данных в верхней строке меню или из меню "Дополнительные действия базы данных".

    Снимок экрана: плитки получения данных с выделенным параметром

    Снимок экрана: меню получения данных с выделенным параметром

  3. В окне "Выбор источника данных" отображаются все источники данных, доступные в центре Real-Time. Вы можете искать источник или фильтровать по категориям. В этом примере выберите пример сценария проката велосипедов.

    Снимок экрана: окно источника данных Connect с выделенным примером сценария проката велосипедов.

Шаг 2. Настройка

Настройте параметры подключения. Подключение к источнику данных создает поток и поток событий.

  1. Определите имя источника данных.

  2. Заполните параметры потока событий в области сведений о потоке или используйте значения по умолчанию.

    Настройки Описание
    Workspace Расположение рабочей области для eventstream. Это может быть та же или другая рабочая область, что и база данных.
    Имя потока событий Имя вашего потока событий.

    снимок экрана: вкладка

  3. Нажмите кнопку Далее.

  4. В области "Проверка и подключение" просмотрите параметры и выберите "Подключить".

    Отображается состояние задач создания. По завершении каждой задачи в столбце состояния появится зеленый флажок.

    Снимок экрана: вкладка

    После успешного завершения подключения нажмите кнопку "Готово".

    Подсказка

    При необходимости можно выбрать Open Eventstream и перейти к созданному потоку событий, чтобы определить целевую таблицу и завершить процесс приема.

  5. В окне выбора целевой таблицы выберите "Создать таблицу " и введите имя новой таблицы.

    Снимок экрана: вкладка назначения с выбранной новой таблицей и введенным именем таблицы.

  6. Имя подключения к данным заполняется автоматически. При необходимости можно ввести новое имя. Имя может содержать только буквенно-цифровые символы, тире и точки и содержать до 40 символов в длину.

  7. Определите, следует ли обрабатывать события перед передачей в Eventstream.

    Этот параметр позволяет настроить обработку данных перед приемом данных в целевую таблицу. Если выбрано, вы продолжите процесс приема данных в Eventstream. Дополнительные сведения см. в разделе "Обработка события перед приемом в потоке событий".

  8. Нажмите кнопку "Далее ", чтобы перейти на вкладку "Проверка ".

Шаг 3. Проверка

На вкладке "Проверка " отображается предварительный просмотр данных.

Нажмите кнопку "Готово ", чтобы завершить процесс приема.

снимок экрана вкладки

Необязательно:

  • Используйте раскрывающийся список типов файлов для изучения дополнительных параметров на основе типа данных.

  • Используйте раскрывающийся список Table_mapping для определения нового сопоставления.

  • Выберите <или> откройте средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных. Вы можете также открыть команды в наборе запросов.

  • Щелкните значок карандаша, чтобы изменить столбцы.

Изменить столбцы

Замечание

  • Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить данные с существующим столбцом, сначала удалите новый столбец.
  • Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

  • Тип таблицы — новая или существующая.
  • Тип сопоставления является новым или существующим
Тип таблицы Тип сопоставления Доступные корректировки
Новая таблица Новое картирование Переименовать столбец, изменить тип данных, изменить источник данных, трансформация сопоставления , добавить столбец, удалить столбец.
Существующая таблица Новое картирование Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица Текущая карта none

Снимок экрана: столбцы, открытые для редактирования.

Трансформации картирования

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время загрузки данных. Чтобы применить преобразования маппинга, создайте или обновите столбец в окне Редактирование столбцов.

Преобразования сопоставления можно выполнять в столбце типа string или datetime, если источник имеет тип данных int или long. Дополнительные сведения см. в полном списке поддерживаемых трансформаций отображения .

Дополнительные параметры на основе типа данных

Табличные (CSV, TSV и PSV): если вы используете табличные форматы в существующей таблице, можно выбрать Table_mapping>Использовать существующее сопоставление. Табличные данные не всегда включают имена столбцов, используемые для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

JSON: выберите "Nested Levels" для определения разделения данных JSON по столбцам, от 1 до 100.

Шаг 4. Сводка

В окне Сводка все шаги помечаются как завершенные после успешного приема данных. Выберите карточку для изучения данных, удаления загруженных данных или создания дашборда с ключевыми метриками. Выберите Закрыть, чтобы закрыть окно.

Снимок экрана: страница сводки с успешным приемом данных.

При закрытии окна вернитесь на страницу обзора базы данных KQL. Новая таблица появится в списке таблиц в левой области. Новый поток событий отображается в списке потоков данных .