Получение данных из служба хранилища Azure

В этой статье вы узнаете, как получить данные из служба хранилища Azure (контейнеров Azure Data Lake Storage 2-го поколения, контейнеров BLOB или отдельных объектов BLOB) в таблицу базы данных KQL. Вы можете принимать данные непрерывно или однократно. После завершения приема данные доступны для запроса.

  • Непрерывный прием данных (предварительная версия): Непрерывный прием данных создает конвейер приема данных, который позволяет хранилищу событий отслеживать события в служба хранилища Azure. Конвейер уведомляет хранилище событий о том, чтобы получить сведения при возникновении подписываемых событий. События : BlobCreated и BlobRenamed.

  • Единоразовая загрузка: Используйте этот метод для извлечения данных из служба хранилища Azure в один этап.

    Заметка

Необходимые условия

  • Рабочее пространство с поддержкой ресурса Microsoft Fabric.
  • База данных KQL с разрешениями на редактирование.
  • Учетная запись хранилища Azure .

Предварительные требования для непрерывного приема

В Azure:

  • Зарегистрируйте поставщика ресурса Event Grid в своей подписке Azure.
  • Назначение ролей чтения данных BLOB-объектов хранилища удостоверениям рабочей области.
  • Создайтеконтейнер объектов BLOB для хранения файлов данных.

    • Отправьте файл данных. Структура файла данных используется для определения схемы таблицы. Дополнительные сведения см. в форматах данных, поддерживаемыханалитикой Real-Time.

      Заметка

      Необходимо отправить файл данных:

      • Перед настройкой конфигурации , чтобы определить схему таблицы во время настройки.
      • После настройки для активации непрерывного приема данных для предварительного просмотра данных и проверки подключения.

      Заметка

      Непрерывный прием из служба хранилища Azure также поддерживается, если учетная запись хранения настроена с приватными конечными точками (Приватный канал). Убедитесь, что рабочая область Fabric может получить доступ к учетной записи хранения через настроенный путь к частной сети.

Добавьте назначение роли удостоверения рабочей области в учетную запись хранения

  1. Скопируйте идентификатор удостоверения рабочего пространства из параметров рабочего пространства в Fabric.

    Снимок экрана: параметр рабочей области с выделенным идентификатором рабочей области.

  2. На портале Azure перейдите к учетной записи служба хранилища Azure и выберите контроль доступа (IAM)>Добавить>Добавить назначение роли.

  3. Выберите средство чтения данных BLOB-объектов хранилища.

  4. В диалоговом окне "Добавление назначения ролей " выберите +Выбрать участников.

  5. Вставьте идентификатор удостоверения рабочей области, выберите приложение и нажмите кнопку ">Проверить и назначить".

Создание контейнера BLOB-объектов и отправка файла данных

  1. В учетной записи хранения выберите контейнеры.

  2. Выберите +Контейнер, введите имя контейнера и нажмите кнопку "Сохранить".

  3. Введите контейнер, выберите отправку и отправьте файл данных, подготовленный ранее.

    Дополнительные сведения см. в поддерживаемых форматах и поддерживаемых сжатиях.

  4. В контекстном меню [...], выберите свойства контейнера и скопируйте URL-адрес в входные данные во время настройки.

    Снимок экрана: список контейнеров с открытым контекстным меню и выделенным параметром свойств контейнера.

Выберите служба хранилища Azure в качестве источника данных

Откройте поток Получение данных и выберите служба хранилища Azure в качестве источника.

  1. В рабочей области откройте хранилище событий и выберите базу данных.

  2. На ленте базы данных KQL выберите "Получить данные".

  3. Выберите источник данных из доступного списка. В этом примере вы используете данные из служба хранилища Azure.

    Снимок экрана плиток получения данных с выделенной опцией хранилища Azure.

Настройка

  1. Выберите целевую таблицу. Чтобы получить данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.

    Заметка

    Имена таблиц могут составлять до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

  2. В разделе настройки подключения Хранилище BLOB-объектов Azure убедитесь, что непрерывный прием данных включен. Он включен по умолчанию.

  3. Настройте подключение, создав новое подключение или используя существующее подключение.

    Чтобы создать новое подключение, выполните приведенные действия.

    1. Выберите "Подключиться к учетной записи хранения".

      Снимок экрана: вкладка

    2. Чтобы заполнить поля, используйте следующие описания.

      настройка описание поля
      Подписка Подписка на учетную запись хранения.
      Учетная запись Blob-хранилища Имя учетной записи хранения.
      Контейнер Контейнер хранилища, содержащий файл, который требуется импортировать.

    3. В поле "Подключение" откройте раскрывающийся список и нажмите кнопку +Создать подключение, а затем нажмите кнопку "Сохранить>закрыть". Параметры подключения уже заполнены.

    Заметка

    При создании нового подключения также создается новый поток событий. Имя определяется как <storage_account_name>_eventstream. Не удаляйте поток событий для непрерывного приема данных из рабочей области.

    Чтобы использовать существующее подключение:

    1. Выберите существующую учетную запись хранения.

      Снимок экрана: вкладка «Настройка» с вариантами «Непрерывное поглощение» и «Подключение к существующей учетной записи» выбраны.

    2. Чтобы заполнить поля, используйте следующие описания.

      настройка описание поля
      RTAStorageAccount Поток событий, подключенный от Fabric к вашему аккаунту хранения.
      Контейнер Контейнер хранилища, содержащий файл, который требуется импортировать.
      Подключение Это поле предварительно заполнено строкой подключения.

    3. В поле Connection откройте раскрывающийся список и выберите существующую строку подключения. Затем нажмите кнопку "Сохранить>закрыть".

  4. При необходимости разверните фильтры файлов и укажите следующие фильтры:

    настройка описание поля
    Путь к папке Фильтруйте данные для загрузки файлов по определенному пути к папке.
    Расширение файла Фильтрация данных для приема файлов только с определенным расширением файла.

  5. В разделе Параметры потока событий выберите события для отслеживания в разделе Дополнительные параметры>Типы событий. По умолчанию выбрано создание Blob. Вы также можете выбрать переименованный BLOB-объект.

    Снимок экрана дополнительных параметров с развернутым раскрывающимся списком «Типы событий».

  6. Нажмите «Далее», чтобы просмотреть данные.

Проверка предварительных данных перед приемом

Откроется вкладка "Проверка" с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Снимок экрана вкладки «Проверка» с предварительным просмотром загруженных данных перед нажатием кнопки «Готово».

Заметка

Чтобы запустить непрерывный прием и предварительный просмотр данных, загрузите новый BLOB-объект после завершения настройки.

Необязательно:

  • Используйте раскрывающийся список файла определения схемы, чтобы изменить файл, из который выводится схема.

  • Используйте раскрывающийся список типов файлов для изучения дополнительных параметров на основе типа данных.

  • Используйте раскрывающийся список Table_mapping для определения нового сопоставления.

  • Выберите <или> откройте средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных. Вы также можете открыть команды в наборе запросов KQL.

  • Щелкните значок карандаша, чтобы изменить столбцы.

Изменение столбцов

Заметка

  • Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить данные с существующим столбцом, сначала удалите новый столбец.
  • Невозможно изменить существующий тип столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые можно внести в таблицу, зависят от следующих параметров:

  • тип таблицы является новым или существующим
  • Тип сопоставления является новым или существующим
Тип таблицы Тип сопоставления Доступные корректировки
Новая таблица Новое картирование Переименовать столбец, изменить тип данных, изменить источник данных, трансформация сопоставления , добавить столбец, удалить столбец.
Существующая таблица Новое картирование Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица Текущая карта никакой

Снимок экрана редактора столбцов с столбцами таблицы, открытыми для редактирования имен, типов данных и сопоставлений.

Трансформации картирования

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования на этапе загрузки данных. Чтобы применить преобразования маппинга, создайте или обновите столбец в окне Редактирование столбцов.

Преобразования сопоставления можно выполнять в столбце типа string или datetime, если источник имеет тип данных int или long. Дополнительные сведения см. в полном списке поддерживаемых трансформаций отображения .

Дополнительные параметры на основе типа данных

таблица (CSV, TSV, PSV):

  • При приеме табличных форматов в существующей таблице можно выбрать Расширенные возможности>. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

    Снимок экрана с дополнительными параметрами.

  • Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. Чтобы использовать первую строку в качестве имен столбцов, выберите Первая строка — это заголовок столбца.

    Снимок экрана первой строки является переключателем заголовка столбца.

таблица (CSV, TSV, PSV):

  • Если вы используете табличные форматы в существующей таблице, выберите Table_mapping>Использовать существующую схему. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При выборе этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

  • Чтобы использовать первую строку в качестве имен столбцов, выберите заголовок первой строки.

    Снимок экрана: расширенные параметры CSV, включая элементы управления для параметров заголовка первой строки и разделителя.

JSON:

  • Чтобы определить деление данных JSON по уровням вложенности, выберите вложенные уровни от 1 до 100.

    Снимок экрана: расширенные параметры JSON, включая параметр вложенных уровней, используемый для разделения столбцов JSON.

Просмотрите сводку приема

После успешного завершения загрузки данных в окне Сводка все шаги отмечаются зелеными галочками. Вы можете выбрать карточку, чтобы изучить данные, удалить загруженные данные или создать панель мониторинга с ключевыми метриками.

Снимок экрана: страница сводки для непрерывного приема с успешно завершенным приемом.

При закрытии окна вы увидите подключение на вкладке "Обозреватель" в разделе "Потоки данных". Здесь можно отфильтровать потоки данных и удалить поток данных.

Снимок экрана: обозреватель базы данных KQL с выделенными потоками данных.

Связанное содержимое

  • Last updated on