Быстрый старт: Прием данных в один клик (Предварительная версия)

Программа Microsoft Cloud Migration Factory (CMF) предназначена для поддержки клиентов при миграции в Fabric. Программа предлагает практические ресурсы клавиатуры без затрат для клиента. Эти ресурсы назначаются в течение 6–8 недель с предопределенной и согласованной областью. Номинации клиентов принимаются от команды учетных записей Microsoft или непосредственно путем отправки запроса на помощь команде CMF.

Однощелчковое поглощение данных делает процесс получения данных простым, быстрым и интуитивно понятным. Ввод данных в один клик помогает быстро приступить к созданию таблиц баз данных и сопоставлению структур. Выберите данные из различных источников в различных форматах данных, либо как единоразовый, либо как непрерывный процесс приема данных.

Следующие функции делают прием одним щелчком так полезным:

• Интуитивно понятный интерфейс, управляемый мастером приема
• Загрузка данных в течение нескольких минут
• Сбор данных из различных источников: локальный файл, блобы и контейнеры (до 10 000 блобов)
• Загрузка данных в различных форматах
• Прием данных в новые или существующие таблицы
• Сопоставление таблиц и схема предлагаются вам и легко изменить

Прием по одному щелчку особенно полезен при первом приеме данных или когда схема ваших данных незнакома вам.

Предпосылки

• Подписка Azure. Создайте бесплатную учетную запись Azure.

• Создать пул Data Explorer с помощью Synapse Studio или портала Azure

• Создать базу данных Data Explorer.

  1. В Synapse Studio в области слева выберите элемент Данные.

  2. Выберите + (Добавить новый ресурс) >пул обозревателя данных, а затем используйте следующие сведения:

     Настройки	Предлагаемое значение	Описание
     Имя пула	contosodataexplorer	Имя пула Data Explorer, который вы будете использовать.
     Имя	TestDatabase	Имя базы данных должно быть уникальным в пределах кластера.
     Срок хранения по умолчанию	365.	Интервал времени (в днях), в течение которого данные будут гарантированно доступны для запросов. Интервал времени измеряется с момента приема данных.
     Период кэширования по умолчанию	31	Интервал времени (в днях), в течение которого необходимо хранить часто запрашиваемые данные в хранилище SSD или ОЗУ, а не в долговременном хранилище.

  3. Чтобы создать базу данных, выберите Создать. Создание обычно занимает меньше минуты.

• Создание таблицы

  1. В Synapse Studio в области слева выберите элемент Разработка.
  2. В разделе Скрипты KQL выберите + (Добавить новый ресурс) >Скрипт KQL. В области справа можно присвоить имя вашему сценарию.
  3. В меню Подключение к выберите contosodataexplorer.
  4. В меню Использование базы данных выберите TestDatabase.
  5. Вставьте следующую команду и выберите Выполнить, чтобы создать таблицу.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Подсказка

  Убедитесь, что таблица была успешно создана. В области слева выберите Данные, откройте дополнительное меню contosodataexplorer и выберите Обновить. В разделе contosodataexplorer разверните элемент Таблицы и убедитесь, что в списке присутствует таблица StormEvents.

Откройте мастер одним щелчком

Мастер приема одним щелчком поможет вам выполнить процесс приема одним щелчком мыши.

• Чтобы получить доступ к мастеру из Azure Synapse, выполните следующие действия.

  1. В Synapse Studio в области слева выберите элемент Данные.

  2. В разделе Data Explorer Databases (Базы данных Data Explorer) щелкните правой кнопкой мыши соответствующую базу данных, а затем выберите Open in Azure Data Explorer (Открыть в Azure Data Explorer).

     

  3. Щелкните правой кнопкой мыши соответствующий пул и выберите прием новых данных.

• Чтобы получить доступ к мастеру на портале Azure, выполните следующие действия.

  1. На портале Azure найдите и выберите соответствующую рабочую область Synapse.

  2. В разделе Пулы Обозревателя данных выберите соответствующий пул.

  3. На главном экране пула Data Explorer "Добро пожаловать", выберите "Загрузить новые данные".

     

• Чтобы получить доступ к мастеру из веб-интерфейса Azure Data Explorer, выполните следующие действия.

  1. Перед началом работы выполните следующие действия, чтобы получить конечные точки приема запросов и данных.

     1. В Synapse Studio в области навигации слева выберите Управление>пулы Data Explorer.

     2. Выберите пул обозревателя данных, который вы хотите использовать для просмотра сведений.

        

     3. Запишите конечные точки приема запросов и данных. Используйте конечную точку запроса в качестве кластера при настройке подключений к пулу Обозревателя данных. При настройке пакетов SDK для приема данных используйте конечную точку приема данных.

        

  2. В веб-интерфейсе Azure Data Explorer добавьте подключение к конечной точке запроса.
  3. Выберите "Запрос" в меню слева, щелкните правой кнопкой мыши базу данных или таблицу и выберите "Прием новых данных".

Мастер приема одним щелчком

1. На вкладке "Назначение " выберите базу данных и таблицу для приема данных.

   

2. На вкладке "Источник ":

   1. Выберите Концентратор событий в качестве типа источника для загрузки.

      

   2. Заполните сведения о подключении к данным концентратора событий, используя следующие сведения:

      Настройки	Пример значения	Описание
      Имя подключения к данным	ContosoDataConnection	Имя подключения к данным концентратора событий
      Подписка	Contoso_Synapse	Подписка, в которой находится Концентратор событий.
      Даже пространство имен Even Hub	contosoeventhubnamespace	Пространство имен для Концентратора событий.
      Группа потребителей	contosoconsumergroup	Имя группы потребителей Even Hub.

      

   3. Выберите Далее.

Сопоставление схем

Служба автоматически создает схему и свойства поглощения, которые можно менять. Вы можете использовать существующую структуру сопоставления или создать новую, в зависимости от того, загружаете ли вы данные в новую или существующую таблицу.

На вкладке "Схема" выполните следующие действия:

1. Подтвердите тип автогенерированного сжатия.
2. Выберите формат данных. Различные форматы позволяют вносить дальнейшие изменения.
3. Измените сопоставление в окне редактора.

Форматы файлов

Однокликовая загрузка поддерживает загрузку из исходных форматов данных во всех форматах данных, поддерживаемых Data Explorer для загрузки.

Окно редактора

В окне редактора вкладки "Схема " можно настроить столбцы таблицы данных по мере необходимости.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления является новым или существующим

Трансформации картирования

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время загрузки данных. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне редактора.

Преобразования сопоставления можно выполнять в столбце типа строка или дата и время, при условии, что источник имеет тип данных int или long. Поддерживаемые сопоставительные преобразования:

• Форматирование даты и времени из секунд UNIX
• DateTimeFromUnixMilliseconds (Дата и время из Unix миллисекунд)
• Дата и время из Unix-макросекунд
• ДатаВремяИзЮниксНаносекунд

Прием данных

После завершения сопоставления схем и обработки столбцов мастер приема данных запустит процесс приема данных.

• При приеме данных из неконтейнерных источников поступление данных будет иметь немедленный эффект.

• Если источник данных является контейнером:

  • Политика пакетирования данных в Data Explorer будет агрегировать ваши данные.
  • После загрузки вы можете скачать отчет о загрузке и просмотреть производительность каждого BLOB, который был обработан.

Начальное исследование данных

После приема мастер предоставляет варианты использования быстрых команд для первоначального изучения данных.

Дальнейшие действия

• Анализ с помощью Data Explorer
• Мониторинг пулов в Data Explorer