Разработка скриптов U-SQL с помощью средств Data Lake для Visual Studio

Статья
12/20/2023

Важно!

Новые учетные записи azure Data Lake Analytics больше нельзя создавать, если ваша подписка не включена. Если вам нужно включить подписку, обратитесь в службу поддержки и предоставьте свой бизнес-сценарий.

Если вы уже используете azure Data Lake Analytics, необходимо создать план миграции для Azure Synapse Analytics для вашей организации до 29 февраля 2024 г.

Средства Azure Data Lake и Stream Analytics включают функции, близкие к функциям двух служб Azure: Azure Data Lake Analytics и Azure Stream Analytics. Подробнее о сценариях работы с Azure Stream Analytics см. в статье Установка средств Azure Stream Analytics для Visual Studio.

В этой статье описывается, как использовать Visual Studio для создания учетных записей Azure Data Lake Analytics. Задания можно определить в формате U-SQL и отправить в службу Data Lake Analytics. Дополнительные сведения о Data Lake Analytics см. в обзоре Azure Data Lake Analytics.

Важно!

Мы рекомендуем обновить средства Azure Data Lake для Visual Studio до версии 2.3.3000.4 или выше. Предыдущие версии являются устаревшими и недоступными для скачивания.

Проверьте, не используете ли вы Средства Azure Data Lake для Visual Studio более ранней версии, чем 2.3.3000.4.
Если у вас более ранняя версия, чем 2.3.3000.4, обновите Средства Azure Data Lake для Visual Studio, посетив сайт центра загрузки:
- для Visual Studio 2017 и 2019;
- для Visual Studio 2013 и 2015.

Предварительные требования

Visual Studio: поддерживаются все выпуски, кроме Express.
- Visual Studio 2019
- Visual Studio 2017
- Visual Studio 2015
- Visual Studio 2013
Microsoft Azure SDK для .NET (версии 2.7.1 или выше). Можно установить его с помощью установщика веб-платформы.
Учетная запись Data Lake Analytics. Чтобы создать учетную запись, ознакомьтесь со статьей Руководство. Начало работы с Azure Data Lake Analytics с помощью портала Azure.

Установка средств Azure Data Lake для Visual Studio

Для работы с этим руководством необходимо установить Data Lake Tools для Visual Studio. Дополнительные сведения см. в статье Установка средств Data Lake для Visual Studio.

Подключение к учетной записи Azure Data Lake Analytics

Запустите Visual Studio.
Откройте Обозреватель Data Lake Analytics, выбрав Вид>Обозреватель Data Lake Analytics.
Щелкните правой кнопкой Azure и выберите Подключиться к подписке Microsoft Azure. В разделе Вход в учетную запись следуйте инструкциям.
В разделе Обозреватель серверов выберите Azure>Data Lake Analytics. Отобразится список учетных записей Data Lake Analytics.

Создание первого скрипта U-SQL

Ниже приводится простой скрипт U-SQL. Он определяет небольшой набор данных и по умолчанию записывает его в хранилище Data Lake Store как файл с именем /data.csv.

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Отправка задания аналитики озера данных

В Visual Studio выберите Файл>Создать>Проект.
Выберите тип Проект U-SQL и нажмите кнопку Далее. В разделе Настроить новый проект нажмите кнопку Создать.

В Visual Studio создастся решение, которое содержит файл Script.usql.
Вставьте скрипт из раздела Создание первого скрипта U-SQL в окно Script.usql.
В Обозревателе решений щелкните правой кнопкой Script.usql и выберите Отправить скрипт.
В разделе Отправить задание выберите учетную запись Data Lake Analytics и нажмите кнопку Отправить.

После отправки задания откроется вкладка Представление задания, на которой отображается ход выполнения задания.

В окне Сводные данные задания представлена сводка задания.
В окне Граф задания визуализируется ход выполнения задания.
В окне Операции с метаданными представлены сведения обо всех действиях, выполненных в каталоге U-SQL.
В окне Данные отображаются все входные и выходные данные.
Состояние журнала отображает сведения о временной шкале и состоянии.
Анализ AU показывает, сколько единиц AU (единиц аналитики) было использовано в задании, и изучить имитации различных стратегий распределения au.
В окне Диагностика представлены данные расширенного анализа для выполнения задания и оптимизации производительности.

График выполнения задания аналитики озера данных U-SQL в Visual Studio

Чтобы отобразить сведения о текущем состоянии задания и обновить экран, щелкните Обновить.

Проверка состояния задания

В Data Lake Analytics Обозреватель выберите Data Lake Analytics.
Разверните окно имени учетной записи Data Lake Analytics.
Дважды щелкните Задания.
Выберите задание, отправленное ранее.

Просмотр выходных данных задания

В Data Lake Analytics Обозреватель перейдите к отправленной задаче.
Выберите вкладку Данные в задании.
На вкладке Job Outputs (Выходные данные задания) выберите файл "/data.csv".

Поделиться через