Поделиться через

Разработка скриптов U-SQL с помощью средств Data Lake для Visual Studio

Это важно

Новые учетные записи Azure Data Lake Analytics больше не могут быть созданы, если подписка не включена. Если вам нужно включить подписку, свяжитесь со службой поддержки и предоставьте ваш бизнес-сценарий.

Если вы уже используете Azure Data Lake Analytics, вам потребуется создать план миграции в Azure Synapse Analytics для вашей организации к 29 февраля 2024 г.

Средства Azure Data Lake и Stream Analytics включают функции, связанные с двумя службами Azure, Azure Data Lake Analytics и Azure Stream Analytics. Дополнительные сведения о сценариях Azure Stream Analytics см. в разделе Средства Azure Stream Analytics для Visual Studio.

В этой статье описывается, как использовать Visual Studio для создания учетных записей Azure Data Lake Analytics. Задания можно определить в U-SQL и отправить задания в службу Data Lake Analytics. Дополнительные сведения о Data Lake Analytics см. в обзоре Azure Data Lake Analytics.

Это важно

Мы рекомендуем выполнить обновление до Azure Data Lake Tools для Visual Studio версии 2.3.3000.4 или более поздней. Предыдущие версии больше недоступны для скачивания и теперь устарели.

  1. Проверьте, используется ли более ранняя версия, чем 2.3.3000.4 средств Azure Data Lake для Visual Studio.

    Проверка версии средства

  2. Если ваша версия является более ранней версией 2.3.3000.4, обновите средства Azure Data Lake для Visual Studio, перейдя в центр загрузки:

Предпосылки

Установка средств Azure Data Lake для Visual Studio

В этом руководстве требуется, чтобы средства Data Lake для Visual Studio были установлены. Дополнительные сведения см. в разделе "Установка средств Data Lake для Visual Studio".

Подключение к учетной записи Azure Data Lake Analytics

  1. Откройте Visual Studio.

  2. Откройте обозреватель Data Lake Analytics , выбрав просмотр>обозревателя Data Lake Analytics.

  3. Щелкните Правой кнопкой мыши Azure и выберите "Подключиться к подписке Microsoft Azure". Войдите в учетную запись, следуйте инструкциям.

  4. В обозревателе серверов выберите Azure>Data Lake Analytics. Вы увидите список учетных записей Data Lake Analytics.

Написание первого скрипта U-SQL

Следующий текст — это простой скрипт U-SQL. Он определяет небольшой набор данных и записывает этот набор данных в хранилище data Lake Store по умолчанию в виде файла, называемого /data.csv.

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Отправить задание на обработку в Data Lake Analytics

  1. В Visual Studio выберите файл>нового>проекта.

  2. Выберите тип проекта U-SQL и нажмите кнопку "Далее". В разделе "Настройка нового проекта" нажмите кнопку "Создать".

    Visual Studio создает решение, содержащее файл Script.usql .

  3. Вставьте скрипт из раздела Написание вашего первого скрипта U-SQL в окно Script.usql.

  4. В обозревателе решений щелкните правой кнопкой мыши Script.usql и выберите "Отправить скрипт".

  5. В разделе "Отправить задание" выберите учетную запись Data Lake Analytics и нажмите кнопку "Отправить".

    Отправка проекта Visual Studio U-SQL

После отправки задания откроется вкладка "Представление задания" для отображения хода выполнения задания.

  • Сводка задания показывает сводку задания.
  • Граф заданий визуализирует ход выполнения задания.
  • Операции MetaData отображают все действия, выполненные в каталоге U-SQL.
  • Данные отображают все входные и выходные данные.
  • В журнале состояний отображаются сведения о временной шкале и состоянии.
  • Анализ AU показывает, сколько аналитических единиц (AU) было использовано в задании, и исследует моделирование различных стратегий распределения AU.
  • Диагностика предоставляет расширенный анализ для выполнения заданий и оптимизации производительности.

Диаграмма производительности заданий Аналитики озера данных U-SQL в Visual Studio

Чтобы просмотреть последнее состояние задания и обновить экран, нажмите кнопку "Обновить".

Проверка состояния задания

  1. В обозревателе Data Lake Analytics выберите Data Lake Analytics.

  2. Раскройте имя учетной записи Data Lake Analytics.

  3. Дважды щелкните Задачи.

  4. Выберите задание, которое вы отправили ранее.

Просмотр выходных данных задания

  1. В обозревателе Data Lake Analytics перейдите к отправленной задаче.

  2. Выберите вкладку "Данные " в задании.

  3. На вкладке "Выходные данные задания" выберите "/data.csv" файл.

Дальнейшие действия