Запуск скриптов U-SQL на локальном компьютере

При разработке скриптов U-SQL можно сэкономить время и расходы, выполнив скрипты локально. Средства Azure Data Lake для Visual Studio поддерживают выполнение скриптов U-SQL на локальном компьютере.

Основные понятия для локальных запусков

На следующей диаграмме показаны компоненты для локального запуска и сопоставление этих компонентов с облачным запуском.

В следующих разделах содержатся дополнительные сведения о компонентах локального запуска.

Локальные корневые папки данных

Корневая папка локальных данных — это локальное хранилище для локальной вычислительной учетной записи. Любая папка в локальной файловой системе на локальном компьютере может быть локальной корневой папкой данных. Это же учетная запись Azure Data Lake Store по умолчанию для учетной записи Data Lake Analytics. Переключение на другую корневую папку данных аналогично переключению на другую учетную запись хранения по умолчанию.

Корневая папка данных используется следующим образом:

• Храните метаданные. Примерами являются базы данных, таблицы, табличные функции и сборки.
• Найдите входные и выходные пути, определенные как относительные пути в скриптах U-SQL. Используя относительные пути, легче развернуть ваши скрипты U-SQL в Azure.

Локальные модули запуска U-SQL

Локальный модуль запуска U-SQL — это локальная учетная запись вычислений для заданий U-SQL. Пользователи могут выполнять задания U-SQL локально с помощью средств Azure Data Lake для Visual Studio. Локальные запуски также поддерживаются с помощью командной строки и интерфейсов программирования пакета SDK для Azure Data Lake U-SQL. Дополнительные сведения о пакете SDK U-SQL для Azure Data Lake.

Рабочие каталоги

При запуске скрипта U-SQL папка рабочего каталога необходима для кэширования результатов компиляции, выполнения журналов и выполнения других функций. В Azure Data Lake Tools для Visual Studio рабочий каталог — это рабочий каталог проекта U-SQL. Он находится под <U-SQL project root path>/bin/debug>. Рабочий каталог очищается каждый раз, когда запускается новый запуск.

Локальные запуски в Microsoft Visual Studio

Средства Azure Data Lake для Visual Studio имеют встроенный локальный модуль запуска. Инструменты отображают движок как локальную учётную запись для вычислений. Чтобы запустить скрипт U-SQL локально, выберите учетную запись локального компьютера или локального проекта в раскрывающемся меню редактора скрипта. Затем щелкните Отправить.

Локальные запуски с учетной записью локального компьютера

Учетная запись локального компьютера — это общая локальная учетная запись вычислений с одной локальной корневой папкой данных в качестве локальной учетной записи хранения. По умолчанию корневая папка данных находится в папке C:\Users<username>\AppData\Local\USQLDataRoot. Она также настраивается с помощью инструментов>Data Lake>Options and Settings.

Для локального запуска требуется проект U-SQL. Для локального запуска U-SQL используется рабочий каталог проекта U-SQL. Результаты компиляции, журналы выполнения и другие файлы, связанные с выполнением задания, создаются и хранятся в папке рабочего каталога во время локального запуска. При каждом повторном запуске скрипта все файлы в рабочем каталоге очищаются и повторно создаются.

Локальные запуски с учетной записью локального проекта

Учетная запись локального проекта — это изолированная локальная учетная запись вычислений для каждого проекта с изолированной корневой папкой локальных данных. Каждый активный проект U-SQL, открываемый в обозревателе решений в Visual Studio, имеет соответствующую (Local-project: <project name>) учетную запись. Учетные записи перечислены как в обозревателе серверов в Visual Studio, так и в поле редактора скриптов U-SQL.

Учетная запись локального проекта предоставляет чистую и изолированную среду разработки. Учетная запись локального компьютера содержит общую корневую папку локальных данных, в которой хранятся метаданные и входные и выходные данные для всех локальных заданий. Но учетная запись локального проекта создает временную корневую папку локальных данных в рабочем каталоге проекта U-SQL при каждом запуске скрипта U-SQL. Эта временная корневая папка данных очищается при перестроении или повторном запуске.

Проект U-SQL управляет изолированной локальной средой запуска с помощью ссылки на проект и свойства. Входные источники данных можно настроить для сценариев U-SQL как в проекте, так и в средах баз данных, на которые ссылается ссылка.

Управление источником входных данных для учетной записи локального проекта

Проект U-SQL создает локальную корневую папку данных и настраивает данные для учетной записи локального проекта . Временная корневая папка данных очищается и повторно создается в рабочем каталоге проекта U-SQL при каждом перестроении и локальном запуске. Все источники данных, настроенные проектом U-SQL, копируются в эту временную локальную корневую папку данных перед выполнением локального задания.

Корневую папку источников данных можно настроить. Щелкните правой кнопкой мыши проект U-SQL>Свойства>Источник тестовых данных. При запуске скрипта U-SQL в учетной записи локального проекта все файлы и вложенные папки в папке "Тестовый источник данных " копируются во временную корневую папку локальных данных. Файлы в вложенных папках включены. После выполнения локального задания результаты выходных данных также можно найти во временной корневой папке локальных данных в рабочем каталоге проекта. Все эти выходные данные удаляются и очищаются при перестроении и очистке проекта.

Управляйте средой базы данных с ссылками для учетной записи локального проекта

Если запрос U-SQL использует или запрашивает объекты базы данных U-SQL, перед локальным запуском скрипта U-SQL необходимо подготовить среды базы данных на локальном уровне. Для учетной записи локального проекта зависимости U-SQL базы данных можно управлять с помощью ссылки на проект U-SQL. В проект U-SQL можно добавить ссылки на проекты баз данных U-SQL. Перед выполнением скриптов U-SQL в учетной записи локального проекта все базы данных, на которые ссылается ссылка, развертываются во временной корневой папке локальных данных. При каждом запуске временная корневая папка данных очищается, создавая свежую изолированную среду.

См. эту связанную статью:

• Узнайте, как управлять определениями и ссылками базы данных U-SQL в проектах базы данных U-SQL.

Разница между учетной записью локального компьютера и учетной записью локального проекта

Учетная запись локального компьютера имитирует учетную запись Azure Data Lake Analytics на локальных компьютерах пользователей. Он использует тот же интерфейс с учетной записью Azure Data Lake Analytics. Учетная запись локального проекта предоставляет удобную локальную среду разработки. Эта среда помогает пользователям развертывать ссылки на базы данных и входные данные перед локальной запуском скриптов. Учетная запись локального компьютера предоставляет общую постоянную среду, доступ к которой можно получить через все проекты. Учетная запись локального проекта предоставляет изолированную среду разработки для каждого проекта. Оно обновляется для каждого запуска. Учетная запись локального проекта обеспечивает более быструю разработку, быстро применяя новые изменения.

Дополнительные различия между учетными записями локального компьютера и локальным проектом показаны в следующей таблице:

Локальный запуск с помощью пакета SDK U-SQL

Скрипты U-SQL можно запускать локально в Visual Studio, а также использовать пакет SDK для U-SQL Azure Data Lake для локального запуска скриптов U-SQL с помощью интерфейсов командной строки и программирования. С помощью этих интерфейсов можно автоматизировать локальные запуски и тесты U-SQL.

Дополнительные сведения о пакете SDK U-SQL для Azure Data Lake.

Дальнейшие действия

• Настройка конвейера CI/CD для Azure Data Lake Analytics.
• Как протестировать код Azure Data Lake Analytics.