Поделиться через


Что такое определение задания Apache Spark?

Определение задания Apache Spark — это элемент кода Microsoft Fabric, позволяющий отправлять задания пакетной или потоковой передачи в кластеры Spark. Отправляя двоичные файлы из выходных данных компиляции различных языков (например, .jar из Java), можно применить другую логику преобразования к данным, размещенным в lakehouse. Помимо двоичного файла, можно дополнительно настроить поведение задания, отправив дополнительные библиотеки и аргументы командной строки.

Чтобы запустить определение задания Spark, необходимо иметь как минимум один "lakehouse", связанный с ним. Этот контекст lakehouse по умолчанию служит файловой системой по умолчанию для среды выполнения Spark. Для любого кода Spark, использующего относительный путь для чтения и записи данных, данные обслуживаются из lakehouse по умолчанию.

Это важно

Чтобы запустить элемент определения задания Spark, необходимо иметь основной файл определения и контекст lakehouse по умолчанию. Если у вас нет озера, создайте его, выполнив действия, описанные в разделе "Создание озера".

Дальнейшие шаги