Создание и запуск JAR на бессерверных вычислительных ресурсах

Архив Java (JAR) упаковывает код Java или Scala в один файл. Создайте JAR-файл с кодом Spark и разверните его в качестве задачи JAR на бессерверных вычислениях в задании Lakeflow.

Требования

Чтобы создать JAR-файл, локальная среда разработки должна иметь следующую установку:

• sbt 1.11.7 или более поздняя версия для JAR-файлов Scala
• Maven 3.9.0 или более поздней версии для Java JAR
• версии JDK, Scala и Databricks Connect, соответствующие бессерверной среде. См. сведения о версиях зависимостей.

Версии зависимостей

В примере на этой странице используется бессерверная среда версии 4, поэтому эта страница создает JAR-файл, который:

• Компилируется в Scala 2.13; каждая зависимость использует _2.13 суффикс.
• Скомпилирован с использованием JDK 17, версия файла класса — 61.
• Скомпилировано с использованием Databricks Connect 17.3 — набора API Spark для бессерверных вычислительных ресурсов.
• Использует только общедоступные API Spark. В нем не используются RDD и внутренние компоненты Spark. См. Ограничения.
• Включает все зависимости в JAR-файл или подключает их как библиотеку бессерверной среды. См. статью "Управление зависимостями".

Ограничения

Бессерверные вычисления используют Spark Connect. JAR-файл выполняется в тонкой клиентской библиотеке, которая предоставляет общедоступные API Spark, в то время как ядро Spark работает на стороне сервера. Код, который обходит публичный API, не может использовать преимущества оптимизации Catalyst или ускорения Photon, даже на классических вычислительных ресурсах. Код на основе RDD и код, зависящий от внутренних механизмов, как правило, работает медленнее, чем эквивалентный код DataFrame или SQL.

Следующие возможности недоступны:

• API RDD (org.apache.spark.rdd.*) иSparkContext / JavaSparkContext . Используйте SparkSession.builder().getOrCreate() и операции DataFrame/Dataset вместо этого.
• Внутренние API Spark (org.apache.spark.catalyst.*, org.apache.spark.util.*, org.apache.spark.sql.util.*, org.apache.spark.sql.internal.*). Код, импортирующий эти API, завершается с ошибкой NoClassDefFoundError. Перевести на публичный API Spark. Если в сторонней библиотеке используются внутренние компоненты, проверьте, публикует ли он выпуск, совместимый с Spark Connect.
• Нативные библиотеки (.so, .dll, JNI). Бессерверные вычисления не позволяют записывать собственные библиотеки в файловую систему. Библиотеки, которые распаковывают нативные двоичные файлы при запуске, завершаются с ошибкой UnsatisfiedLinkError. Скрипты инициализации не являются обходным решением. Используйте эквивалент Java, если он доступен.

Если для рабочей нагрузки требуется любой из указанных выше вариантов, запустите ее на стандартном или выделенном вычислительных ресурсах .

Шаг 1. Создание JAR-файла

Scala

1. Выполните следующую команду, чтобы создать проект Scala:

   sbt new scala/scala-seed.g8
   

   При появлении запроса введите имя проекта, например my-spark-app.

2. Затем удалите файлы-заглушки seed-проекта и создайте каталог для исходного кода:

   cd my-spark-app
   rm src/main/scala/example/Hello.scala
   rm src/test/scala/example/HelloSpec.scala
   rm project/Dependencies.scala
   mkdir -p src/main/scala/com/examples
   

3. Замените содержимое файла build.sbt следующим образом:

   name := "my-spark-app"
   
   // Set the dependency versions
   scalaVersion := "2.13.16"
   javacOptions ++= Seq("--release", "17")
   scalacOptions ++= Seq("-release", "17")
   
   libraryDependencies += "com.databricks" %% "databricks-connect" % "17.3.2" % "provided"
   // Your other dependencies go here. Use %% for Scala libraries so sbt picks the _2.13 artifact.
   
   // Fork a new JVM on run so our javaOptions are applied.
   fork := true
   javaOptions += "--add-opens=java.base/java.nio=ALL-UNNAMED"
   

4. Измените или создайте файл project/plugins.sbt и добавьте эту строку:

   addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "2.3.1")
   

5. Создайте ваш основной класс в src/main/scala/com/examples/SparkJar.scala:

   package com.examples
   
   import org.apache.spark.sql.SparkSession
   
   object SparkJar {
     def main(args: Array[String]): Unit = {
       val spark = SparkSession.builder().getOrCreate()
   
       // Prints the arguments to the class, which
       // are job parameters when run as a job:
       println(args.mkString(", "))
   
       // Shows using spark:
       println(spark.version)
       println(spark.range(10).limit(3).collect().mkString(" "))
     }
   }
   

6. Чтобы создать JAR-файл, выполните следующую команду:

   sbt assembly
   

   Скомпилированный JAR-файл создается в папке target/ как my-spark-app-assembly-0.1.0-SNAPSHOT.jar.

Ява

1. Выполните следующие команды, чтобы создать структуру проекта Maven:

   mkdir -p my-spark-app/src/main/java/com/examples
   cd my-spark-app
   

2. pom.xml Создайте файл в корневом каталоге проекта со следующим содержимым:

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns="http://maven.apache.org/POM/4.0.0"
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
            xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
            http://maven.apache.org/xsd/maven-4.0.0.xsd">
     <modelVersion>4.0.0</modelVersion>
   
     <groupId>com.examples</groupId>
     <artifactId>my-spark-app</artifactId>
     <version>1.0-SNAPSHOT</version>
   
     <properties>
       <maven.compiler.release>17</maven.compiler.release>
       <scala.binary.version>2.13</scala.binary.version>
       <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
     </properties>
   
     <dependencies>
       <!-- Included on serverless compute. -->
       <dependency>
         <groupId>com.databricks</groupId>
         <artifactId>databricks-connect_${scala.binary.version}</artifactId>
         <version>17.3.2</version>
         <scope>provided</scope>
       </dependency>
     </dependencies>
   
     <build>
       <plugins>
         <!-- Maven Shade Plugin - Creates a fat JAR with all non-provided dependencies. -->
         <plugin>
           <groupId>org.apache.maven.plugins</groupId>
           <artifactId>maven-shade-plugin</artifactId>
           <version>3.6.1</version>
           <executions>
             <execution>
               <phase>package</phase>
               <goals>
                 <goal>shade</goal>
               </goals>
               <configuration>
                 <transformers>
                   <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                     <mainClass>com.examples.SparkJar</mainClass>
                   </transformer>
                 </transformers>
               </configuration>
             </execution>
           </executions>
         </plugin>
       </plugins>
     </build>
   </project>
   

3. Создайте ваш основной класс в src/main/java/com/examples/SparkJar.java:

   package com.examples;
   
   import org.apache.spark.sql.SparkSession;
   import java.util.stream.Collectors;
   
   public class SparkJar {
     public static void main(String[] args) {
       SparkSession spark = SparkSession.builder().getOrCreate();
   
       // Prints the arguments to the class, which
       // are job parameters when run as a job:
       System.out.println(String.join(", ", args));
   
       // Shows using spark:
       System.out.println(spark.version());
       System.out.println(
         spark.range(10).limit(3).collectAsList().stream()
           .map(Object::toString)
           .collect(Collectors.joining(" "))
       );
     }
   }
   

4. Чтобы создать JAR-файл, выполните следующую команду:

   mvn clean package
   

   Скомпилированный JAR-файл создается в папке target/ как my-spark-app-1.0-SNAPSHOT.jar.

Управление зависимостями

Чтобы сделать библиотеку доступной для JAR-файла на бессерверных вычислениях:

• Используйте предоставленную библиотеку: бессерверные вычисления включают Databricks Connect и курированный набор общих библиотек. Если ваша версия совместима, объявите ее provided в сборке и не включайте ее в JAR-файл.
• Присоединение к библиотеке среды: добавьте библиотеку в бессерверную среду , если она еще не предоставлена. Используйте это для библиотек, доступных только для среды выполнения, которые вы не хотите включать.
• Подключение к внешней базе данных: для источников JDBC используйте подключение JDBC вместо включения драйвера. Подключения JDBC управляются каталогом Unity. Учетные данные, происхождение и управление обрабатываются для вас.

Предоставленные библиотеки

Следующие библиотеки являются обязательными зависимостями и доступны по умолчанию для бессерверных вычислений. Объявите их provided при сборке. Включение собственных версий этих библиотек вызывает NoSuchMethodError во время выполнения.

• com.databricks:databricks-connect_2.13, версия 17.3.2
• org.scala-lang:scala-library_2.13, версия 2.13.16
• org.scala-lang:scala-reflect_2.13, версия 2.13.16
• org.slf4j:slf4j-api, версия 2.0.10
• org.apache.logging.log4j:log4j-api, версия 2.20.0
• org.apache.logging.log4j:log4j-core, версия 2.20.0
• org.apache.httpcomponents:httpclient, версия 4.5.14
• org.apache.httpcomponents:httpcore, версия 4.4.16
• com.fasterxml.jackson.core:jackson-databind, версия 2.15.2
• com.fasterxml.jackson.core:jackson-core, версия 2.15.2
• com.fasterxml.jackson.core:jackson-annotations, версия 2.15.2
• com.fasterxml.jackson.datatype:jackson-datatype-jsr310, версия 2.15.2
• com.google.guava:guava, версия 32.0.1-jre
• commons-io:commons-io, версия 2.14.0
• org.json4s:json4s-jackson_2.13, версия 4.0.7
• org.apache.commons:commons-lang3, версия 3.14.0
• org.apache.commons:commons-configuration2, версия 2.11.0
• org.apache.commons:commons-text, версия 1.12.0
• com.databricks:databricks-sdk-java, версия 0.52.0
• com.databricks:databricks-dbutils-scala_2.13, версия 0.1.4

Шаг 2. Создание задания для запуска JAR-файла

1. В рабочей области щелкните на Задания и конвейеры на боковой панели.

2. Нажмите кнопку "Создать", а затем "Задание".

3. Щелкните плитку JAR , чтобы настроить первую задачу. Если плитка JAR недоступна, нажмите кнопку "Добавить другой тип задачи " и найдите JAR-файл.

4. При необходимости замените имя задания, которое по умолчанию является New Job <date-time>, на нужное вам имя задания.

5. В поле "Имя задачи" введите имя задачи, например JAR_example.

6. При необходимости выберите JAR в раскрывающемся меню "Тип ".

7. В Main class введите пакет и класс вашего JAR-файла. Если вы выполнили пример ранее, введите com.examples.SparkJar.

8. Для вычислений выберите бессерверные.

9. Настройте бессерверную среду:

   1. Выберите среду, затем щёлкните Изменить, чтобы настроить её.
   2. Выберите 4 или выше для версии среды.
   3. Добавьте JAR-файл, перетащив его в селектор файлов или выбрав его из тома каталога Unity или расположения рабочей области.

10. Для параметров введите ["Hello", "World!"].

11. Нажмите кнопку " Сохранить задачу".

Шаг 3. Запуск задания и просмотр сведений о выполнении задания

Щелкните , чтобы запустить рабочий процесс. Чтобы просмотреть сведения о выполнении, щелкните Просмотреть выполнение в всплывающем окне Запущенного выполнения или щелкните ссылку в столбце Время начала для запуска в представлении выполнения заданий.

По завершении выполнения выходные данные отображаются на панели вывода , включая аргументы, переданные задаче.

Troubleshooting

В следующей таблице приведены сведения об устранении неполадок для распространенных исключений.

Дальнейшие действия

• Дополнительные сведения о задачах JAR см. в разделе JAR-задачи для заданий.
• Дополнительные сведения о создании совместимого JAR-файла см. в статье "Создание совместимого JAR-файла Azure Databricks".
• Дополнительные сведения о создании и выполнении заданий см. в разделе "Задания Lakeflow".