Стандартные требования к вычислительным ресурсам и ограничения

Эта страница содержит список требований и ограничений для стандартных вычислений. Если вы используете классические вычисления, Databricks рекомендует использовать стандартный режим доступа, если рабочая нагрузка не зависит от одного из ограничений, перечисленных ниже.

Текущие стандартные ограничения вычислений

В следующих разделах перечислены ограничения для стандартных вычислений на основе последней версии Databricks Runtime. Ограничения, применяемые к старым версиям Databricks Runtime, см. в разделе об ограничениях, зависящих от среды выполнения.

Если эти функции необходимы для рабочей нагрузки, используйте выделенные вычислительные ресурсы .

Общие стандартные ограничения вычислений

• Databricks Runtime для ML не поддерживается. Вместо этого установите любую библиотеку машинного обучения, не входящую в состав среды выполнения Databricks, как библиотеку с областью применения для вычислений.
• Вычислительные ресурсы с поддержкой GPU не поддерживаются.
• Задачи, связанные с выполнением spark-submit, не поддерживаются. Вместо этого используйте задачу JAR .
• DBUtils и другие клиенты могут считывать только из облачного хранилища через внешнее местоположение.
• Пользовательские контейнеры не поддерживаются.
• Корневая директория и точки монтирования DBFS не поддерживают FUSE.

Ограничения языка

• R не поддерживается.

Ограничения API Spark

• Контекст Spark (sc), spark.sparkContextи sqlContext не поддерживаются для Scala:
  • Azure Databricks рекомендует использовать spark переменную для взаимодействия с экземпляром SparkSession .
  • Следующие sc функции также не поддерживаются: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
• Свойство конфигурации Spark spark.executor.extraJavaOptions не поддерживается.
• При создании кадра данных из локальных данных с помощью spark.createDataFrame размер строк не может превышать 128 МБ.
• API RDD не поддерживаются.
• Spark Connect, который используется в более поздних версиях Databricks Runtime, откладывает анализ и разрешение имен во время выполнения, что может изменить поведение кода. См . статью "Сравнение Spark Connect с классической версией Spark".

Ограничения UDF

• Определяемые пользователем функции Hive не поддерживаются. Вместо этого используйте UDF (пользовательские функции) в каталоге Unity.
• Нельзя использовать Scala UDF внутри функций высшего порядка.

Ограничения потоковой передачи

• Работа с сокетными источниками не поддерживается.
• sourceArchiveDir должно находиться в том же внешнем расположении, что и источник, если вы используете option("cleanSource", "archive") с источником данных, управляемым каталогом Unity.
• Для источников и приемников Kafka следующие параметры не поддерживаются.
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• Python foreachBatch не поддерживает ThreadPoolExecutor или многопоточное выполнение. Многопоточное выполнение может не вызывать ошибки, но может привести к повреждению данных или несогласованным результатам.

Ограничения сетевой и файловой системы

• Стандартные вычислительные команды выполняются от имени пользователя с низким уровнем привилегий, которому запрещен доступ к конфиденциальным частям файловой системы.
• Пути в стиле POSIX (/) для DBFS не поддерживаются.
• Только администраторы рабочей области и пользователи с разрешениями ANY FILE могут напрямую взаимодействовать с файлами с помощью DBFS.

• Невозможно подключиться к сервису метаданных экземпляра или Azure WireServer.

Ограничения ядра Scala

Следующие ограничения применяются при использовании ядра scala в стандартном вычислении:

• Некоторые классы нельзя использовать в коде, если они конфликтуют с внутренней библиотекой ядра миндаля, в частности, Input. Для списка определенных импортов для миндаля, см. раздел импорт миндаля.
• Ведение журнала непосредственно в log4j не поддерживается.
• В пользовательском интерфейсе выпадающее меню схемы датафрейма не поддерживается.
• Если драйвер столкнётся с OOM, Scala REPL не завершит работу.
• //connector/sql-aws-connectors:sql-aws-connectors не находится в целевом объекте Scala REPL, используйте результаты ClassNotFoundException.
• Ядро Scala несовместимо с SQLImplicits.

Ограничения, зависящие от среды выполнения

Следующие ограничения были устранены с помощью обновлений среды выполнения, но могут по-прежнему применяться к рабочей нагрузке, если вы используете старую среду выполнения.

Поддержка языков

Поддержка API Spark

Поддержка UDF

Поддержка потоковой передачи

Кроме того, foreachBatch для Python изменяется следующее поведение в Databricks Runtime 14.0 и более поздних версий:

• print() команды записывают выходные данные в журналы драйверов.
• Невозможно получить доступ к подмодулу dbutils.widgets внутри функции.
• Все файлы, модули или объекты, на которые ссылается функция, должны быть сериализуемыми и доступными в Spark.

Поддержка сетевой и файловой системы