Databricks Runtime 10.1 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.1 и Databricks Runtime 10.1 Photon на базе Apache Spark 3.2.0. Databricks выпустила эту версию в ноябре 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Новые функции и внесенные улучшения

• Новые параметры разностных таблиц для сжатия небольших файлов
• Новые метрики группы строк для сканирования запросов Parquet
• Trigger.AvailableNow для запросов разностных исходных потоков
• Trigger.AvailableNow для автоматического загрузчика
• Разностная поддержка конфигураций файловой системы Hadoop, передаваемых через параметры кадров данных
• Асинхронная контрольная точка состояния теперь поддерживается в заданиях потоковой передачи с отслеживанием состояния (общедоступная предварительная версия)
• Sparklyr со сквозной передачей учетных данных
• Данные Databricks Utilities обобщают контроль точности (общедоступная предварительная версия)
• Теперь записные книжки Azure Databricks можно использовать с ядром IPython
• Новые функции в Spark SQL

Новые параметры разностных таблиц для сжатия небольших файлов

Свойство delta.autoOptimize.autoCompact разностной таблицы теперь принимает новые значения auto и legacy в дополнение к существующим значениям true и false. Если задано значение auto (рекомендуется), автоматическое сжатие использует улучшенные значения по умолчанию, например, значение 32 МБ в качестве целевого размера файла (хотя действие по умолчанию в будущем может измениться). Если задано значение legacy или true, автоматическое сжатие использует значение 128 МБ в качестве целевого для размера файла.

Вместо задания этого свойства для отдельной таблицы можно задать для конфигурации spark.databricks.delta.autoCompact.enabled значение auto, legacy или true, чтобы включить автоматическое сжатие для всех разностных таблиц. Эта конфигурация имеет приоритет над связанным свойством таблицы во время текущего сеанса.

Размер целевого файла для автоматического сжатия можно контролировать с помощью конфигурации spark.databricks.delta.autoCompact.maxFileSize.

Дополнительные сведения об автоматическом уплотнении см. в разделе "Автоматическое сжатие" для Delta Lake в Azure Databricks.

Новые метрики группы строк для сканирования запросов Parquet

Запросы со сканированием Parquet теперь отображают метрики группы строк в пользовательском интерфейсе Spark. Ниже перечислены эти метрики групп строк.

• общее число групп строк Parquet
• число считанных групп строк Parquet

Trigger.AvailableNow для запросов разностных исходных потоков

Это изменение поддерживает новый тип триггера для разностных запросов с исходными потоками в Scala: Trigger.AvailableNow. Он похож на процесс Trigger.Once, который обрабатывает все доступные данные и останавливает запрос. Однако Trigger.AvailableNow обеспечивает лучшую масштабируемость, поскольку данные могут обрабатываться в нескольких пакетах, а не в одном. Это изменение не приводит к появлению нового интерфейса, а реализует существующий API Spark. Этот триггер также поддерживает все параметры ограничения скорости, которые уже поддерживаются Delta в качестве источника.

Пример:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Описание Trigger.AvailableNow см. в статье об автозагрузчике.

Trigger.AvailableNow для автоматического загрузчика

Trigger.AvailableNow — новый режим триггера потоковой передачи, аналогичный Trigger.Once. Trigger.Once обрабатывает все доступные данные, а затем останавливает запрос. Trigger.AvailableNow обеспечивает лучшую масштабируемость, поскольку данные могут обрабатываться в нескольких пакетах, а не в одном. Автозагрузчик теперь поддерживает Trigger.AvailableNow как в режиме списков каталогов, так и в режиме уведомления файлов для Scala. Описание Trigger.AvailableNow см. в статье об автозагрузчике.

Разностная поддержка конфигураций файловой системы Hadoop, передаваемых через параметры кадров данных

Как и в случае с Parquet, Delta теперь поддерживает чтение конфигураций файловой системы Hadoop из параметров DataFrameReader и DataFrameWriter при чтении или написании таблицы с помощью DataFrameReader.load(path) или DataFrameWriter.save(path). См. раздел "Настройка учетных данных хранилища Delta".

Асинхронная контрольная точка состояния теперь поддерживается в заданиях потоковой передачи с отслеживанием состояния (общедоступная предварительная версия)

Асинхронная контрольная точка состояния — это новая функция, которая потенциально сокращает сквозную микропакетную задержку в заданиях потоковой передачи с отслеживанием состояния с большими обновлениями состояния. См . асинхронную контрольную точку состояния для запросов с отслеживанием состояния.

Sparklyr со сквозной передачей учетных данных

Теперь вы можете использовать API sparklyr для чтения и записи данных в облачном хранилище с помощью сквозной передачи учетных данных. Эта функция ограничена стандартными кластерами с доступом только для одного пользователя. См. раздел "Доступ к Azure Data Lake Storage" с помощью сквозного руководства учетных данных Microsoft Entra ID (устаревшая версия).

Данные Databricks Utilities обобщают контроль точности (общедоступная предварительная версия)

Новый параметр precise для dbutils.data.summarize управляет точностью сводных результатов. Если для параметра precise задано значение false (значение по умолчанию), то сводка возвращает приблизительные результаты для числа различных объектов, процентилей и частых счетчиков элементов. Если для параметра precise задано значение true, то сводки теперь вычисляются с точностью различных объектов и частыми счетчиками элементов с более точными оценками процентилей. См. команду обобщения (dbutils.data.summarize).

Теперь записные книжки Azure Databricks можно использовать с ядром IPython

Теперь можно настроить кластер Azure Databricks для выполнения кода Python с помощью ядра IPython. Использование ядра IPython в Azure Databricks добавляет поддержку инструментов отображения и вывода IPython. Кроме того, ядро IPython записывает выходные данные stdout и stderr дочерних процессов, созданных в записной книжке, что позволяет включить эти данные в результаты команд записной книжки.

Дополнительные сведения см. в разделе Ядро IPython.

Новые функции в Spark SQL

Для работы с данными в каталоге Unity (предварительная версия) были добавлены следующие объекты и команды.

• Внешние расположения
• ALTER CATALOG
• ALTER CREDENTIAL
• ИЗМЕНИТЬ МЕСТОПОЛОЖЕНИЕ
• CREATE CATALOG
• СОЗДАТЬ МЕСТОПОЛОЖЕНИЕ
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• ОПИСАТЬ МЕСТОПОЛОЖЕНИЕ
• DROP CATALOG
• DROP CREDENTIAL
• МЕСТО СБРОСА
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• ОТОБРАЖЕНИЕ РАСПОЛОЖЕНИЙ
• USE CATALOG

В Delta Sharing (предварительная версия) были добавлены следующие команды, позволяющие обмениваться данными только для чтения с получателями за пределами вашей организации.

• Деление
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT ПОДЕЛИТЬСЯ
• REVOKE ПОДЕЛИТЬСЯ
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Исправления ошибок

• Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException в качестве No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.

Обновления библиотек

• Обновленные библиотеки Python:
  • filelock с 3.0.12 до 3.3.1
  • koalas с 1.8.1 до 1.8.2
  • plotly с 5.1.0 до 5.3.0
• Обновленные библиотеки R:
  • bslib с 0.3.0 до 0.3.1
  • caret с 6.0-88 до 6.0-90
  • cpp11 с 0.3.1 до 0.4.0
  • data.table с 1.14.0 до 1.14.2
  • desc с 1.3.0 до 1.4.0
  • diffobj с 0.3.4 до 0.3.5
  • digest с 0.6.27 до 0.6.28
  • generics с 0.1.0 до 0.1.1
  • hms с 1.1.0 до 1.1.1
  • knitr с 1.34 до 1.36
  • lattice с 0.20-44 до 0.20-45
  • lifecycle с 1.0.0 до 1.0.1
  • lubridate с 1.7.10 до 1.8.0
  • mgcv с 1.8-37 до 1.8-38
  • mime с 0.11 до 0.12
  • pkgload с 1.2.2 до 1.2.3
  • progressr с 0.8.0 до 0.9.0
  • rcmdcheck с 1.3.3 до 1.4.0
  • readr с 2.0.1 до 2.0.2
  • recipes с 0.1.16 до 0.1.17
  • remotes с 2.4.0 до 2.4.1
  • rlang с 0.4.11 до 0.4.12
  • rvest с 1.0.1 до 1.0.2
  • shiny с 1.6.0 до 1.7.1
  • stringi с 1.7.4 до 1.7.5
  • testthat с 3.0.4 до 3.1.0
  • tidyr с 1.1.3 до 1.1.4
  • tinytex с 0.33 до 0.34
  • usethis с 2.0.1 до 2.1.2
  • xfun с 0.26 до 0.27
• Обновленные библиотеки Java:
  • com.zaxxer.HikariCP с 3.1.0 до 4.0.3

Apache Spark

Databricks Runtime 10.1 включает Apache Spark 3.2.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 10.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-37037] [SQL] Улучшение сортировки массива байтов путем унификации функции compareTo UTF8String и ByteArray
• [Spark-37091] [R] SystemRequirements включают Java < 18
• [SPARK-37041] [SQL] Бэкпорт HIVE-15025: поддержка Secure-Socket-Layer (SSL) для HMS
• [SPARK-37098] [SQL] Изменение свойств таблицы должно сделать кэш недействительным
• [SPARK-36992] [SQL] Улучшение производительности сортировки массива байтов путем объединения функции getPrefix UTF8String и ByteArray
• [SPARK-37047] [SQL] Добавление функций lpad и rpad для двоичных строк
• [SPARK-37076] [SQL] явно Реализация StructType.toString для Scala 2.13
• [SPARK-37075] [SQL] Перемещение построения выражений UDAF из sql/catalyst в sql/core
• [spark-37084] [SQL] Настройка spark.sql.files.openCostInBytes на bytesConf
• [SPARK-37088] [ PYSPARK][sql] Поток записи не должен получать доступ к входным данным после возврата слушателя завершения задачи
• [SPARK-37069] [SQL] Правильный резервный вариант, когда Hive.getWithoutRegisterFns недоступен
• [Spark-37050] [Python] Инструкции по установке обновления Conda
• [SPARK-37067] [SQL] Использование ZoneId.of() для обработки строки часового пояса в DatetimeUtils
• [SPARK-35925] [SQL] Поддержка DayTimeIntervalType в функции width-bucket
• [SPARK-35926] [SQL] Добавлена поддержка YearMonthIntervalType для width_bucket
• [SPARK-35973] [SQL] Добавлена команда SHOW CATALOGS
• [SPARK-36922] [SQL] Функции SIGN / SIGNUM должны поддерживать интервалы ANSI
• [Spark-37078] [CORE] Поддержка старых конструкторов Sink с 3 параметрами
• [SPARK-37061] [SQL] CustomMetrics при использовании внутренних классов
• [Spark-35918] [AVRO] Унификация обработки несоответствия схемы для чтения / записи и улучшения сообщений об ошибках
• [SPARK-36871] [SQL] Миграция CreateViewStatement в команду v2
• [SPARK-36898] [SQL] Настраиваемый коэффициент объединения хэшей в случайном порядке
• [SPARK-36921] [SQL] Поддержка интервалов ANSI по DIV
• [SPARK-36794] [SQL] Игнорирование дублирующихся ключей соединения при построении отношения для перемешиваемого хэш-соединения SEMI / ANTI
• [SPARK-36867] [SQL] Исправление сообщения об ошибке с помощью псевдонима GROUP BY
• [SPARK-36914] [SQL] Реализация dropIndex и listIndexes в JDBC (диалект MySQL)
• [SPARK-35531] [SQL] Непосредственная передача таблицы hive в HiveClient при вызове getPartitions, чтобы избежать ненужного преобразования из HiveTable — > CatalogTable — > HiveTable
• [SPARK-36718] [SQL] Свернуть проекты только в том случае, если мы не повторяем дорогостоящие выражения
• [SPARK-37046] [SQL]: Изменение представления не сохраняет регистр столбцов
• [SPARK-36978] [SQL] Правило InferConstraints должно создавать ограничения IsNotNull для доступного вложенного поля вместо корневого вложенного типа
• [Spark-37052] [CORE] Spark должен передавать аргумент –verbose основному классу только тогда, когда это оболочка sql
• [SPARK-37017] [SQL] Уменьшение области действия синхронизации, чтобы предотвратить потенциальную взаимоблокировку
• [SPARK-37032] [SQL] Неработающая ссылка на синтаксис SQL на странице справочника SQL
• [SPARK-36905] [SQL] Чтение представлений hive без явных имен столбцов
• [SPARK-36678] Миграция SHOW TABLES использовать команду версии 2 по умолчанию
• [SPARK-36943] [SQL] Улучшение читаемости сообщения об ошибке отсутствующего столбца
• [SPARK-36980] [SQL] Вставка запроса поддержки с CTE
• [SPARK-37001] [SQL] Отключение двух уровней карт для окончательной агрегации хэшей по умолчанию
• [SPARK-36970] [SQL] Отключенный вручную формат B функции date_format для обеспечения совместимости Java 17 с Java 8
• [SPARK-36546] [SQL] Добавление поддержки массивов в объединение по имени
• [SPARK-36979] [SQL] Правило RewriteLateralSubquery в nonExcludableRules
• [SPARK-36949] [SQL] Запрет таблиц поставщиков Hive с интервалами ANSI
• [SPARK-36849] [SQL] Миграция UseStatement в структуру команд v2
• [SPARK-36868] [SQL] Миграция CreateFunctionStatement в структуру команд v2
• [SPARK-36841] [SQL] Добавление синтаксиса ansi set catalog xxx для изменения текущего каталога
• [SPARK-36821] [SQL] Класс ColumnarBatch расширяемый — дополнение
• [SPARK-36963] [SQL] Добавление max_by/min_by в sql.functions
• [SPARK-36913] [SQL] Реализация createIndex и IndexExists в DS V2 JDBC (диалект MySQL)
• [SPARK-36848] [SQL] Миграция ShowCurrentNamespaceStatement в структуру команд v2
• [SPARK-36526] [SQL] Поддержка индекса DSV2: добавление интерфейса supportsIndex
• [SPARK-36960] [SQL] Фильтры Pushdown со значениями интервала ANSI в ORC
• [SPARK-36929] [SQL] Удаление неиспользуемого метода EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Поддержка чтения и записи интервалов ANSI из / в источники данных ORC
• [SPARK-34980] [SQL] Поддержка секционирования объединения путем объединения в AQE
• [SPARK-36809] [SQL] Удаление широковещательной рассылки для InSubqueryExec, используемой в DPP
• [SPARK-36813] [ SQL][python] Предложить инфраструктуру as-of присоединения и реализовать ps.merge_asof
• [SPARK-36918] [SQL] Игнорирование типов при сравнении структур для unionByName
• [SPARK-36891] [SQL] Рефакторинг SpecificParquetRecordReaderBase и добавление большего охвата векторизованного декодирования Parquet
• [SPARK-36920] [SQL] Поддержка интервалов ANSI ABS()
• [SPARK-36888] [SQL] Добавление тестовых случаев для функции sha2
• [SPARK-36889] [SQL] Соблюдение spark.sql.parquet.filterPushdown построителем сканирования v2 parquet
• [SPARK-36830] [SQL] Поддержка чтения и записи интервалов ANSI из / в источники данных JSON
• [SPARK-36870] [SQL] Введение класса ошибки INTERNAL_ERROR
• [SPARK-36831] [SQL] Поддержка чтения и записи интервалов ANSI из / в источники данных CSV.
• [SPARK-36550] [SQL] Причина распространения при сбое отражения UDF
• [SPARK-36866] [SQL] Фильтры Pushdown со значениями интервала ANSI для parquet
• [SPARK-33832] [SQL] Принудительное упрощение и улучшение кода соединения с отклонением
• [SPARK-36642] [SQL] Добавление df.withMetadata pyspark API
• [SPARK-35765] [SQL] Отдельные агрегаторы не чувствительны к дублированию
• [SPARK-36825] [SQL] Чтение и запись кадров данных с интервалами ANSI из / в файлы parquet
• [SPARK-36829] [SQL] Рефакторинг проверки значений NULL для collectionOperators
• [SPARK-32712] [SQL] Поддержка записи таблицы с сегментами Hive (форматы файлов Hive с хэшем Hive)
• [SPARK-36797] [SQL] Объединение должно разрешать вложенные столбцы как столбцы верхнего уровня
• [SPARK-36838] [SQL] Повышение производительности сгенерированного InSet кода
• [SPARK-36683] [SQL] Добавлены новые встроенные функции SQL: SEC и CSC
• [SPARK-36721] [SQL] Упрощение логических равенств, если одна сторона литеральна
• [SPARK-36760] [SQL] Добавление интерфейса SupportsPushDownV2Filters
• [SPARK-36652] [SQL] Выбор динамического соединения AQE не должен применяться к неэквивалентному соединению
• [SPARK-36745] [SQL] ExtractEquiJoinKeys должен возвращать исходные предикаты для ключей соединения
• [SPARK-36107] [SQL] Рефакторинг первого набора из 20 ошибок выполнения запроса для использования классов ошибок
• [SPARK-32709] [SQL] Поддержка записи таблицы с сегментами Hive (формат Parquet / ORC с хэшем Hive)
• [SPARK-36735] [SQL] Настройка издержек кэшированного отношения для DPP
• [SPARK-33832] [SQL] Поддержка оптимизации асимметричного соединения, даже если вводится дополнительное перемешивание
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec должен использовать все условия вместо неэквивалентных условий
• [SPARK-35221] [SQL] Добавление проверки поддерживаемых подсказок присоединения
• [SPARK-36814] [SQL] Класс ColumnarBatch расширяемый
• [SPARK-36663] [SQL] Поддержка имен столбцов, состоящих только из чисел, в источниках данных ORC
• [SPARK-36751] [ SQL][python][R] Добавление API-интерфейсов bit/octet_length в Scala, Python и R
• [SPARK-36733] [SQL] Исправление проблемы производительности в SchemaPruning, когда структура имеет много полей
• [SPARK-36724] [SQL] Поддержка timestamp_ntz в качестве типа столбца времени для SessionWindow
• [SPARK-36556] [SQL] Добавление фильтров DSV2
• [SPARK-36687] [ SQL][core] Переименуйте классы ошибок с _ERROR суффиксом
• [SPARK-35803] [SQL] Поддержка DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Добавление df.withMetadata: синтаксис для обновления метаданных кадра данных

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 10.1.

Системная среда

• Операционная система: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 26.10.2021.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)