Заметки о выпуске Хранилища компонентов Databricks и устаревшей рабочей области

На этой странице перечислены выпуски компонента Feature Engineering для клиента Unity Catalog и клиента Feature Store в Databricks Workspace. Оба клиента доступны в PyPI: databricks-feature-engineering и databricks-feature-store.

Библиотеки используются для:

  • Создавайте, читайте и записывайте таблицы признаков.
  • Обучение моделей на основе данных признаков.
  • Размещайте функциональные таблицы в интернет-магазинах для обслуживания в режиме реального времени.

Документацию по использованию см. в Databricks Feature Store. Документация по API Python см. в разделе "Проектирование компонентов" Python API.

Инженерия признаков в клиенте Unity Catalog предназначена для работы с признаками и таблицами признаков в Unity Catalog. Клиент Workspace Feature Store работает с признаками и таблицами признаков в Workspace Feature Store. Оба клиента предустановлены в Databricks Runtime для машинного обучения. Они также могут работать в Databricks Runtime после установки databricks-feature-engineering из PyPI (pip install databricks-feature-engineering). Только для модульного тестирования оба клиента могут использоваться локально или в средах CI/CD.

Таблицу, показывающую совместимость версий клиента с версиями Databricks Runtime и Databricks Runtime ML, см. в матрице совместимости Feature Engineering. Более старые версии клиента Databricks Workspace Store доступны в PyPI как databricks-feature-store.

databricks-feature-engineering 0.16.1

  • create_training_set и score_batch теперь повторно используют офлайн материализованные агрегированные признаки, когда они доступны, ускоряя создание обучающего набора и пакетный вывод. См. статью "Материализация представлений функций".
  • RequestSource функции больше не требуют столбцов сущностей и таймерий.
  • Исправлены неправильные результаты First и Last в create_training_set. Теперь эти агрегаты включают значения NULL по умолчанию; добавьте значение filter_condition , чтобы исключить входные столбцы NULL.
  • Исправлена ошибка, из-за которой compute_features возвращал нули или значения NULL, если исходные строки содержали значения NULL.
  • Исправления ошибок и улучшения.

databricks-feature-engineering 0.16.0

  • Общедоступная предварительная версия представлений функций:
    • Представления функций теперь доступны в общедоступной предварительной версии. Утилиты is_beta_feature_view() и list_beta_feature_views() в FeatureEngineeringClient выявляют функции, которые были зарегистрированы в Beta API и требуют переноса в представление Public Preview.
    • Feature.clone() метод помогает перенести представления бета-функций в режим общедоступной предварительной версии.
    • create_pipeline не рекомендуется использовать для представлений компонентов; вместо этого используйте API материализованных функций.
  • Функции потоковой передачи:
    • StreamSource теперь поддерживается в create_feature() для определения потоковых функций на основе источников Kafka или Delta.
    • create_training_set теперь поддерживает обучение функций, определенных с помощью StreamSource.
    • Новые create_stream, get_stream, update_stream, delete_stream и list_streams методы в FeatureEngineeringClient для управления источниками потоковых функций.
    • StreamingMode триггер для materialize_features выбирает микропакетную материализацию.
  • Другие улучшения:
    • Новый list_features() API на FeatureEngineeringClient перечисляет функции в каталоге или схеме.
    • Новая grant_feature_serving_access() программа предоставляет разрешения, необходимые для онлайн-обслуживания материализованных функций, с режимом dry_run предварительного просмотра доступа перед применением.
    • DeltaTableSource.from_sql() теперь напрямую принимает SparkSession.
    • DeltaTableSource.dataframe_schema заменяет устаревший schema_json параметр.
    • RollingWindow заменяет удаленный ContinuousWindow псевдоним.
    • Удален устаревший offset параметр из RollingWindow; используйте delay вместо этого.
    • Удалена поддержка двухкомпонентных имен Unity Catalog при использовании каталога по умолчанию.
    • Исправления ошибок и улучшения.

databricks-feature-engineering 0.15.0

  • RequestSource (бета-версия):
    • Новый класс RequestSource позволяет использовать признаки, вычисляемые во время выполнения запроса на основе данных, передаваемых непосредственно в модель, без необходимости обращения к таблице признаков.
    • create_feature(), create_training_set(), score_batch() и compute_features() все поддерживают функции на основе RequestSource.
    • log_model автоматически выполняет передачу RequestSource функций в сигнатуру модели.
  • ColumnSelection (бета-версия):
    • Новый ColumnSelection класс позволяет выбирать определенные выходные столбцы из источника компонентов, что позволяет более детализировать определения признаков.
    • Поддерживается в create_feature(), , create_training_set()compute_features()и log_model.
  • Другие улучшения:
    • Новый TableTrigger тип триггера для materialize_features, запускающий материализацию при обновлении таблиц Delta.
    • score_batch теперь работает в бессерверных средах выполнения Databricks Runtime.
    • DeltaTableSource.from_sql() Теперь отклоняет неподдерживаемые предложения SQL, такие как GROUP BY и ORDER BY.
    • RequestSource.from_dataframe() определяет схему запроса на основе существующего DataFrame.
    • Удалена зависимость Flask из databricks-feature-engineering.
    • Исправления ошибок и улучшения.

databricks-feature-engineering 0.14.0

  • Декларативные функции пакетной службы (бета-версия):
    • API декларативных функций для хранения декларативных определений компонентов в качестве функций каталога Unity с агрегатами и временными окнами.
    • Api материализованных функций планирует автоматическую пакетную материализацию функций в интернет-магазинах с помощью настраиваемых расписаний cron.
    • Материализованные функции можно использовать в онлайн-обслуживании для зарегистрированных моделей в каталоге Unity.
    • Скользящее и прерывистое окно с использованием классов SlidingWindow и TumblingWindow для корректного вычисления функций create_training_set() на заданный момент времени.
    • filter_condition параметр позволяет фильтровать исходные данные при вычислении функций.
  • Другие улучшения:
    • Новый list_online_stores() API содержит список всех интернет-магазинов в каталоге или схеме.
    • Поддержка функции usage_policy_id для учета выставления счетов при создании или обновлении интернет-магазинов.
    • Улучшены сообщения об ошибках при удалении или недоступности интернет-магазинов.
    • Исправления ошибок и повышение производительности.

databricks-feature-engineering 0.13.0

  • API для управления хранилищами функций, управляемыми Databricks.
  • publish_table()теперь принимает source_table_nameи online_table_namepublish_mode параметры для более четкой спецификации таблицы.
  • Поддержка read_replica_count при создании или обновлении интернет-магазинов для повышения производительности чтения.
  • Исправления ошибок и улучшения.

databricks-feature-engineering 0.12.1

  • Поддержка значений по умолчанию для поиска характеристик.
  • Исправления ошибок и улучшения.

databricks-feature-engineering 0.11.0 (пакет для инженерии признаков в Databricks)

  • Добавьте поддержку mlflow версии 3.0.
  • Исправления ошибок и улучшения.

databricks-feature-engineering 0.10.2

  • Добавьте поддержку mlflow версии 2.20.0 и выше.
  • Добавьте поддержку версии numpy 2.x.
  • Исправления ошибок и улучшения.

Инженерия признаков в Databricks 0.9.0

  • Поддержка использования prebuilt_env в вызовах score_batch.
  • Улучшения производительности при присоединении функций точек времени с помощью Photon.
  • Исправления ошибок и улучшения.

databricks-feature-engineering 0.8.0

  • Поддержка использования params в вызовах score_batch, что позволяет передавать дополнительные параметры модели для вывода.
  • Исправления ошибок и улучшения.

databricks-feature-engineering 0.7.0

  • Некоторые представления в каталоге Unity теперь можно использовать в качестве таблиц функций для автономного обучения и оценки модели. См. чтение из таблицы функций в каталоге Unity.
  • Теперь наборы обучения можно создавать с помощью обращений к свойствам или спецификации признаков. См. справочник Python SDK.

databricks-feature-engineering 0.6.0

  • Теперь поддерживаются соединения между точками во времени с собственным Spark, а также существующую поддержку с tempo. Огромная благодарность Семон Синченко за предложение идеи!
  • StructType теперь поддерживается как тип данных PySpark. StructType не поддерживается для онлайн-обслуживания.
  • write_table теперь поддерживает запись в таблицы, где включена функция liquid clustering.
  • Параметр timeseries_columns для create_table был переименован в timeseries_column. Существующие рабочие процессы могут продолжать использовать параметр timeseries_columns.
  • score_batch теперь поддерживает env_manager параметр. Дополнительные сведения см. в документации по MLflow.

databricks-feature-engineering 0.5.0

  • Новый API update_feature_spec в databricks-feature-engineering, который позволяет пользователям обновлять владельца компонента FeatureSpec в каталоге Unity.

databricks-feature-engineering 0.4.0

  • Исправления и улучшения небольших ошибок.

databricks-feature-engineering 0.3.0 (пакет для обработки признаков)

  • log_model теперь использует новый пакет PyPI databricks-feature-lookup , который включает улучшения производительности для обслуживания онлайн-моделей.

databricks-feature-store 0.17.0

  • databricks-feature-store не рекомендуется к использованию. Все существующие модули в этом пакете доступны в databricks-feature-engineering версии 0.2.0 и выше. Дополнительные сведения см. в разделе API Python.

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering Теперь содержит все модули из databricks-feature-store. Дополнительные сведения см. в разделе API Python.

databricks-feature-store 0.16.3

  • Исправлена ошибка времени ожидания при использовании AutoML с таблицами компонентов.

databricks-feature-engineering 0.1.3

  • Небольшие улучшения в UpgradeClient.

databricks-feature-store версия 0.16.2

Databricks Feature Store версия 0.16.1

  • Исправления и улучшения небольших ошибок.

databricks-feature-engineering 0.1.2 и databricks-feature-store 0.16.0

  • Исправления и улучшения небольших ошибок.
    • Исправлены неправильные URL-адреса происхождения заданий, зарегистрированные в некоторых конфигурациях рабочей области.

databricks-feature-engineering 0.1.1

  • Исправления и улучшения небольших ошибок.

databricks-feature-engineering 0.1.0

  • Выпуск общедоступной версии инженерии признаков в клиенте Python для Unity Catalog на PyPI

databricks-feature-store 0.15.1

  • Исправления и улучшения небольших ошибок.

датабрикс-фичер-стор 0.15.0

  • Теперь вы можете автоматически выводить и записывать входной пример при регистрации модели. Для этого задайте для infer_model_example значение True при вызове log_model. Пример основан на обучающих данных, указанных в параметре training_set .

databricks-feature-store 0.14.2

  • Исправлена ошибка при публикации в Aurora MySQL из MariaDB Connector/J >=2.7.5.

databricks-feature-store 0.14.1

  • Исправления и улучшения небольших ошибок.

Хранилище функций Databricks 0.14.0

Начиная с версии 0.14.0, необходимо указать ключевые столбцы метки времени в аргументе primary_keys. Ключи метки времени являются частью "первичных ключей", которые однозначно определяют каждую строку в таблице признаков. Как и другие столбцы первичного ключа, ключевые столбцы метки времени не могут содержать значения NULL.

В следующем примере DataFrame user_features_df включает в себя следующие столбцы: user_id, ts, purchases_30dи is_free_trial_active.

0.14.0 и выше

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 и ниже

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • Исправления и улучшения небольших ошибок.

databricks-feature-store 0.13.0

  • Минимальная требуемая mlflow-skinny версия теперь — 2.4.0.
  • Создание набора обучения завершается ошибкой, если указанный DataFrame не содержит все необходимые ключи подстановки.
  • При ведении журнала модели, используюющей таблицы компонентов в каталоге Unity, подпись MLflow автоматически регистрируется в модели.

databricks-feature-store 0.12.0

  • Теперь вы можете удалить интернет-магазин с помощью drop_online_table API.

databricks-feature-store 0.11.0

  • В рабочих областях с поддержкой каталога Unity теперь можно публиковать таблицы функций рабочей области и каталога Unity в интернет-магазинах Cosmos DB. Для этого требуется Databricks Runtime 13.0 ML или более поздней версии.

databricks-feature-store 0.10.0

  • Исправления и улучшения небольших ошибок.

databricks-feature-store 0.9.0

  • Исправления и улучшения небольших ошибок.

databricks-feature-store 0.8.0

  • Исправления и улучшения небольших ошибок.

databricks-feature-store 0.7.1

  • Добавьте flask в качестве зависимости, чтобы решить проблему отсутствующих зависимостей при оценке моделей с score_batch.

databricks-feature-store 0.7.0

  • Исправления и улучшения небольших ошибок.

databricks-feature-store 0.6.1

  • Первоначальный общедоступный выпуск клиента для хранения признаков Databricks в PyPI.
  • Last updated on