Преобразование неструктурированных данных с помощью функций ИИ

Функции искусственного интеллекта — это встроенные функции, которые можно использовать для применения LLM или передовых исследовательских методов к данным, хранящимся на Azure Databricks, для преобразования и анализа данных. Их можно запускать из Databricks SQL, записных книжек, конвейеров Lakeflow и рабочих процессов.

Функции ИИ просты в использовании, быстры и масштабируемы. Аналитики могут использовать их для применения интеллектуального анализа данных к собственным данным, в то время как инженеры данных, специалисты по обработке данных и инженеры машинного обучения могут использовать их для создания производственного уровня пакетных конвейеров.

Когда вы вызываете функцию ИИ, ваш запрос обрабатывается в той вычислительной среде, из которой вы её отправляете, например в SQL-хранилище, записной книжке, кластере или конвейере. В зависимости от функции вывод модели может выполняться на отдельной инфраструктуре, управляемой Databricks, которая оплачивается дополнительно к этой вычислительной системе. См. Просмотр затрат на нагрузки по функциям ИИ.

Requirements

• Функции ИИ недоступны на классических хранилищах SQL.
• Требуется Databricks Runtime 15.4 LTS и выше. Для лучшей производительности и доступа к новейшим функциям рекомендуется Databricks Runtime 18.2 и выше.

Конкретное и общее назначение задач

Функции ИИ имеют функции конкретной задачи и общего назначения:

• Функции ИИ, предназначенные для конкретной задачи — специально разработанные функции, оптимизированные для конкретной задачи, такие как анализ документов, извлечение сущностей, классификация и анализ тональности. Эти функции обеспечиваются системами, управляемыми и исследовательскими, под управлением Azure Databricks. Некоторые функции включают опыт взаимодействия с пользовательским интерфейсом. См. функции ИИ для конкретных задач поддерживаемых функций и моделей.
• ai_query — функция общего назначения для гибкости задач и моделей. Укажите запрос и выберите любой поддерживаемый API фундаментальной модели. См. раздел "Использование ai_query".

Чтобы ограничить доступ к функциям ИИ для конкретной задачи, ознакомьтесь с разрешениями каталога Unity функций ИИ.

функции ИИ для конкретной задачи

Функции, относящиеся к задачам, ограничены для определенной задачи, поэтому можно автоматизировать обычные преобразования, такие как извлечение сущностей, перевод и классификация. Databricks рекомендует эти функции для начала работы, так как они вызывают современные методы исследования, поддерживаемые Databricks и не требуют каких-либо настроек.

Пример см. в статье "Анализ отзывов клиентов с помощью функций ИИ ".

Следующие функции группируются по задачам.

Интеллектуальная обработка документов:

Преобразование текста:

Анализ текста:

Создайте содержимое. Для настраиваемых подсказок или конкретной модели см. раздел "Использование ai_query:

Прогноз временных рядов:

Анализ изменений метрик:

Поиск с помощью эмбеддингов AI Search:

Использование функций ИИ в рабочих рабочих процессах

Для крупномасштабного пакетного инференса вы можете интегрировать специализированные функции ИИ или универсальную функцию ai_query в свои производственные рабочие процессы, такие как конвейеры Lakeflow, рабочие процессы Databricks и Structured Streaming. Это позволяет осуществлять обработку промышленного уровня в масштабе.

Рекомендации по функциям искусственного интеллекта в рабочей среде:

Пусть функции ИИ обрабатывают рабочую нагрузку в масштабе: Функции ИИ автоматически управляют параллелизмом, повторными попытками и масштабированием. Рекомендуется отправить полный набор данных в одном запросе, а не вручную разделить его на небольшие пакеты. Производительность может не масштабироваться линейно от очень небольших рабочих нагрузок до крупномасштабных рабочих нагрузок.

Используйте базовые модели, размещенные в Databricks: При использовании функции ai_query ИИ используйте базовые модели Databricks (с префиксом databricks-), а не заданную пропускную способность. Эти конечные точки, не требующие начальной настройки, полностью управляемые и лучше всего подходят для пакетной обработки.

В статье "Развертывание пакетных конвейеров вывода" приведены примеры и подробности.

Мониторинг хода выполнения функций ИИ

Чтобы понять, сколько выводов завершилось или завершилось сбоем, и устранить неполадки с производительностью, можно отслеживать ход выполнения функций ИИ с помощью функции профиля запроса.

В Databricks Runtime 16.1 ML и более поздних версиях из окна запроса редактора SQL в рабочей области:

1. Выберите элемент Выполняется--- в нижней части окна Исходные результаты. Откроется окно производительности справа.
2. Щелкните "Просмотреть профиль запроса", чтобы просмотреть сведения о производительности.
3. Щелкните ИИ-запрос , чтобы просмотреть метрики для этого конкретного запроса, включая количество завершенных и неудачных выводов и общее время выполнения запроса.

Просмотр затрат на рабочие нагрузки функций ИИ

Вычислительные ресурсы, на которых выполняется ваш запрос, всегда оплачиваются, например хранилище SQL или кластер заданий. Наличие дополнительной стоимости вывода модели зависит от функции:

• Функции для конкретных задач (например, ai_classify, ai_summarize, ai_translate) выполняют инференс на бессерверной инфраструктуре GPU под управлением Databricks через Model Serving. Вы не развертываете эту инфраструктуру, но она тарифицируется отдельно, в дополнение к вашим вычислительным ресурсам для запросов.
• ai_query оплачивается по тарифу за указанную вами конечную точку обслуживания моделей. Конечные точки базовых моделей, размещённые в Databricks, тарифицируются так же, как и функции для конкретных задач; конечные точки пользовательских моделей и конечные точки с выделенной пропускной способностью работают на собственных выделенных вычислительных ресурсах обслуживания и тарифицируются соответствующим образом.
• ai_forecast и ai_top_drivers работают полностью на тех вычислительных ресурсах, с которых вы их отправляете, без отдельных затрат на инференс.
• vector_search обращается к вашему индексу AI Search через сервис AI Search под управлением Databricks.

Затраты на функцию ИИ записываются как часть MODEL_SERVING продукта в соответствии с типом BATCH_INFERENCE предложения. См. пример запроса "Просмотр затрат для рабочих нагрузок пакетного вывода прогнозов".

Просмотр затрат на рабочие нагрузки пакетного инференса

В следующих примерах показано, как фильтровать рабочие нагрузки пакетного вывода на основе заданий, вычислений, хранилищ SQL и конвейеров Lakeflow.

См. статью "Мониторинг затрат на обслуживание модели " для общих примеров того, как просматривать затраты на рабочие нагрузки пакетного вывода, использующие функции ИИ.

Jobs

В следующем запросе показано, какие задания используются для пакетного вывода с помощью system.workflow.jobs таблицы систем. См. Мониторинг затрат и производительности заданий с помощью системных таблиц.

SELECT *
FROM system.billing.usage u
  JOIN system.workflow.jobs x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.job_id = x.job_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Compute

Ниже показано, какие кластеры используются для пакетного вывода с помощью system.compute.clusters таблицы систем.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Декларативные конвейеры Lakeflow Spark

Ниже показано, какие конвейеры Lakeflow используются для пакетного вывода с помощью системной таблицы system.lakeflow.pipelines.

SELECT *
FROM system.billing.usage u
  JOIN system.lakeflow.pipelines x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.dlt_pipeline_id = x.pipeline_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Хранилище SQL

Ниже показано, какие хранилища SQL используются для пакетного вывода с помощью system.compute.warehouses таблицы систем.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Просмотр затрат на запуски ai_parse_document

В следующем примере показано, как запрашивать таблицы системы выставления счетов для просмотра затрат на выполнение ai_parse_document.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "AI_FUNCTIONS"
  AND u.product_features.ai_functions.ai_function = "AI_PARSE_DOCUMENT";