Используйте ai_query

ai_query — это функция AI, которая позволяет запрашивать любую поддерживаемую модель ИИ непосредственно из SQL или Python. В отличие от функций ИИ для конкретной задачи, созданных с целью и оптимизированных для одной задачи, ai_query вы можете полностью управлять моделью, запросом и параметрами.

Полный синтаксис и справочник по параметрам см. в разделеai_query "Функция".

Когда следует использовать ai_query

Databricks рекомендует начать с функции ИИ для конкретной задачи , если она соответствует вашей цели. Используйте ai_query, если функция, зависящая от конкретной задачи, не соответствует вашим потребностям. Например, если вам нужно:

• Более точное управление запросом, параметрами модели или форматом вывода
• Запрос настраиваемой, тонко настроенной или внешней модели
• Требуется гибкость для дальнейшей оптимизации пропускной способности или качества

Лучшие практики

• Используйте модели, размещенные в Databricks. Используйте конечные точки базовой модели, размещенной в Databricks (с префиксом databricks-), вместо конечных точек с выделенной пропускной способностью. Эти конечные точки полностью управляются и масштабируются автоматически без подготовки или настройки.
• Выберите модель, оптимизированную для пакетного вывода. Databricks оптимизирует определенные модели для рабочих нагрузок пакетной обработки с высокой пропускной способностью. Использование неоптимизируемой модели может привести к снижению пропускной способности и длительному времени завершения задания. См. Поддерживаемые модели для полного списка моделей, оптимизированных для пакетной обработки.
• Отправьте полный набор данных в одном запросе. Функции ИИ автоматически обрабатывают параллелизацию, повторные попытки и масштабирование. Разделение данных вручную на небольшие пакеты может снизить пропускную способность.
• failOnError Установите значение false для больших рабочих нагрузок. Это позволяет заданию выполнять и возвращать сообщения об ошибках для неудачных строк, поэтому вы сохраняете успешные результаты без повторной обработки всего набора данных.

Поддерживаемые модели

ai_query поддерживает модели, размещенные в Databricks, подготовленные модели пропускной способности, пользовательские модели и внешние модели.

В следующей таблице приведены сведения о поддерживаемых типах моделей, связанных моделях и требованиях к конфигурации конечной точки для каждой модели.

Использование ai_query с базовыми моделями

В следующем примере показано, как использовать ai_query с базовой моделью, размещенной Azure Databricks.

• См. раздел « функция» для получения сведений о синтаксисе и параметрах.
• Примеры многомодальных входных запросов см. в разделе "Многомодальные входные данные".
• Примеры расширенных сценариев см. в руководстве по настройке параметров для расширенных вариантов использования, таких как:
  • Обработка ошибок с помощью failOnError
  • Структурированные выходные данные Azure Databricks для определения формата выходных данных в ответах на запросы.

SQL

SELECT text, ai_query(
    "databricks-gpt-oss-120b",
    "Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;

Python

df_out = df.selectExpr(
  "ai_query('databricks-gpt-oss-120b', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')

Пример блокнота: пакетный вывод и извлечение структурированных данных

В следующем примере записной книжки показано, как выполнять базовое структурированное извлечение данных с помощью ai_query преобразования необработанных, неструктурированных данных в упорядоченные, полезные сведения с помощью методов автоматического извлечения. В этой записной книжке также показано, как использовать Агентскую Оценку для оценки точности с использованием данных эталонной истины.

Записная книжка пакетного вывода и извлечения структурированных данных

Получите ноутбук

Используйте ai_query с традиционными моделями машинного обучения

ai_query поддерживает традиционные модели машинного обучения, включая полностью настраиваемые. Эти модели должны быть развернуты на конечных точках обслуживания моделей. Сведения о синтаксисе и параметры см. в ai_query разделе "Функция".

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10

Пример блокнота: пакетное выведение с помощью BERT для распознавания именованных сущностей

В следующей записной книжке показан традиционный пример пакетного прогнозирования модели машинного обучения с использованием BERT.

Пакетное вычисление с использованием BERT для ноутбука по распознаванию именованных сущностей

Получите ноутбук