Что такое пространство AI/BI Genie

В этой статье описывается ИИ/BI Genie, функция Azure Databricks, которая позволяет бизнес-командам взаимодействовать с данными с помощью естественного языка. Он использует созданный ИИ, адаптированный к терминологии и данным вашей организации, с возможностью мониторинга и уточнения производительности с помощью отзывов пользователей.

Обзор

Доменные эксперты, такие как аналитики данных, настраивают пространства Genie с наборами данных, примерами запросов и текстовыми рекомендациями для того чтобы помочь Genie конвертировать бизнес-вопросы в аналитические запросы. После настройки бизнес-пользователи могут задавать вопросы и создавать визуализации для понимания операционных данных. Вы можете постоянно обновлять семантические знания Genie по мере того, как ваши данные изменяются и появляются новые вопросы от пользователей. Для получения дополнительной информации о функциях на базе ИИ Databricks см. Функции на базе ИИ Databricks.

AI/BI Genie выбирает соответствующие имена и описания из аннотированных таблиц и столбцов, чтобы преобразовать вопросы естественного языка в эквивалентный SQL-запрос. Затем он реагирует на созданный запрос и таблицу результатов, если это возможно. Если Genie не может создать ответ, он может задать дальнейшие вопросы, чтобы уточнить перед предоставлением ответа.

Примеры вариантов использования

Вы можете создать разные пространства Genie для обслуживания различных не технических аудиторий. В следующих сценариях описаны два возможных варианта использования.

Пример 1. Визуализация состояния возможности

A sales manager wants to get the current status of open and closed opportunities by stage in their sales pipeline. Они могут взаимодействовать с пространством Genie с помощью естественного языка и автоматически создавать визуализацию.

В следующем gif-файле показано следующее взаимодействие:

Пример 2. Отслеживание логистики

Логистическая компания хочет использовать пространства Genie, чтобы помочь бизнес-пользователям из разных отделов отслеживать операционные и финансовые сведения. Они создали пространство Genie для менеджеров их грузовых объектов, позволяющее отслеживать поставки, и другое пространство для своих финансовых руководителей, чтобы лучше понять финансовое состояние предприятия.

Как Genie создает ответ

Genie использует составную систему искусственного интеллекта для интерпретации бизнес-вопросов и создания ответов. Вместо использования одной крупной языковой модели составные системы ИИ обрабатывают задачи в приложениях ИИ путем объединения нескольких взаимодействующих компонентов. Составные системы ИИ являются все более распространенным шаблоном проектирования для приложений ИИ из-за их производительности и гибкости. Дополнительные сведения см. в статье Переход от моделей к составным системам ИИ.

Когда пользователь отправляет вопрос, Genie анализирует запрос, определяет соответствующие источники данных и определяет, как реагировать на запрос. Инструкции, предоставляемые вместе с метаданными каталога Unity, позволяют Genie выводить бизнес-и техническую логику. Genie интеллектуально фильтрует примеры запросов SQL, метаданных таблиц и столбцов и журнала чатов, чтобы выбрать наиболее релевантную информацию для ответа на запрос.

Genie использует следующие компоненты для создания ответов:

• метаданные таблицы: включает имена таблиц, описания и определенные связи первичного ключа (PK) и внешнего ключа (FK). Genie использует эти данные, так как он анализирует запрос и преобразует запрос естественного языка в SQL.
• Имена и описания столбцов: Genie интеллектуально фильтрует релевантные имена и описания столбцов для включения.
• Примеры SQL-запросов: Genie интеллектуально выбирает соответствующие примеры SQL из Инструкции.
• функции SQL: все функции SQL, добавленные в пространство.
• инструкции. Заметки с открытым текстом, предоставленные как общие инструкции, включаются в качестве контекста.
• История запросов и ответов: Запросы и ответы из текущего чата используются в качестве контекста. При необходимости из-за ограничений на токены , наиболее ранние части записи чата исключаются.

Во многих случаях Genie создает SQL-запрос только для чтения, который выполняется в хранилище SQL пространства. Повторные попытки обрабатываются автоматически, а хранилище SQL обрабатывает параллелизм и масштабирование. Результирующий набор представлен как часть ответа.

Какие данные следует использовать?

A Genie space is based on data registered to Unity Catalog, including managed tables, external tables, foreign tables, views, and materialized views. Ai/BI Genie использует метаданные, подключенные к объектам каталога Unity, для создания ответов. Хорошо аннотированные наборы данных, в сочетании с определенными инструкциями, которые вы предоставляете, являются ключевыми для создания положительного интерфейса для конечных пользователей.

В Databricks рекомендуется следующее:

• Curate data for analytical consumption: Layer views to reduce the number of columns and add use-case-specific information to increase response quality.
• свести к минимуму количество таблиц и столбцов в пространстве Genie: включите только таблицы и столбцы, необходимые для ответа на вопросы для данного домена. Ненужные таблицы или столбцы могут привести к тому, что Genie предоставляет запутанные или неправильные ответы или отображает сообщение об ошибке.
• Определите связи первичного ключа (PK)/внешнего ключа (FK): используйте каталог Unity для определения связей PK/FK, чтобы Genie понимал, как ваши данные связаны.

Отправка файлов

Пользователи также могут отправлять собственные небольшие файлы данных в пространство Genie. Чтобы включить отправку файлов, обратитесь к группе учетной записи Databricks. Дополнительные сведения см. в разделе Отправка файла.

Доверенные ресурсы

Доверенные ресурсы передают дополнительный уровень гарантии в точности результата пользователю пространства. Если для создания ответа используется точный текст параметризованного примера запроса или функции SQL, Genie помечает ответ как доверенный. См. "Использование доверенных ресурсов в пространствах AI/BI Genie".

Чат с Genie

Большинство взаимодействий в пространстве Genie происходят в окне чата или с помощью API Genie (общедоступная предварительная версия). В пользовательском интерфейсе пространства Genie каждый пользователь может получить доступ к потоковой записи своих бесед. Каждая беседа сохраняет контекст из предыдущих взаимодействий в этом потоке, что помогает Genie понять последующие вопросы и помочь пользователям в уточнении или изучении их результатов.

Пользователи, имеющие доступ уровня CAN VIEW или выше к пространству, могут просматривать историю своих чатов. Пользователи с привилегиями "CAN EDIT" могут просматривать все вопросы и ответы на вкладке Мониторинг пространства.

Просмотр ответов

Большинство ответов включают объяснение на естественном языке и таблицу с соответствующим результирующим набором. Исходные таблицы отображаются ниже объяснения, а SQL-запрос, используемый для создания результатов, доступен в подробных сведениях ответа. Когда визуализация могла бы улучшить ясность, Genie включает одну. Структура каждого ответа зависит от вопроса.

Пользователи и авторы пространства могут просматривать ответы на их вопросы. Они могут оценивать и устранять проблемы с ответами или попросить, чтобы ответ был пересмотрен. Редакторы пространства и авторы могут просмотреть эти отзывы с помощью вкладки Мониторинг в пространстве Genie.

Оценка ответов с помощью ориентиров

Эталоны позволяют масштабировать процесс тестирования и оценки отдельных ответов в пространстве Genie. Unlike instructions, benchmarks are meant to evaluate, not inform, your Genie space. Genie не использует контрольные вопросы или образцы запросов SQL для улучшения его контекста.

С помощью эталонов можно запустить набор тестовых вопросов и использовать ответы для измерения точности Genie. При необходимости можно включить инструкцию SQL, которая возвращает ожидаемые результаты. При выполнении вопроса теста ответ Genie сравнивается с результатами, предоставленными инструкцией SQL, и оценивается по точности. Вопрос помечается для проверки, если не предоставлен ответ SQL.

См. Использование бенчмарков в пространстве Genie.

Конфиденциальность и безопасность

Вопрос. Какая модель использует Genie?

Genie — это функция, работающая на базе ИИ от Databricks. Она использует составную систему ИИ, которая объединяет использование моделей ИИ, извлечения, ранжирования и персонализации систем для понимания данных и шаблонов использования вашей организации. Дополнительные сведения см. в функции Databricks на базе ИИ.

Вопрос. Какие данные отправляются в модель?

Genie spaces создает ответы на вопросы естественного языка с помощью метаданных и инструкций.

Для обработки ответов Genie использует следующее:

• Запрос естественного языка, отправленный пользователем
• Имена и описания таблиц
• Заголовки и описания столбцов
• Общие инструкции
• Примеры запросов SQL
• Функции SQL

Вопрос. Собирает ли Azure OpenAI мои данные?

Нет. Databricks выбрал участие в программе освобождения от мониторинга злоупотреблений и проверки человеком, согласно которой корпорация Майкрософт не хранит никакие запросы и ответы, отправленные в службу Azure OpenAI. Для получения дополнительной информации см. документацию Майкрософт.

Q: Где хранятся ответы Genie?

Ответы Genie хранятся в плоскости управления Azure Databricks.

Вопрос. Поддерживается ли фильтрация на уровне строк в пространстве Genie?

Да, привилегии, предоставленные в Unity Catalog, контролируют, какие пользователи могут получить доступ к определённым объектам данных. Если фильтры строк или маски столбцов применяются к объекту данных, они управляют значениями, возвращаемыми в результирующем наборе. См. раздел "Фильтрация конфиденциальных данных таблицы" с помощью фильтров строк и маски столбцов.