Что такое Genie Space

Genie Space — это интерфейс чата с естественным языком в Azure Databricks где пользователи задают вопросы о своих данных и возвращают запросы SQL, таблицы результатов и визуализации. Аналитики данных курируют каждое пространство с наборами данных, зарегистрированными в каталоге Unity, примерами запросов SQL, выражений SQL для бизнес-семантики и текстовых инструкций, адаптированных к терминологии организации.

Genie Spaces являются частью семейства возможностей искусственного интеллекта Genie. Бизнес-пользователи, которым требуется единый интерфейс чата в ресурсах данных, панелях мониторинга и приложениях, должны использовать Genie. Разработчики и технические специалисты, которые хотят, чтобы помощник по искусственному интеллекту писал код, создавая конвейеры и создавая панели мониторинга, должны использовать Genie Code. Сведения о конфиденциальности, доверии и безопасности см. в разделе Доверие и безопасность вспомогательных функций ИИ Databricks.

Обзор

Эксперты в области, такие как аналитики данных, настраивают Genie Spaces с наборами данных, примерами запросов и текстовыми рекомендациями, чтобы помочь Genie перевести бизнес-вопросы в аналитические запросы. После настройки бизнес-пользователи могут задавать вопросы и создавать визуализации для понимания операционных данных. Вы можете постоянно обновлять семантические знания Genie по мере изменения ваших данных и поступления новых вопросов от пользователей. Дополнительные сведения о функциях, оснащённых ИИ Databricks, см. в разделе "Вспомогательные функции ИИ Databricks".

Genie выбирает соответствующие имена и описания из аннотированных таблиц и столбцов, чтобы преобразовать вопросы естественного языка в эквивалентный SQL-запрос. Затем он реагирует на созданный запрос и таблицу результатов, если это возможно. Если Genie не может создать ответ, он может задать дальнейшие вопросы, чтобы уточнить перед предоставлением ответа.

Примеры вариантов использования

Вы можете создать разные Genie Spaces для обслуживания различных не технических аудиторий. В следующих сценариях описаны два возможных варианта использования.

Пример 1. Визуализация наиболее продаваемых продуктов

Менеджер по продажам хочет понять, какой продукт является самым продаваемым в динамике в его пекарне. Они могут взаимодействовать с Пространством Genie с помощью естественного языка и автоматически создавать визуализацию.

Следующий GIF-файл показывает это взаимодействие:

Пример 2. Отслеживание логистики

Логистическая компания хочет использовать Genie Spaces, чтобы помочь бизнес-пользователям из разных отделов отслеживать операционные и финансовые сведения. Они создали Genie Space для менеджеров их грузового объекта для отслеживания этих поставок и другой для своих финансовых руководителей для анализа их финансового состояния.

Какие данные следует использовать?

Пространство Genie основано на данных, зарегистрированных в каталоге Unity, включая управляемые таблицы, внешние таблицы, внешние таблицы, представления, представления метрик и материализованные представления. Genie использует метаданные, прикрепленные к объектам Unity Catalog, а также хранилище знаний на уровне пространства, для генерации ответов. Хорошо аннотированные наборы данных, в сочетании с определенными инструкциями, которые вы предоставляете, являются ключевыми для создания положительного интерфейса для конечных пользователей.

Отправка файлов

Отправка файлов позволяет пользователям смешивать локальные CSV-файлы и файлы Excel с данными каталога Unity, чтобы ответить на вопросы. Чтобы включить отправку файлов, обратитесь к группе учетной записи Databricks. Дополнительные сведения см. в статье "Отправка файла в пространство Genie".

Принцип работы Genie Spaces

Genie Spaces использует составную систему ИИ для интерпретации бизнес-вопросов и создания ответов. Вместо использования одной крупной языковой модели составные системы ИИ обрабатывают задачи в приложениях ИИ путем объединения нескольких взаимодействующих компонентов. Составные системы ИИ являются все более распространенным шаблоном проектирования для приложений ИИ из-за их производительности и гибкости. Дополнительные сведения см. в статье Переход от моделей к составным системам ИИ.

Поддержка языков

Вы можете использовать Genie Spaces на языках, отличных от английского, таких как португальский и французский. Однако базовая платформа агента упаковывает запросы на английском языке.

Databricks рекомендует, чтобы создатели пространства добавляли как можно больше метаданных на выбранном ими языке. Ответы Genie иногда могут отображаться на английском языке из-за запросов базовой системы.

Что такое хранилище знаний Genie Space?

Хранилище знаний Genie Space позволяет авторам:

• Изменение метаданных локально: Авторы Genie могут добавлять метаданные, специфичные для пространства, к ресурсам данных. Например, она может включать сведения, относящиеся к конкретной компании и способу использования пространства. Сюда входят описания метаданных таблиц и столбцов, синонимы на уровне столбцов и возможности сопоставления с подсказками, которыми Genie пользуется при создании ответов. Подробный уровень метаданных помогает Genie получить правильные сведения и получить более точные результаты.

• Предоставьте структурированные, детализированные инструкции: Авторы могут определять JOIN связи между таблицами, чтобы научить Genie создавать SQL в нескольких таблицах.

См. качество Tune Genie Space.

Как Genie Spaces создает ответ?

Когда пользователь отправляет вопрос, Genie анализирует запрос, определяет соответствующие источники данных и определяет, как создать соответствующий ответ. Сведения, предоставляемые авторами, в сочетании с соответствующими комментариями каталога Unity, метаданными и примерами значений из выбранных столбцов, позволяют Genie выводить бизнес-и техническую логику. Дополнительные сведения см. в разделах Databricks AI assistive features trust and safety и prompt matching. Genie интеллектуально фильтрует примеры SQL-запросов, метаданных таблиц и столбцов и журнала чатов, чтобы выбрать наиболее релевантный контекст для ответа на запрос.

Genie создает ответы с помощью таких компонентов, как:

• Метаданные таблицы каталога Unity: включает имена таблиц, описания и определенные связи первичного ключа (PK) и внешних ключей (FK). Genie использует эти данные, так как он анализирует запрос и преобразует запрос естественного языка в SQL.
• Имена и описания столбцов: Genie интеллектуально фильтрует релевантные имена и описания столбцов для включения.
• Контекст хранилища знаний: авторы могут локально изменять метаданные ресурса и выбирать столбцы, которые предоставляют соответствующие значения Genie. Это помогает Genie создавать более точные ответы и не изменяет существующие метаданные каталога Unity. См. статью "Создание хранилища знаний".
• Примеры запросов SQL: Genie интеллектуально выбирает соответствующие примеры SQL из запросов SQL.
• функции SQL: все функции SQL, добавленные в пространство.
• инструкции. Заметки с открытым текстом, предоставленные как общие инструкции, включаются в качестве контекста.
• История запросов и ответов: Запросы и ответы из текущего чата используются в качестве контекста. При необходимости из-за ограничений на токены , наиболее ранние части записи чата исключаются.

Во многих случаях Genie создает SQL-запрос, который выполняется в хранилище SQL пространства. Созданные запросы всегда доступны только для чтения. Повторные попытки обрабатываются автоматически, а хранилище SQL обрабатывает параллелизм и масштабирование. Результирующий набор представлен как часть ответа.

Genie поддерживает строгие элементы управления безопасностью и конфиденциальностью. Для получения дополнительных сведений см. раздел Databricks AI Assistive Features Trust and Safety.

Повышение точности отклика с помощью Inspect

Инспект использует продвинутый анализ для пересмотра и повышения точности SQL-запросов, созданных Genie's. Если включить режим проверки ответа, Genie:

1. Проверяет первоначально созданный SQL-запрос.
2. Авторы небольших инструкций SQL для проверки конкретных аспектов запроса, таких как:
   • Убедитесь, что включены правильные значения фильтров.
   • Проверка логики диапазона дат, например 7-дневных окон.
   • Проверка условий соединения и агрегирования.
3. Определяет пробелы или потенциальные проблемы в исходном запросе.
4. При обнаружении проблем создается улучшенный SQL-запрос, который их устраняет.
5. Выполняет окончательное сравнение исходных и улучшенных запросов.
6. Возвращает запрос, который наиболее точно отвечает на ваш вопрос.

Используйте проверку, если требуется дополнительная уверенность в точности запросов, особенно для сложных запросов с фильтрами, диапазонами дат или несколькими таблицами.

Настройка пространства Genie

Вы можете создать пространство Genie, если у вас есть следующее:

• Разрешение Databricks SQL.
• По крайней мере РАЗРЕШЕНИЕ CAN USE для pro или бессерверного хранилища SQL.
• По крайней мере SELECT привилегии для одного или нескольких объектов данных каталога Unity.

См. статью "Создание пространства Genie" и управление ими.

Компаньон Genie Spaces для панелей мониторинга ИИ/BI (общедоступная предварительная версия)

Вы можете использовать запросы естественного языка для создания визуализаций для панелей мониторинга AI/BI с помощью Genie Code. См. раздел "Использование кода Genie для разработки панелей мониторинга".

При создании панели мониторинга Databricks автоматически создает сопровождающее пространство Genie, которое позволяет бизнес-пользователям самостоятельно проводить аналитику данных, используя естественный язык. См. раздел Genie Spaces с панелями мониторинга.

Взаимодействие с пространством Genie

Бизнес-команды — это конечные пользователи для Genie Space. Чтобы использовать пространство Genie, бизнес-пользователи должны иметь следующие функции:

• Доступ потребителя или права доступа Databricks SQL.
• По крайней мере SELECT привилегии для всех объектов данных каталога Unity, используемых в рабочем пространстве. Пользователи видят только данные, к которых у них есть разрешение на доступ.

Запросы выполняются с использованием учетных данных для вычислений, встроенных автором, который настроил хранилище. Конечные пользователи не нуждаются в прямых разрешениях на хранилище.

Бизнес-пользователи могут помочь курировать пространство, протестируя его и предоставляя отзывы во время разработки. Дополнительные сведения о том, как бизнес-пользователи могут начать работу с Genie Space, см. в статье "Использование пространства Genie" для изучения бизнес-данных.

Доверенные ресурсы

Доверенные ресурсы передают дополнительный уровень гарантии в точности результата пользователю пространства. Если для создания ответа используется точный текст параметризованного примера запроса или функции SQL, Genie помечает ответ как доверенный. Дополнительные сведения о доверенных ресурсах и работе с параметризованными запросами см. в статье " Доверенные ресурсы ".

Оценка ответов с помощью ориентиров

Бенчмарки позволяют дать возможность масштабировать тестирование и оценку индивидуальных ответов в Genie Space. В отличие от инструкций, бенчмарки предназначены для оценки, а не информирования вашего Genie Space. Genie не использует контрольные вопросы или примеров SQL для улучшения контекста Джини.

С помощью эталонных показателей можно запустить коллекцию тестовых вопросов и использовать ответы для измерения точности Genie. При необходимости можно включить инструкцию SQL, которая возвращает ожидаемые результаты. При выполнении вопроса теста ответ Genie сравнивается с результатами, предоставленными инструкцией SQL, и оценивается по точности. Вопрос помечается для проверки, если не предоставлен ответ SQL.

См. тесты производительности.

Принцип работы доступа к данным

Доступ к данным в пространстве Genie регулируется каталогом Unity. Когда пользователь задает вопрос, созданный SQL-запрос выполняется с данными, используя учетные данные вычислений, встроенные автором пространства (настроенное хранилище SQL). На результаты запроса применяются собственные разрешения данных каждого пользователя в каталоге Unity. Пользователи видят только данные, к ним разрешен доступ. Любой запрос о данных, к которым они не имеют доступа, возвращает пустой ответ.

Это означает:

• Вам не нужно предоставлять пользователям прямые разрешения на хранилище.
• Фильтры строк и маски столбцов, определенные в каталоге Unity, автоматически применяются для каждого пользователя.
• Чтобы реализовать фильтрацию данных на пользователя, примените безопасность на уровне строк к базовым таблицам в каталоге Unity. См. фильтры строк и маски столбцов.

Сведения о настройке разрешений пользователей для Пространства Genie см. в статье "Общий доступ к пространству Genie".

Конфиденциальность и безопасность

Доступ к данным в пространстве Genie регулируется каталогом Unity, включая все фильтры строк и маски столбцов, примененные к таблицам. См. статью "Управление доступом к данным " и "Фильтры строк" и "Маски столбцов".

Дополнительные вопросы о конфиденциальности и безопасности см. в часто задаваемых вопросы о конфиденциальности и безопасности для вспомогательных функций ИИ.

Дополнительные ресурсы

• Сведения об использовании API Genie для интеграции Genie в приложения, чат-боты и платформы агентов см. в разделе "Использование API Genie Spaces".
• Сведения об использовании журналов аудита для отслеживания активности и использования Genie см. в журналах аудита для ИИ/BI.
• Для получения рекомендаций и устранения неполадок см. статью Создание эффективного пространства Genie.