Поделиться через

Измерение влияния помощника Databricks

  • Статья

В этой статье содержатся сведения об измерении влияния Помощника Databricks с точки зрения внедрения, egagement и сообщаемых о повышении производительности.

Требования

Чтобы оценить влияние помощника Databricks, вам потребуется:

  • Права администратора учетной записи, необходимые для включения системных таблиц. См. Включите системные таблицы.
  • Внутренний опрос с целью получения субъективных отзывов о помощнике от вашей команды.

Данные и метрики

Вы получаете необработанные данные из системных таблиц и опроса. Чтобы понять влияние помощника, необходимо проанализировать и сообщить данные в виде метрик. Метрики — это вычисляемые значения, используемые для измерения конкретных аспектов или действий, связанных с воздействием помощника. Эта статья также относится к метрикам в качестве мер.

Советы по измерению влияния помощника

Чтобы понять, как ваша организация использует Помощник по Databricks, начните с измерения его внедрения и взаимодействия с Помощником Databricks. Эти данные можно вычислить из системных таблиц.

Регулярно просматривайте данные и упрощайте его доступ на общей панели мониторинга. В качестве примера и шаблона панели мониторинга см. справочник и пример системной таблицы Databricks Assistant.

Метрики влияния помощника

Ниже приведены рекомендуемые меры влияния помощника, как из системных таблиц, так и из отзывов пользователей. Примеры вычислений метрик, скачивание файла панели мониторинга событий Помощника из GitHub и чтение вычислений в ФОРМАТЕ JSON. Сведения о импорте файла панели мониторинга см. в статье "Импорт файла панели мониторинга"

Опрос вашей организации также помогает понять эффективность взаимодействия с помощником. Ознакомьтесь с рекомендуемыми вопросами опроса.

Мера Определение Этап Источник данных
Основные пользователи в целом Пользователи в заданном периоде, которые чаще всего взаимодействуют с помощником Принятие Вычислите данные из системной таблицы Databricks Assistant.
Данные о подачах: по рабочим областям и общий объем Количество запросов, отправленных помощнику по рабочей области и каждой учетной записи Принятие Вычислите данные из системной таблицы Databricks Assistant.
Активные пользователи по дням и месяцам Уникальные пользователи, которые получили и приняли 1+ предложения или приняли участие в 1+ чатах в данный день. вовлечённость Вычислите данные из системной таблицы Databricks Assistant.
Активные пользователи на рабочую область Уникальные пользователи в данной рабочей области, взаимодействующие с помощником вовлечённость Вычислите данные из системной таблицы Databricks Assistant.
Основные роли заданий с помощью помощника Databricks Количество пользователей из каждой роли, определенных в организации, которые используют помощника вовлечённость Опрос вашей организации
Основные задачи помощника С помощью помощника по наиболее распространенным задачам вовлечённость Опрос вашей организации
Как часто вы используете помощника Самостоятельная частота использования помощника для каждого пользователя вовлечённость Опрос вашей организации
Основные области использования помощника Области самостоятельного использования: редактор SQL, записные книжки или оба вовлечённость Опрос вашей организации
Удовлетворенность пользователей справкой помощника Удовлетворенность, о которой сообщают сами пользователи, ответами помощника по шкале 1–5 Удовлетворенность пользователей Опрос вашей организации
Повышение производительности пользователей Самостоятельное увеличение производительности, полученное с помощью помощника в масштабе 1-5 Удовлетворенность пользователей Опрос вашей организации
Время экономии пользователей с помощью помощника Самостоятельный процент времени, сохраненный с помощью помощника для выполнения задач Удовлетворенность пользователей Опрос вашей организации

Системные таблицы не смогут охватить всю информацию о том, как ваша организация использует ассистент Databricks. Используйте вопросы опроса, такие как приведенные ниже, чтобы понять, как ваша организация использует помощника.

  • Какова ваша роль? Перечислите роли в вашей организации
  • Как часто вы используете помощника?
    • Ежечасный
    • Ежедневно
    • Еженедельно
    • Ежемесячно
  • Где вы используете помощник по ИИ?
    • Редактор SQL
    • Ноутбуки
    • Оба
  • Каковы основные варианты использования помощника?
    • Устранение ошибок и устранение неполадок
    • Справка по написанию кода
    • Рефакторинг кода
    • Написание запросов SQL
    • Создание модульных тестов
    • Поиск документации
  • Насколько вы удовлетворены ответами помощника? Масштаб от 1 до 5, не удовлетворен крайне удовлетворен
  • Так как вы используете помощник по искусственному интеллекту, вы сказали бы, что вы более продуктивный? Масштаб 1-5, гораздо менее продуктивный и гораздо более продуктивный
  • Сколько времени вы считаете, что вы экономите на средней задаче с помощью помощника?
    • 0-10%
    • 10-30%
    • 30-50 %
    • 50–70 %
    • Более 70 %