Databricks AI предоставляет доверие и безопасность

Databricks понимает важность ваших данных и доверия, которые вы размещаете в нас при использовании нашей платформы и функций ИИ Databricks. Databricks стремится к самым высоким стандартам защиты данных и реализует строгие меры, чтобы обеспечить защиту информации, которую вы отправляете в функции ИИ Databricks.

• Ваши данные остаются конфиденциальными.
  • Databricks не обучает генеративные модели базового уровня на основе данных, которые вы передаете для этих функций, и Databricks не использует эти данные для генерации предложений, представленных для других клиентов.
  • Партнеры нашей модели не сохраняют данные, которые вы отправляете с помощью этих функций, даже для мониторинга злоупотреблений. Наши вспомогательные функции с поддержкой искусственного интеллекта от партнеров используют конечные точки с нулевым хранением данных от наших партнеров по модели.
• Защита от вредных выходных данных. Databricks также использует фильтрацию содержимого Azure OpenAI для защиты пользователей от вредного содержимого. Кроме того, Databricks провела обширную оценку с тысячами имитированных взаимодействий пользователей для обеспечения того, что меры защиты от вредного содержимого, взломов, небезопасного создания кода и использования защищенного авторским правом стороннего содержимого эффективны.
• Databricks использует только данные, необходимые для предоставления службы. Данные отправляются только при взаимодействии с функциями, управляемыми ИИ Databricks. Databricks отправляет запрос, соответствующие метаданные и значения таблицы, ошибки, а также входной код или запросы, чтобы помочь вернуть более релевантные результаты. Databricks не отправляет другие данные на уровне строк сторонним моделям.
• Данные защищены при передаче. Весь трафик между Databricks и партнёрами по моделям шифруется при передаче с использованием стандартного для отрасли шифрования TLS.
• Databricks предлагает средства контроля размещения данных. Функции, управляемые ИИ Databricks, являются назначенными службами и соответствуют границам расположения данных. Для получения более подробной информации см. Databricks Geos: распоряжение данными и Определенные услуги Databricks.

Чтобы узнать о конфиденциальности Databricks Assistant, ознакомьтесь с часто задаваемыми вопросами о конфиденциальности и безопасности.

Функции, управляемые параметром партнерских вспомогательных функций ИИ

Управляемый партнером ИИ относится к функциям, созданным службой Azure OpenAI. Многие функции ИИ Databricks поддерживаются службой Azure OpenAI, но не все. Дополнительные сведения см. в следующей таблице:

Использование модели, размещенной в Databricks

Узнайте об использовании модели, размещенной в Databricks, для работы с функциями Databricks на основе ИИ, которые в противном случае работали бы благодаря Azure OpenAI. В этом разделе объясняется, как это работает.

Принцип работы

На следующей схеме представлен обзор того, как модель, размещенная в Databricks, обеспечивает возможности Databricks, основанные на искусственном интеллекте, такие как Quick Fix.

1. Пользователь выполняет ячейку в записной книжке, которая приводит к ошибке.
2. Databricks присоединяет метаданные к запросу и отправляет его в модель, размещенную на большом языке Databricks (LLM). Все данные зашифрованы в состоянии покоя. Клиенты могут использовать управляемый клиентом ключ (CMK).
3. Модель, размещенная в Databricks, реагирует на предложенные изменения кода, чтобы устранить ошибку, которая отображается пользователю.

Эта функция доступна в общедоступной предварительной версии и подлежит изменению. Обратитесь к своему представителю, чтобы спросить, какие функции ИИ Databricks могут поддерживаться моделью, размещенной в Databricks.

Модели, размещенные в Databricks

Если функции ИИ Databricks используют модели с хостингом Databricks, они применяют Meta Llama 3 или другие модели, которые также доступны для коммерческого использования. См . сведения о лицензировании и использовании моделей создания искусственного интеллекта.

Часто задаваемые вопросы о моделях, размещенных на платформе Databricks для помощника

Могу ли я иметь собственный экземпляр модели для отдельного использования?

Не в это время. Эта предварительная версия использует конечные точки обслуживания моделей, которые управляются и защищаются Databricks. Модели, обслуживающие конечные точки, не имеют состояния, защищены с помощью нескольких уровней изоляции и реализуют следующие меры безопасности для защиты ваших данных:

• Каждый запрос клиента к службе модели логически изолирован, прошел проверку подлинности и авторизован.
• Модель Mosaic AI, предоставляющая сервис, шифрует все неактивные данные (AES-256) и данные при передаче (TLS 1.2+).

Учитывают ли метаданные, отправляемые моделям разрешения каталога Unity пользователя?

Да, все данные, отправленные в модель, учитывают разрешения каталога Unity пользователя. Например, он не отправляет метаданные, относящиеся к таблицам, к которым у пользователя нет разрешения на просмотр.

Где хранятся данные?

Журнал чата Databricks Assistant хранится в базе данных уровня управления вместе с записной книжкой. Плоскость управления базой данных зашифрована с использованием алгоритма AES-256, и клиенты, которым необходим контроль над ключом шифрования, могут воспользоваться нашей функцией Customer-Managed Key.

Можно ли принести собственный ключ API для моей модели или разместить собственные модели?

Не в это время. Помощник Databricks полностью находится под управлением и размещением Databricks. Функциональность помощника сильно зависит от функций работы моделей (например, вызова функций), производительности и качества. Databricks постоянно оценивает новые модели для оптимальной производительности и может обновлять модель в будущих версиях этой функции.

Кто владеет выходными данными? Если помощник создает код, кто владеет этим IP-адресом?

Клиент владеет своими результатами.

Отказ от использования моделей, размещенных в Databricks

Чтобы отказаться от использования моделей, размещенных в Databricks, выполните следующее:

1. Щелкните имя пользователя в верхней строке рабочей области Databricks.
2. В меню выберите "Предварительные просмотры".
3. Отключите использование помощника с моделями, размещёнными в Databricks.

Дополнительные сведения об управлении предварительными версиями см. в статье Управление предварительными версиями Azure Databricks.

Вопросы о конфиденциальности и безопасности помощника Databricks

Какие данные отправляются в модели?

Помощник Databricks отправляет ваш запрос (например, ваш вопрос или код), а также соответствующие метаданные в модель, обеспечивающую работу функции, при каждом запросе API. Это помогает возвращать более релевантные результаты для данных. Вот некоторые примеры.

• Код и запросы на текущей ячейке записной книжки или на вкладке редактора SQL
• Имена и описания таблиц и столбцов
• Предыдущие вопросы
• Избранные таблицы

Учитывают ли метаданные, отправляемые моделям разрешения каталога Unity пользователя?

Да, все данные, отправленные в модель, учитывают разрешения каталога Unity пользователя, поэтому они не отправляют метаданные, относящиеся к таблицам, которые у пользователя нет разрешения на просмотр.

Если выполнить запрос с результатами, а затем задать вопрос, результаты запроса отправляются в модель?

Нет, результаты запроса не используются помощником.

Если я делюсь своей записной книжкой или запросом с другим внутренним пользователем, можно ли просмотреть журнал чата?

Нет. Взаимодействие с помощником отображается только пользователю, инициирующему их.

Выполняет ли Помощник Databricks опасный код?

Нет. Помощник databricks не запускает код от вашего имени автоматически. Модели ИИ могут делать ошибки, неправильно понимать намерения, а также галлюцинировать или давать неправильные ответы. Перед запуском сгенерированного ИИ кода просмотрите и проверьте его.

Проводила ли компания Databricks оценку для проверки точности и уместности ответов помощника?

Да, Databricks провела обширное тестирование всех функций, основанных на использовании ИИ, на основе ожидаемых вариантов использования и использования имитированных пользовательских входных данных для повышения точности и правильности ответов. Тем не менее, генеративный ИИ является развивающейся технологией, и помощник может предоставлять неточные или неуместные ответы. Databricks также внедрил меры по предотвращению создания помощником вредных ответов, таких как речь ненависти, опасный код и взломы подсказок.

Можно ли использовать Помощник Databricks с таблицами, обрабатывающими конфиденциальные данные (PHI, PCI, IRAP, FedRAMP)?

Да. Для этого необходимо соблюдать требования, такие как включение профиля безопасности соответствия требованиям и добавление соответствующего стандарта соответствия в рамках конфигурации профиля безопасности соответствия.