Доступ к данным, которыми с вами поделились с помощью Delta Sharing (для получателей данных)

В этой статье описано, как получить доступ к данным, которые были переданы вам с помощью Delta Sharing.

Delta Sharing и получатели данных

Delta Sharing — это открытый стандарт для безопасного обмена данными. Пользователь Databricks, называемый поставщиком данных в этом контексте, может использовать Delta Sharing в Azure Databricks для совместного использования данных с человеком или группой за пределами своей организации, называемого получателем данных.

Совместное использование Databricks to Databricks и открытый общий доступ

Доступ к данным зависит от того, являетесь ли вы пользователем Databricks и настроен ли ваш поставщик данных для общего доступа к данным databricks to Databricks или открытый общий доступ.

В модели Databricks-to-Databricks необходимо быть пользователем в рабочей области Databricks, которая имеет поддержку Unity Catalog. Член вашей команды предоставляет поставщику данных уникальный идентификатор хранилища метаданных каталога Unity, а поставщик данных использует это для создания безопасного подключения к совместному доступу. Общие данные становятся доступными для доступа в рабочей области. При необходимости член вашей команды настраивает детализированный контроль доступа к этим данным.

В открытой модели общего доступа можно использовать любой инструмент, который вы хотите (включая Databricks) для доступа к общим данным. Поставщик данных отправляет URL-адрес активации или ссылку портала через безопасный канал. Вы следуйте инструкциям, чтобы скачать файл учетных данных или URL-адрес, который позволяет получить доступ к данным, к которым вы предоставили доступ.

Общие данные предоставляются не напрямую службой Databricks, а поставщиками, которые работают в системе Azure Databricks.

Получение доступа к данным, к которым вам предоставлен общий доступ

Доступ к данным зависит от того, предоставил ли ваш поставщик данные с использованием открытого протокола совместного доступа или протокола совместного доступа Databricks-to-Databricks. Ознакомьтесь с разделом Общий доступ Databricks-to-Databricks и открытый доступ.

Получите доступ в модели Databricks-to-Databricks

В модели Databricks-to-Databricks:

1. Поставщик данных отправляет инструкции по поиску уникального идентификатора хранилища метаданных каталога Unity, связанного с рабочей областью Databricks, и отправляете его в него.

   Идентификатор общего доступа — это строка, состоящая из облака, региона и UUID хранилища метаданных (уникальный идентификатор для хранилища метаданных) в формате <cloud>:<region>:<uuid>. Например, aws:eu-west-1:b0c978c8-3e68-4cdf-94af-d05c120ed1ef.

   Чтобы получить идентификатор общего доступа с помощью обозревателя каталогов, выполните следующие действия.

   1. В рабочей области Azure Databricks щелкните Каталог.

   2. В верхней части области каталога щелкните шестеренки и выберите Delta Sharing.

      Кроме того, на странице Быстрый доступ нажмите кнопку Delta Sharing >.

   3. На вкладке "Общий доступ со мной " щелкните имя организации общего доступа Databricks в правом верхнем углу и выберите "Копировать идентификатор общего доступа".

   Чтобы получить идентификатор общего доступа с помощью записной книжки или SQL-запроса Databricks, используйте функцию CURRENT_METASTORESQL по умолчанию. Если вы используете ноутбук, он должен работать в стандартном режиме или в выделенном режиме доступа в рабочей области, которая будет использоваться для доступа к общим данным.

   SELECT CURRENT_METASTORE();
   

2. Поставщик данных создает следующее:

   • Укажите получателя в своей учетной записи Databricks для представления себя и пользователей вашей организации, которые будут получать доступ к данным.
   • Ресурс, представляющий собой таблицы, тома и представления, которые с вами будут разделены.

3. Вы обращаетесь к данным, к которым вам предоставлен доступ. При необходимости вы или кто-то из сотрудников можете настроить подробный доступ к данным для пользователей. См. Чтение данных, предоставленных с помощью Databricks-to-Databricks Delta Sharing (для получателей).

Получение доступа в модели открытого общего доступа

В открытой модели общего доступа:

1. Поставщик данных создает следующее:

   • Укажите получателя в своей учетной записи Databricks для представления себя и пользователей вашей организации, которые будут получать доступ к данным.
   • Общий ресурс, представляющий собой представление таблиц и секций, которыми вы предоставляете общий доступ.

2. Поставщик данных отправляет URL-адрес активации (через безопасный канал) или URL-адрес портала. Следуйте инструкциям, чтобы скачать файл учетных данных или URL-адрес, который позволяет получить доступ к данным, предоставленным вам.

   Поддерживаются маркеры носителя и учетные данные клиента OAuth.

   Внимание

   Не делитесь ссылкой на активацию с кем-либо. Файл учетных данных можно скачать только один раз. Если вы снова посетите ссылку активации после скачивания файла учетных данных, кнопка "Скачать файл учетных данных" отключена.

   Если вы потеряете ссылку активации перед его использованием, обратитесь к поставщику данных.

3. Сохраните файл учетных данных в безопасном месте.

   Не делитесь файлом учетных данных с кем-либо за пределами группы пользователей, у которых должен быть доступ к общим данным. Если вам потребуется передать его пользователю своей организации, Databricks рекомендует использовать диспетчер паролей.

Прочитайте общие данные

Как вы считываете данные, которые были безопасно переданы вам с помощью Delta Sharing, зависит от того, получили ли вы файл учетных данных (модель открытого доступа) или используете рабочую область Databricks и предоставили поставщику данных ваш идентификатор общего доступа (модель Databricks-to-Databricks).

Чтение общих данных с помощью файла учетных данных (открытый общий доступ)

Если данные были переданы вам с использованием открытого протокола Delta Sharing с токенами-носителями, используйте файл учетных данных, который вы скачали, чтобы аутентифицироваться в учетной записи поставщика данных и считывать переданные данные. Доступ сохраняется до тех пор, пока базовый маркер действителен, и поставщик продолжает предоставлять общий доступ к данным. Поставщики управляют сроками действия и ротацией токенов. Обновления данных появляются почти в режиме реального времени. Вы можете считывать и создавать копии общих данных, но изменить исходные данные нельзя.

Сведения о доступе и чтении общих данных с помощью файла учетных данных в Azure Databricks, Apache Spark, pandas и Power BI см. в статье Чтение общих данных с помощью открытого общего доступа delta Sharing с маркерами носителя (для получателей).

Чтение общих данных с помощью федерации OIDC (открытый общий доступ)

Если данные были переданы вам с помощью протокола открытого общего доступа Delta Sharing с федерацией OIDC, вы используете URL-адрес, который был отправлен вам для проверки подлинности в учетной записи поставщика данных и считывания общих данных. Доступ сохраняется до тех пор, пока поставщик продолжает предоставлять общий доступ к данным. Обновления данных появляются почти в режиме реального времени. Вы можете считывать и создавать копии общих данных, но изменить исходные данные нельзя.

Чтобы изучить, как получить доступ к общим данным и читать их, используя поток федерации токенов OIDC в Tableau и Power BI, см. раздел получение общих данных с помощью федерации Open ID Connect (OIDC) в потоке от пользователя к машине (открытый доступ). Чтобы узнать, как получить доступ и прочитать общие данные с использованием потока федерации токенов OIDC в клиентском приложении на Python, см. Получение общих данных с использованием клиента Python и федерации Open ID Connect (OIDC) в потоке машинного доступа (открытый общий доступ).

Чтение общих данных через обмен между Databricks и Databricks

Если с вами были поделены данные с помощью модели Databricks-to-Databricks, для доступа к общим данным файл учетных данных не требуется. Databricks заботится о безопасном подключении, и общие данные автоматически обнаруживаются в рабочей области Databricks.

Сведения о том, как находить, читать и управлять этими общими данными в рабочей области Databricks, см. в разделе "Чтение данных, общих через Databricks-to-Databricks Delta Sharing (для получателей)".

Аудит использования общих данных

Если у вас есть доступ к рабочей области Azure Databricks, вы можете использовать журналы аудита Azure Databricks, чтобы понять, кто в вашей организации обращается к данным с помощью Delta Sharing. См. статью "Аудит и мониторинг общего доступа к данным".

Следующие шаги

• Дополнительные сведения об Azure Databricks
• Узнайте больше о Delta Sharing
• Дополнительные сведения о каталоге Unity