Обнаружение данных и совместная работа в озеро-хранилище

Databricks обеспечивает безопасную, управляемую совместную работу между данными, аналитикой и рабочими нагрузками ИИ в Lakehouse. С помощью каталога Unity и открытых протоколов, таких как Delta Sharing, команды могут обнаруживать, делиться и анализировать данные в больших масштабах, сохраняя управление, возможность аудита и конфиденциальность для различных случаев использования и участников сотрудничества.

Управление разрешениями в большом масштабе

Каталог Unity предоставляет администраторам единое расположение для назначения разрешений для каталогов, баз данных, таблиц и представлений группам пользователей. Привилегии и метасторы данных совместно используются в рабочих областях, позволяя администраторам однократно устанавливать безопасные разрешения по отношению к группам, синхронизированным с поставщиками удостоверений, и быть уверенными в том, что конечные пользователи имеют доступ только к соответствующим данным в любой рабочей области Azure Databricks, в которую они входят.

Каталог Unity также позволяет администраторам определять учетные данные хранения, безопасный метод хранения и предоставления общего доступа к инфраструктуре облачного хранилища. Вы можете предоставить привилегии для этих защищаемых объектов, чтобы пользователи в организации могли определять внешние местоположения в облачных хранилищах объектов, позволяя инженерам данных самостоятельно управлять новыми рабочими нагрузками без необходимости предоставлять расширенные разрешения в консолях облачных учетных записей.

Обнаружение данных в Azure Databricks

Пользователи могут просматривать доступные объекты данных в каталоге Unity с помощьюобозревателя каталогов . Обозреватель каталогов использует привилегии, настроенные администраторами каталога Unity, чтобы пользователи могли просматривать только каталоги, базы данных, таблицы и представления, которые у них есть разрешения на запрос. Когда пользователи находят интересующий набор данных, они могут просматривать имена полей и типы, читать примечания к таблицам и отдельным полям, а также просматривать пример данных. Пользователи также могут просмотреть полную историю таблицы, чтобы понять, когда и как изменились данные, и функция происхождения позволяет пользователям отслеживать, как определенные наборы данных являются производными от вышестоящих заданий и используются в подчиненных заданиях.

Учетные данные хранения и внешние расположения также отображаются в обозревателе каталогов, что позволяет каждому пользователю просматривать привилегии, необходимые для чтения и записи данных в доступных расположениях и ресурсах.

Ускорьте время выхода в производство с помощью lakehouse

Azure Databricks поддерживает рабочие нагрузки в SQL, Python, Scala и R, что позволяет пользователям с различными наборами навыков и техническими знаниями использовать свои знания для получения аналитических сведений. Для определения рабочих заданий можно использовать все языки, поддерживаемые Azure Databricks, и записные книжки могут использовать сочетание языков. Это означает, что вы можете продвигать запросы, написанные аналитиками SQL для последней мили ETL, в рабочий код разработки данных практически без усилий. Запросы и рабочие нагрузки, определенные пользователями в организации, используют одни и те же наборы данных, поэтому нет необходимости примирить имена полей или убедиться, что панели мониторинга актуальны перед предоставлением общего доступа к коду и результатам с другими командами. Вы можете безопасно предоставлять общий доступ к коду, записным книжкам, запросам и панелям мониторинга, а также использовать одну масштабируемую облачную инфраструктуру и определять их для одного и того же курированного источника данных.