Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Целевая зона управления данными необходима для облачной аналитики. Он контролирует управление всей платформой аналитики.
Целевая зона управления данными — это отдельная подписка, которая имеет те же стандартные службы целевой зоны Azure. Она обеспечивает управление данными с помощью краулеров, которые подключаются к озерам данных и многоязычным хранилищам в зонах приземления данных. Пиринг виртуальной сети подключает целевую зону управления данными к целевым зонам данных и подписке на подключение.
Эта архитектура является отправной точкой. Его можно изменить в соответствии с конкретными бизнес-требованиями и техническими требованиями при планировании реализации целевой зоны управления данными.
Примечание.
Polyglot persistence относится к практике использования нескольких технологий хранения данных для поддержки типов данных и удовлетворения их требований к хранению. Полиглотная устойчивость означает, что приложение способно использовать более одной основной базы данных или технологии хранения.
Внимание
Зону приземления для управления данными необходимо развернуть как отдельную подписку в группе управления, которая обладает соответствующими мерами управления. Затем вы можете контролировать управление в вашей организации. Акселератор целевой зоны Azure описывает способ подхода к целевым зонам Azure.
Управление данными
Платформа аналитики в облаке Azure предлагает использовать Microsoft Purview. Кроме того, можно развернуть решения, отличные от Майкрософт, для управления определенными функциями управления данными.
Рассмотрим следующие ключевые функции в архитектуре:
- Глобальный каталог данных
- Управление основными данными
- Общий доступ к данным и контракты
- Каталог API
- Управление качеством данных
- Репозиторий моделирования данных
Если у вас есть продукты управления данными партнера, требующие развертывания в подписке, разверните их в группе ресурсов управления данными в целевой зоне управления данными.
Каталог данных
Каталог данных регистрирует и сохраняет информацию о данных в централизованном месте, чтобы она была доступна для вашей организации. Это сводит к минимуму вероятность приема избыточных данных разными командами проектов, что предотвращает дублирование продуктов данных. Рекомендуется создать службу каталога данных, чтобы определить метаданные продуктов данных, которые хранятся в целевых зонах данных.
Аналитика в масштабе облака использует Microsoft Purview для регистрации корпоративных источников данных, классификации их, обеспечения качества данных и обеспечения безопасного, самостоятельного доступа.
Microsoft Purview — это клиентская служба, которая может взаимодействовать с каждой целевой зоной данных. Он создает управляемую виртуальную сеть и развертывает ее в регионе целевой зоны данных. Управляемые среды выполнения интеграции виртуальной сети Azure (IR) можно развернуть в этих управляемых виртуальных сетях в любом доступном регионе Microsoft Purview. С помощью управляемой виртуальной сети IR можно использовать частные конечные точки для безопасного подключения и проверки поддерживаемых источников данных. Этот подход помогает изолировать и защитить процесс интеграции данных. Дополнительные сведения см. в статье Об использовании управляемых виртуальных сетей с учетной записью Microsoft Purview.
Если вы используете Azure Databricks, мы рекомендуем использовать каталог Azure Databricks Unity в дополнение к Microsoft Purview. Каталог Unity предоставляет централизованное управление доступом, аудит, родословную данных и функции обнаружения данных в рабочих областях Databricks. Для получения дополнительной информации см. Рекомендации по использованию каталога Unity.
Примечание.
Эта статья посвящена использованию Microsoft Purview для управления, но у вашего предприятия могут быть инвестиции в другие продукты, такие как Alation, Okera или Collibra. Эти решения основаны на подписке. Рекомендуется развернуть их во входной зоне управления данными. Для них может потребоваться пользовательская интеграция.
Управление основными данными
Основной элемент управления данными находится в целевой зоне управления данными. Сведения о конкретных рекомендациях по сетке данных см. в разделе "Основное управление данными" в сетке данных.
Многие основные решения по управлению данными полностью интегрируются с идентификатором Microsoft Entra, что помогает защитить данные и предоставлять различные представления для различных групп пользователей. Дополнительные сведения см. в разделе "Основная система управления данными".
Общий доступ к данным и контракты
Аналитика в масштабе облака использует управление правами Microsoft Entra или политики Microsoft Purview для управления доступом к данным. Помимо этих функций, может потребоваться общий доступ и репозиторий контрактов. Этот репозиторий является организационной функцией и должен находиться в целевой зоне управления данными. Контракты должны предоставлять сведения о проверке данных, моделях и политиках безопасности.
Каталог API
Команды приложений данных создают различные API для своих приложений данных, которые могут быть трудно найти в вашей организации. Чтобы устранить эту проблему, поместите каталог API в целевую зону управления данными.
Каталог API стандартизирует документацию, упрощает внутреннюю совместную работу и повышает потребление, публикацию и управление в организации.
Управление качеством данных
Используйте существующие методики управления качеством данных. Чтобы предотвратить распространение проблем между системами аналитики и искусственного интеллекта, управляйте качеством данных в источнике данных.
Интегрируйте метрики качества и проверку в процессы данных, чтобы команды, наиболее знакомые с данными, обрабатывали управление качеством. Этот подход помогает обеспечить более глубокое понимание и более эффективное управление ресурсами данных. Предоставление происхождения данных для всех продуктов данных для повышения достоверности качества данных.
Дополнительные сведения см. в разделе "Качество данных".
Репозиторий моделирования данных
Централизованное хранение моделей связей сущностей в целевой зоне управления данными, чтобы потребители данных могли легко находить концептуальные схемы. Чтобы моделировать продукты данных перед загрузкой, используйте такие инструменты, как ER/Studio и OrbusInfinity.
Уровень служб
Ваша организация может создать несколько служб автоматизации для расширения возможностей облачной аналитики. Эти службы автоматизации управляют соответствием и подключением решений для состояния аналитики.
Если вы создаете эти службы автоматизации, пользовательский интерфейс должен служить как платформой данных, так и консолью операций. Этот интерфейс должен полагаться на базовое хранилище метаданных, например стандарты метаданных.
Ваша консоль управления или Marketplace данных вызывает средний уровень микрослужб для упрощения подключения, регистрации метаданных, подготовки безопасности, жизненного цикла данных и наблюдаемости. Группу ресурсов уровня служб можно подготовить для размещения хранилища метаданных.
Внимание
Следующие службы автоматизации не являются фактическими продуктами, которые можно приобрести. И они не являются будущими версиями или обновлениями. Используйте следующий список, чтобы помочь вам рассмотреть, какие элементы следует автоматизировать.
| Тип службы | Область службы |
|---|---|
| Подготовка целевой зоны данных | Эта служба создает новую целевую зону данных. Эта служба используется редко, но обеспечивает полноту решения для комплексного внедрения. Дополнительные сведения см. в статье Предоставление облачной аналитики. |
| Подключение продукта к данным | Эта служба создает и изменяет группы ресурсов, относящиеся к подключенного клиента. Он также предоставляет возможности для обновления и понижения артикулов SKU, а также чтобы активировать и деактивировать группы ресурсов для включённых в систему арендаторов или услуг. Эта служба также создает новую целевую зону данных для целей DevOps. Дополнительные сведения см. в статье Предоставление облачной аналитики. |
| Не зависят от приема данных | Эта микрослужба создает новые источники данных для приема в зоны приземления данных. Для управления этим процессом он взаимодействует с хранилищем метаданных Фабрики данных Azure и Базы данных SQL Azure, расположенным в каждой целевой зоне данных. Дополнительные сведения см. в статье О том, как автоматизированные платформы приема поддерживают облачную аналитику в Azure. |
| Метаданные | Эта служба предоставляет и создает метаданные для платформы. Дополнительные сведения см. в разделе "Стандарты метаданных". |
| Подготовка доступа | Эта служба использует имя сервисного принципала или имя пользователя-принципала для создания пакетов доступа, политик доступа и процессов вручного или автоматического утверждения доступа к ресурсам. Он также может предоставить API для предоставления списка запросов на подписку (или ресурсов), которые пользователи отправляет за последние 90 дней. Дополнительные сведения см. в разделе "Управление доступом к данным". |
| Жизненный цикл данных | Эта служба помогает поддерживать жизненный цикл данных на основе метаданных. Это обслуживание может включать перемещение данных в холодное хранилище и удаление устаревших записей. Дополнительные сведения см. в разделе "Управление жизненным циклом данных". |
| Подключение домена данных | Эта служба применима только к сетке данных. Эта служба фиксирует метаданные новых доменов и при необходимости интегрирует новые домены. Он также может создавать, обновлять, активировать и деактивировать домены или строки служб, которые вы создаете в микрослужбе. Дополнительные сведения см. в статье Предоставление облачной аналитики. |
Реестр контейнеров Azure
В зоне управления данными размещается экземпляр реестра контейнеров Azure. Операции платформы данных могут использовать реестр контейнеров для развертывания стандартных контейнеров для проектов обработки и анализа данных, используемых командами приложений данных.