Стратегия руководства по объединению данных

Цель данных: Каждая организация хочет, чтобы данные способствовали уверенности в бизнес-решениях. Данные должны быть доверенными, легко использовать для аналитики и искусственного интеллекта, а также защищаться по умолчанию. Проблема с данными: Для большинства организаций эта цель трудно достичь. Данные распределяется по системам и командам. Стандарты различаются. Управление несогласовано. Эти проблемы затрудняют использование аналитики и искусственного интеллекта с уверенностью.

решение Data: Многие организации решают эту проблему, объединяя платформу данных с Microsoft Fabric. Fabric позволяет командам создавать надежные продукты данных, которые можно управлять и безопасно использовать для аналитики и искусственного интеллекта в организации (см. рис. 1). Это руководство предоставляет лицам, принимающим решения, основу, необходимую для осуществления этого перехода и установления единой основы данных.

Высокоуровневая схема показывает Microsoft Fabric в центре унифицированной платформы данных. Данные из корпоративных источников, таких как локальные системы, службы Microsoft и общедоступные облачные платформы, поступают в Fabric, где вы упорядочиваете их как общие продукты данных. Затем эти продукты данных используются в организации для поддержки аналитики, систем ИИ и отчетов, включая Power BI и рабочие нагрузки в области науки о данных. Fabric подключается к Azure для управления, безопасности и мониторинга, а рабочие нагрузки Azure работают совместно с ней при необходимости. В общем потоке показано, как данные поступают в Fabric, управляются и стандартизируются, чтобы затем обслуживать ИИ, аналитику и деловую аналитику в организации. Figure 1. Единая платформа данных для ИИ и аналитики.

Почему единая платформа данных с Fabric?

Большинство руководителей бизнес-технологий понимают стоимость фрагментированных данных. Что часто их останавливает, так это убеждение, что исправление требует крупных, рискованных миграций. Microsoft Fabric принимает другой подход и обеспечивает ценность без сбоев. В числе основных преимуществ можно назвать следующие:

  • Минимальное нарушение бизнес-процессов: Fabric подключается к существующим системам посредством виртуализации (шорткаты) и репликации (зеркалирование). Команды могут унифицировать доступ к данным, не прерывая текущие операции.

  • Встроенная система управления: Fabric обеспечивает проектирование данных, аналитику и бизнес-аналитику на одной платформе. Политики безопасности и управления определяются один раз и применяются единообразно, а не повторно создаются и применяются различными способами в разных инструментах.

  • Foundation for AI and analytics: Fabric позволяет организациям создавать повторно используемые продукты данных высокого качества. Эти доверенные продукты ускоряют аналитику и инициативы искусственного интеллекта. Fabric IQ помогает объединить и контекстуализировать данные. Foundry IQ позволяет агентам Майкрософт Foundry анализировать управляемые доверенные данные.

Какой уровень инвестиций требуется?

Объединение платформы данных — это инвестиции в возможности, а не оптовая замена каждой системы. Цель заключается в том, чтобы продолжать использовать существующие системы данных и создавать общий фундамент, который может расти с течением времени. К ключевым факторам затрат относятся:

  • Microsoft Fabric факторы затрат: первичные факторы затрат включают (см. рисунок 2):

    • Вычисление: вычислительная мощность, которую вы создаете (ёмкости Fabric).

    • Хранение: Хранилище, используемое в OneLake.

    • Репликация: Репликация данных, которую вы выполняете (зеркалирование).

    • Power BI: Убедитесь, что у пользователей есть либо достаточная ёмкость Microsoft Fabric, включающая доступ Power BI, либо отдельные лицензии Power BI, как описано в руководстве по лицензированию.

      Диаграмма, показывающая Microsoft Fabric и OneLake в центре как единое озеро данных. Внизу несколько источников данных поступают в OneLake, включая облачные хранилища и системы SaaS через ярлыки и виртуализацию, базы данных через зеркальное отображение и другие внешние источники. OneLake предоставляет встроенные инструменты для полного жизненного цикла данных. Она включает прием, инжиниринг, хранение, аналитику в режиме реального времени, науку о данных и визуализацию с помощью Power BI. На диаграмме подчеркивается, что данные хранятся один раз в OneLake и повторно используются в аналитике, науке о данных и отчетности, под управлением Microsoft Purview. Рисунок 2. Возможности Microsoft Fabric по созданию бизнес-ценности из данных.

  • Microsoft Purview факторы затрат: Используйте Microsoft Purview для единого управления данными и соответствия требованиям. Purview предоставляет централизованный каталог данных, классификацию данных и принудительное применение политик во всем пространстве данных. Данные могут находиться в OneLake, Azure, локальной среде, стороннем сервере SaaS или других облачных платформах. Ключевые факторы затрат Purview включают возможности лицензирования на основе подписки и возможности на основе использования. Бюджет как для текущего лицензирования, так и объема данных и служб, которыми вы управляете с помощью Purview.

  • Факторы затрат Azure: Вы используете подписки Azure для размещения вычислительных веб-служб Fabric (емкостей) и учетной записи Microsoft Purview. Дополнительная плата за подписки Azure не взимается. Если вы интегрируете другие службы Azure, такие как Azure Databricks или Машинное обучение Azure, в единую платформу, помните, что эти службы имеют собственные модели ценообразования. Запланируйте эти затраты. См. факторы затрат для Azure Databricks и Машинное обучение Azure.

Сколько времени пройдёт, прежде чем вы увидите ценность?

Microsoft Fabric предназначен для быстрой доставки ценности. Срок достижения ценности короток, так как объединение не зависит от полной миграции. Команды могут начинать с небольшого набора высокоценных продуктов данных. Каждый шаг добавляет значение при ограничении риска. На практике многие организации видят ценность в течение нескольких недель для начальной аналитики или сценариев искусственного интеллекта. По мере того как Fabric становится стандартной основой для продуктов данных, аналитики и ИИ, ценность растет благодаря повторному использованию и согласованным стандартам в организации.

Как объединить платформу данных?

Майкрософт Cloud Adoption Framework описывает четырехэтапную платформу для объединения платформы данных. Процесс охватывает планирование и упорядочение стратегии обработки данных. В нем рассматриваются решения по архитектуре. Он также помогает задавать базовые показатели управления и безопасности и определять операционные стандарты.

  1. Готовность организации. Определите стратегию данных и определите владение данными и домены. Узнайте, как данные создают бизнес-ценность и кто отвечает за данные. См. статью "Готовность организации".

  2. Архитектура: Предоставьте технологию, необходимую для объединения платформы данных. Настройте Microsoft Fabric и необходимые среды в Azure. См. архитектуру.

  3. Управление и базовые принципы безопасности: Используйте Microsoft Purview для получения централизованной видимости и управления вашим массивом данных. Создайте базовые показатели безопасности и соответствия требованиям в архитектуре Fabric с самого начала. См. базовые показатели управления и безопасности.

  4. Операционные стандарты. Определите согласованные процессы для приема необработанных данных, создания продуктов данных и управления их жизненным циклом. Узнайте, как продукты данных публикуются, защищены и используются в организации. См. операционные стандарты.

Выполнив эти действия, вы можете объединить платформу данных в структурированном виде. Если вы не знаете, где начать, используйте следующее дерево принятия решений для получения рекомендаций.

Дерево принятия решений для объединения платформы данных

Схема, показывающая дерево принятия решений для объединения платформы данных для лидеров и лиц, принимающих решения.

Поток задает ряд вопросов, на которые можно ответить "да" или "нет". Каждое слово "Да" приводит к конкретным рекомендациям. Первый вопрос задает вопрос о том, нуждается ли организация в понимании приоритетов данных или создании навыков для получения большей ценности от данных. Если да, руководство рекомендует готовить людей через распределение ролей, обучение и мероприятия по повышению готовности. Второй вопрос задает, требуется ли организации единый способ доступа к данным в облаках и рабочих нагрузках для поддержки аналитики и искусственного интеллекта. Если да, руководство — использовать Microsoft Fabric в качестве единой платформы данных. Третий вопрос о том, нужна ли организации помощь в превращении оперативных данных в бизнес-ценность и безопасной передаче данных в системы ИИ, такие как Майкрософт Foundry. Если да, руководство заключается в интеграции служб Azure с Fabric. Четвертый вопрос задает вопрос о том, нуждается ли организация в управлении доступом к данным или согласованной защите данных. Если да, руководство заключается в настройке базовых показателей управления и безопасности с помощью Microsoft Purview и связанных элементов управления. Пятый вопрос задает, нужна ли организация помощи в настройке согласованных организационных стандартов для обработки, защиты и использования продуктов данных для аналитики и искусственного интеллекта. Если да, руководство заключается в настройке операционных стандартов для продуктов данных, безопасности и управления жизненным циклом. Поток заканчивается указанием на внедрение ИИ и агентов ИИ после того, как единая платформа данных и стандарты будут установлены.

Рис. 3. дерево принятия решений Майкрософт для объединения платформы данных.

Следующий шаг

В следующих разделах вы найдете руководства, списки проверки, лучшие практики, рекомендации по принятию решений и компромиссы на каждом шаге. Это руководство предназначено для лидеров и принимающих решения, которые осуществляют надзор за стратегией и управлением организации.

Ключевые термины

Ключевой термин Определение
Аналитика Практика создания аналитических сведений из данных для поддержки принятия решений. Она включает панели мониторинга, отчеты и визуализации, например в Power BI.
AI Системы, использующие данные в качестве входных данных в модели, которые автоматизируют бизнес-функции. Эта категория включает традиционные модели машинного обучения (прогнозные) и генеривные модели ИИ.
Продукт данных Данные, ценные для вашего бизнеса, такие как наборы данных, таблицы, наборы признаков или данные для обучения ИИ.
Домен данных Граница ответственности и владения для продуктов данных, таких как подразделения (HR, маркетинг, финансы, продажи, операции) и линии продуктов (Product 1, Product 2).
Посадочная зона управления данными Среда (состоящая из одной или нескольких подписок Azure) для ресурсов управления данными, таких как учетные записи Microsoft Purview и емкости Fabric.
Зона приема данных Среда (состоящая из одной или нескольких подписок Azure) для ресурсов данных и ИИ/ML, таких как Azure Databricks, Azure Data Lake Storage и Машинное обучение Azure.