Поделиться через

Современные хранилища данных для малого или среднего бизнеса

Azure Data Lake
База данных SQL Azure
Microsoft Fabric

В этой статье описываются способы миграции и модернизации устаревших хранилищ данных малого или среднего бизнеса в рамках текущих бюджетов и набора навыков. В нем показано, как постепенно изучить средства и возможности больших данных. Эти решения для хранения данных интегрируются с машинным обучением Azure, средствами Foundry, Microsoft Power Platform, Dynamics 365 и другими технологиями Майкрософт. Эти решения предоставляют начальную точку доступа к Microsoft Fabric, который представляет собой управляемое программное обеспечение как услуга (SaaS), которое может расширяться по мере роста ваших потребностей.

Этот шаблон поддерживает малые или средние предприятия, имеющие следующие характеристики:

  • Использование локального SQL Server для решений по хранению данных объёмом до 1 терабайта (ТБ)

  • Использование традиционных средств SQL Server, таких как SQL Server Integration Services (SSIS), SQL Server Analysis Services (SSAS), SQL Server Reporting Services (SSRS), распространенные хранимые процедуры SQL и задания агента SQL Server

  • Использование внешних средств извлечения, преобразования и загрузки (ETL) и извлечения, загрузки и преобразования (ELT)

  • Использование репликации моментальных снимков для синхронизации данных

  • Запускайте пакетные операции и не требуйте отчетов в реальном времени

Упрощенная архитектура

Схема, демонстрирующая упрощенную архитектуру малого или среднего бизнеса.

Скачайте файл Visio этой архитектуры.

Возможность концептуальной модернизации включает переход устаревшего решения для хранения данных в сочетание Базы данных SQL Azure, Управляемого экземпляра SQL Azure и Fabric. Эта стратегия обеспечивает широкую совместимость с традиционными клиентскими средствами SQL Server и SQL, такими как SQL Server Management Studio (SSMS). Он также предоставляет варианты повторного размещения для существующих процессов и требует минимального повышения квалификации для команды поддержки. Это решение обеспечивает первоначальный шаг к комплексной модернизации. По мере того как ваше хранилище данных увеличивается, а ваша команда приобретает опыт, вы можете перейти на полное SaaS-хранение данных на платформе Fabric или применить lakehouse-подход.

Устаревшие хранилища данных для малого или среднего бизнеса могут содержать несколько типов данных:

  • Неструктурированные данные, такие как документы и графика

  • Полуструктурированные данные, такие как журналы, разделенные запятыми значения (CSV), JSON и XML-файлы

  • Структурированные реляционные данные, включая базы данных, использующие хранимые процедуры для действий ETL и ELT

Архитектура

Схема, демонстрирующая расширенную архитектуру, предназначенную для удовлетворения будущих потребностей.

Скачайте файл Visio этой архитектуры.

Поток данных

Следующий поток данных соответствует предыдущей схеме:

  1. Пайплайны данных Fabric или Azure Data Factory принимают транзакционные данные в решение хранилища данных.

    • Конвейеры управляют потоком перенесенных или частично подвергшихся рефакторингу наследственных баз данных и пакетов SSIS в Базу данных SQL или Управляемый экземпляр SQL. Этот подход повторного размещения обеспечивает переход от локального решения SQL к будущей среде SaaS Fabric. После первоначальной миграции можно модернизировать базы данных.

    • Конвейеры могут перемещать неструктурированные, полуструктурированные и структурированные данные в Azure Data Lake Storage для централизованного хранения и анализа между источниками. Используйте этот подход при объединении данных из нескольких источников, что дает больше бизнес-ценности, чем перенос данных на новую платформу.

  2. Используйте данные Dynamics 365 для создания централизованных панелей мониторинга бизнес-аналитики (BI) с помощью бессерверных средств аналитики Fabric для обогащенных наборов данных. Вы можете загружать данные Dynamics 365 в Data Lake Storage или подключить среду Dataverse непосредственно к Fabric, используя ярлык Dynamics 365 в OneLake. Вы можете записать результаты аналитики обратно в Dynamics 365 или продолжить анализ в Fabric.

  3. Центры событий Azure или другие решения потоковой передачи передают данные в режиме реального времени в систему. Аналитика Real-Time Fabric обеспечивает немедленный анализ для поддержки панелей мониторинга в режиме реального времени.

  4. Сочетания клавиш Data Lake Storage позволяют перенести данные в Fabric OneLake для анализа, хранения и создания отчетов. Этот подход анализирует данные на месте, не перемещая их и делая доступными для подчиненных потребителей.

  5. Fabric предоставляет бессерверные средства анализа по запросу, такие как конечная точка аналитики SQL и Apache Spark, не требуя подготовленных ресурсов. Эти средства поддерживают следующие действия:

    • Действия ETL и ELT в данных OneLake

    • Обеспечение золотого уровня архитектуры медальона для отчетов Power BI через функцию DirectLake

    • Импровизированные исследования обработки и анализа данных в T-SQL или Python

    • Раннее прототипирование для сущностей хранилища данных

Fabric интегрируется с потребителями наборов данных с несколькими источниками, включая интерфейсные отчеты Power BI, Машинное обучение, Power Apps, Azure Logic Apps, Функции Azure и веб-приложения службы приложений Azure.

Компоненты

  • Fabric — это служба аналитики, которая объединяет возможности проектирования данных, хранения данных, обработки и анализа данных в режиме реального времени и бизнес-аналитики. В этой архитектуре возможности проектирования данных Fabric предоставляют совместную платформу для инженеров данных, специалистов по обработке и анализу данных, аналитиков данных и бизнес-аналитиков. Fabric использует бессерверные вычислительные подсистемы для создания аналитических сведений, поддерживающих принятие бизнес-решений.

  • База данных SQL и Управляемый экземпляр SQL — это облачные службы реляционных баз данных. В этой архитектуре эти службы размещают хранилище корпоративных данных и выполняют действия ETL и ELT с помощью хранимых процедур или внешних пакетов (SSIS). База данных SQL и Управляемый экземпляр SQL — это среды как услуга (PaaS), которые можно использовать для обеспечения высокого уровня доступности и аварийного восстановления. Выберите номер SKU, соответствующий вашим требованиям. Дополнительные сведения см. в разделе "Высокий уровень доступности для базы данных SQL " и "Высокий уровень доступности для управляемого экземпляра SQL".

  • Центры событий — это платформа потоковой передачи данных в режиме реального времени и служба приема событий. В этой архитектуре Центры событий интегрируются со службами данных Azure для приема потоковых данных из различных источников в Data Lake Storage для анализа и создания отчетов. Центры событий также могут передавать данные непосредственно в Real-Time Intelligence.

  • Data Lake Storage — это централизованный облачный репозиторий, в который хранятся структурированные и неструктурированные данные. В этой архитектуре Data Lake Storage может хранить архивированные данные потоковой передачи и копии данных Dynamics 365.

Альтернативные варианты

  • Центр Интернета вещей Azure можно использовать для замены или дополнения центров событий. Выберите решение на основе источника потоковых данных и необходимости клонирования и двунаправленного взаимодействия с устройствами отчетов.

  • Конвейеры данных Fabric можно использовать вместо конвейеров фабрики данных для интеграции данных. Ваше решение зависит от нескольких факторов. Дополнительные сведения см. в разделе "Различия между фабрикой данных Azure" и фабрикой данных Fabric.

  • Хранилище данных Fabric можно использовать вместо базы данных SQL или управляемого экземпляра SQL для хранения корпоративных данных. В этой статье делается акцент на ускорение вывода на рынок (время до выхода на рынок, TTM) для клиентов, которые хотят модернизировать свои хранилища данных. Дополнительные сведения см. в разделе "Параметры хранилища данных Fabric".

Подробности сценария

Малые или средние предприятия, которые модернизируют локальные хранилища данных для облака, могут выбрать один из двух подходов. Вы можете внедрить средства больших данных для будущего масштабируемости или использовать традиционные решения на основе SQL для повышения эффективности затрат и прогнозируемого перехода. Гибридный подход позволяет перенести существующие данные при использовании современных средств и возможностей искусственного интеллекта. Вы можете хранить источники данных на основе SQL в облаке и модернизировать их постепенно.

В этой статье описывается, как малые или средние предприятия могут модернизировать устаревшие хранилища данных и применять средства больших данных, оставаясь в существующих бюджетах и наборах навыков. Эти решения для хранения данных Azure интегрируются со службами Azure и Майкрософт, включая средства Foundry, Dynamics 365 и Power Platform.

Потенциальные варианты использования

  • Перенос традиционного локального реляционного хранилища данных, который меньше 1 ТБ и использует пакеты служб SSIS для оркестрации хранимых процедур.

  • Объедините данные Dynamics 365 или Dataverse с пакетными данными и данными в режиме реального времени из Data Lake Storage.

  • Используйте инновационные методы для взаимодействия с централизованными данными Data Lake Storage. Эти методы включают бессерверный анализ, интеллектуальный анализ знаний, слияние данных между доменами и самостоятельное исследование данных с помощью Copilot в Fabric.

  • Разрешить предприятиям электронной коммерции внедрять хранилище облачных данных для оптимизации операций.

Мы не рекомендуем использовать это решение для следующих сценариев:

  • Развертывания хранилища данных Greenfield. Для этого сценария см. "Greenfield lakehouse" на Fabric.

  • Локальные хранилища данных, размером 1 ТБ или больше, или которые достигают этого размера в течение года. Большинство организаций принимают специализированные решения для хранения данных для хранилищ данных этого размера. В этих сценариях см. Альтернативы переплатформированию.

Рекомендации

Эти рекомендации реализуют основные принципы Azure Well-Architected Framework, которые являются набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. вWell-Architected Framework.

Reliability

Надежность помогает гарантировать, что ваше приложение может выполнять обязательства, которые вы выполняете для клиентов. Для получения дополнительной информации см. Контрольный список проверки конструкции на надежность.

Вы и Корпорация Майкрософт несете ответственность за надежность большинства служб Azure. Корпорация Майкрософт предоставляет возможности для поддержки устойчивости и восстановления. Вы должны понять, как эти возможности работают в каждой службе, которую вы используете, и выбрать конфигурации, которые соответствуют вашим бизнес-целям и целям простоя. Ознакомьтесь с документацией для конкретной службы, чтобы выбрать конфигурации, соответствующие целям непрерывности бизнес-процессов и аварийному восстановлению.

Оптимизация затрат

Оптимизация затрат фокусируется на способах сокращения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в контрольном списке проверки конструктора для оптимизации затрат.

  • Калькулятор цен Azure позволяет изменять значения, чтобы понять, как конкретные требования влияют на затраты. См. пример ценообразования для сценария хранения данных малого или среднего размера.

  • Цены на базу данных SQL зависят от уровня вычислений, уровня служб, количества виртуальных ядер и единиц транзакций базы данных. В примере цен используется отдельная база данных с подготовленными вычислительными ресурсами и восемь виртуальных ядер для выполнения хранимых процедур в базе данных SQL. Вы можете сократить затраты с помощью зарезервированной емкости и гибридных преимуществ Azure.

  • Цены на Data Lake Storage зависят от объема хранилища и частоты доступа к данным. Пример цен включает в себя 1 ТБ хранилища данных и связанные затраты на транзакцию. 1 ТБ представляет размер озера данных, а не исходный размер устаревшей базы данных. Data Lake Storage — это дополнительная стоимость модернизации за пределами устаревшей базы данных.

  • Цены на Fabric зависят от модели емкости Fabric F или модели "Премиум на человека". Бессерверные возможности используют ЦП и память из выделенной емкости. После модернизации существующие отчеты продолжают работать, подключаясь к новому хранилищу данных (База данных SQL или Управляемый экземпляр SQL) с существующим лицензированием. Пример цен включает SKU F2 для представления будущего расширения бизнес-аналитики через самостоятельную подготовку данных, датамарты, интеллект в реальном времени и рабочие процессы с поддержкой ИИ. SKU F2 с годовым резервированием предоставляет экономически эффективную точку входа. Если вы в настоящее время используете Power BI Premium или перешли на F64, возможно, вам не потребуется дополнительная F-емкость.

  • Цены центров событий зависят от выбранного уровня, подготовленных единиц пропускной способности (PTUS) и объема трафика входящего трафика. В примере цен предполагается, что одна единица пропускной способности на уровне "Стандартный" обрабатывает более одного миллиона событий в месяц. Центры событий представляют дополнительную стоимость модернизации при добавлении возможностей потоковой передачи в режиме реального времени в решение.

Соавторы

Корпорация Майкрософт поддерживает эту статью. Следующие авторы написали эту статью.

Автор субъекта:

Другой участник:

Чтобы просмотреть неопубликованные профили LinkedIn, войдите в LinkedIn.

Следующие шаги