Демократизация данных с помощью цифрового изобретения

Уголь, нефть и человеческий потенциал были тремя самыми значимыми активами во время промышленной революции. Эти активы построили компании, сместили рынки и в конечном итоге изменили страны. В цифровой экономике существует три равных важных ресурса для инноваций: данных, устройств и человеческого потенциала. Эти активы содержат большой потенциал инноваций. Для любых инновационных усилий в современной эпохе данные являются новым маслом.

В каждой компании есть данные, которые можно использовать для поиска и удовлетворения потребностей клиентов. К сожалению, процесс интеллектуального анализа данных для управления инновациями может быть дорогостоящим и временным, поэтому потребности не обнаруживаются и решения не создаются. Демократизация данных может решить эту проблему.

Что такое демократизация данных? Это процесс передачи данных тем, кто сможет их использовать для стимулирования инноваций. Этот процесс демократизации может принимать несколько форм, но обычно они включают решения для приема или интеграции необработанных данных, централизации данных, совместного использования данных и защиты данных. Когда данные демократизированы, эксперты по всей компании могут использовать его для формирования и проверки гипотез. Во многих случаях команды по внедрению облачных решений могут создавать с учётом потребностей клиентов, используя только данные, чтобы быстро удовлетворить потребности клиентов.

Способы демократизации данных

Существуют различные способы демократизации данных, но большинство из них включают методы сбора, централизованного управления, управления и совместного использования данных. В следующих разделах описаны некоторые из этих методов. При создании решения для гипотезы клиента следует оценить, следует ли демократизировать данные, в какой степени и как это сделать.

Поделиться данными

При создании с эмпатией к клиентам, нужды клиентов направляют решение. Если требуется данные, решение позволяет клиенту просить, анализировать и сообщать о данных напрямую без поддержки ИТ-сотрудников.

Многие успешные инновации начинаются как минимальный жизнеспособный продукт (MVP), который предоставляет данные клиенту. MVP — это версия продукта, который имеет достаточно возможностей для использования клиентом. Он показывает возможный потенциал продукта для сбора отзывов от клиента. В этой модели concierge сотрудник является потребителем данных. Этот сотрудник использует данные для помощи клиенту. Каждый раз, когда клиент обращается за ручной помощью, гипотеза может быть проверена и подтверждена. Этот подход часто является экономически эффективным средством тестирования гипотезы, ориентированной на клиентов, прежде чем инвестировать в интегрированные решения.

Основные средства для обмена данными напрямую с потребителями данных включают в себя отчеты самообслуживания или данные, внедренные в другие возможности, используя такие средства, как Power BI.

Управление данными

Общий доступ к данным может быстро создать минимальный жизнеспособный продукт для использования в беседах клиентов. Тем не менее, чтобы превратить эти общие данные в полезные и практически применимые знания, обычно требуется больше усилий.

После проверки гипотезы с помощью общего доступа к данным следующий этап разработки обычно является управлением данными.

Управление данными — это широкий раздел, который может требовать собственную выделенную платформу, вопрос, который находится за пределами области Cloud Adoption Framework.

Существует несколько аспектов управления данными, которые следует рассмотреть сразу после проверки гипотезы клиента. Рассмотрим пример.

• Являются ли совместно используемые данные конфиденциальными?Данные следует классифицировать перед публичным распространением для защиты интересов клиентов и компании.
• Если данные конфиденциальны, они были защищены? Защита конфиденциальных данных является обязательной для демократизированных данных. Пример рабочей нагрузки, описанной в разделе "Защита данных" , содержит некоторые ссылки на защиту данных.
• Данные каталогизированы? Определение характера общих данных помогает в долгосрочном управлении данными. Средства для документирования данных, таких как каталог данных Azure, упрощают этот процесс в облаке. Руководство по заметке данных и документации по источникам данных может ускорить процесс.

Если демократизация данных важна для гипотезы, ориентированной на клиентов, убедитесь, что управление общими данными находится в плане выпуска. Это защищает клиентов, потребителей данных и компанию.

Централизация данных

Централизация данных приводит к более значимым отчетам, гарантирует, что одни и те же данные доступны в организации и повышают рентабельность инвестиций. Если данные распределяются по ИТ-среде, возможности для инноваций могут быть чрезвычайно ограничены, дорогостоящими и трудоемкими. Облако предоставляет новые возможности для централизации данных. Когда требуется централизация нескольких источников данных для создания с помощью сочувствия клиентов, облако может ускорить тестирование гипотез.

При централизации необходимо соответствующее хранилище данных для централизованных данных. Рекомендуется создать хранилище данных в облаке. Этот масштабируемый параметр предоставляет центральное расположение для всех данных. Этот тип решения доступен в режиме интерактивной аналитической обработки (OLAP) или параметров больших данных.

Эталонные архитектуры для решений OLAP и больших данных помогут выбрать наиболее подходящее решение для централизации в Azure. Если требуется гибридное решение, эталонная архитектура для расширения локальных данных также может помочь ускорить разработку решений.

Сбор данных

Двумя основными формами сбора данных являются интеграция и прием.

Интеграция: Данные, находящиеся в существующем хранилище данных, можно интегрировать в централизованное хранилище данных с помощью традиционных методов перемещения данных. Это особенно распространено для сценариев, в которых используется хранилище данных с несколькими облаками. Эти методы включают извлечение данных из существующего хранилища данных, а затем их загрузку в центральное хранилище данных. В какой-то момент в этом процессе данные обычно преобразуются в более подходящие и релевантные в центральном хранилище.

Облачные средства превратили эти методы в средства оплаты за использование, уменьшая барьер для входа в сбор и централизацию данных. Средства, такие как Azure Database Migration Service и Фабрика данных Azure , являются двумя примерами. Эталонная архитектура фабрики данных с хранилищем данных OLAP является примером такого решения.

Проглатывание: Некоторые данные не находятся в существующем хранилище данных. Если эти временные данные являются основным источником инноваций, вы хотите рассмотреть альтернативные подходы. Временные данные можно найти в различных источниках, таких как приложения, API, потоки данных, устройства Интернета вещей, блокчейн, кэш приложения, содержимое мультимедиа или даже в неструктурированных файлах.

Эти различные формы данных можно интегрировать в центральное хранилище данных в решении OLAP или больших данных. Однако для ранних итераций цикла создать-измерить-обучиться решение для онлайн-обработки транзакций (OLTP) может быть достаточным для проверки гипотезы клиента. Решения OLTP не являются лучшим вариантом для любого сценария создания отчетов. Тем не менее, когда вы строите с эмпатией по отношению к клиентам, важнее сосредоточиться на их потребностях, чем на решениях по выбору технических средств. После проверки гипотезы клиента в масштабе может потребоваться более подходящая платформа. Эталонная архитектура в хранилищах данных OLTP поможет определить, какое хранилище данных наиболее подходит для вашего решения.

Виртуализация: Интеграция и сбор данных иногда может замедлить инновации. Если решение для виртуализации данных уже доступно, это может представлять более разумный подход. Прием и интеграция могут дублировать требования к хранилищу и разработке, добавлять задержку данных, увеличивать область атаки, запускать проблемы качества и увеличивать усилия по управлению. Виртуализация данных — это более современная альтернатива, которая оставляет исходные данные в одном расположении и создает сквозные или кэшированные запросы исходных данных.

Sql Server 2017 и Хранилище данных SQL Azure поддерживают PolyBase, что является подходом к виртуализации данных, наиболее часто используемой в Azure.

Дальнейшие действия

С помощью стратегии демократизации данных вы сможете оценить подходы к разработке приложений.