Поделиться через

Что такое структура хранилища для аналитических потоков данных?

  • Статья

Аналитические потоки данных хранят как данные, так и метаданные в Azure Data Lake служба хранилища. Потоки данных используют стандартную структуру для хранения и описания данных, созданных в озере, которая называется папками Common Data Model. В этой статье вы узнаете больше о стандарте хранилища, который потоки данных используются за кулисами.

служба хранилища требуется структура для аналитического потока данных

Если поток данных является стандартным, данные хранятся в Dataverse. Dataverse похожа на систему базы данных; Он имеет концепцию таблиц, представлений и т. д. Dataverse — это структурированное хранилище данных, используемое стандартными потоками данных.

Однако, если поток данных является аналитическим, данные хранятся в Azure Data Lake служба хранилища. Данные и метаданные потока данных хранятся в папке Common Data Model. Так как у учетной записи хранения может быть несколько потоков данных, в ней представлена иерархия папок и вложенных папок, помогающих упорядочить данные. В зависимости от продукта, в который был создан поток данных, папки и вложенные папки могут представлять рабочие области (или среды), а затем папку Common Data Model потока данных. В папке Common Data Model хранятся как схема, так и данные таблиц потоков данных. Эта структура соответствует стандартам, определенным для общей модели данных.

Аналитический поток данных хранит данные в структуре common Data Model.

Что такое структура хранилища common Data Model?

Общая модель данных — это структура метаданных, определенная для обеспечения соответствия и согласованности для использования данных на нескольких платформах. Общая модель данных не является хранилищем данных, это способ хранения и определения данных.

Общие папки модели данных определяют способ хранения схемы таблицы и ее данных. В Azure Data Lake служба хранилища данные организованы в папках. Папки могут представлять рабочую область или среду. В этих папках создаются вложенные папки для каждого потока данных.

Структура папок рабочей области.

Что такое папка потока данных?

Каждая папка потока данных содержит вложенную папку для каждой таблицы и файла метаданных с именем model.json.

Что такое папка потока данных?

Файл метаданных: model.json

Файл model.json — это определение метаданных потока данных. Это один файл, содержащий все метаданные потока данных. Он содержит список таблиц, столбцов и их типов данных в каждой таблице, связь между таблицами и т. д. Этот файл можно экспортировать из потока данных легко, даже если у вас нет доступа к структуре папки Common Data Model.

Экспортируйте файл model.json из потока данных.

Этот JSON-файл можно использовать для переноса (или импорта) потока данных в другую рабочую область или среду.

Перенос потока данных в другую рабочую область или среду.

Чтобы узнать, что содержит файл метаданных model.json, перейдите в файл метаданных (model.json) для common Data Model.

Файлы данных

Помимо файла метаданных папка потока данных включает другие вложенные папки. Поток данных хранит данные для каждой таблицы в подпапке с именем таблицы. Данные для таблицы могут быть разделены на несколько секций данных, хранящихся в формате CSV.

Как просмотреть или получить доступ к папкам Common Data Model

Если вы используете потоки данных, использующие хранилище, предоставленное продуктом, в который они были созданы, у вас нет доступа к этим папкам напрямую. В таких случаях для получения данных из потоков данных требуется использовать соединитель потока данных Microsoft Power Platform, доступный в интерфейсе получения данных в продуктах служба Power BI, Power Apps и Dynamics 35 Customer Аналитика или в Power BI Desktop.

Подключение данных для аналитического потока данных.

Чтобы узнать, как работают потоки данных и внутренняя среда Data Lake служба хранилища интеграции, перейдите к потокам данных и интеграции Azure Data Lake (предварительная версия).

Если ваша организация включила потоки данных для использования своей учетной записи Data Lake служба хранилища и была выбрана в качестве целевой цели загрузки для потоков данных, вы по-прежнему можете получить данные из потока данных с помощью соединителя потока данных Power Platform, как упоминание выше. Но вы также можете получить доступ к папке Common Data Model потока данных непосредственно через озеро, даже за пределами инструментов и служб Power Platform. Доступ к озеру возможен через портал Azure, служба хранилища Microsoft Azure Обозреватель или любую другую службу или интерфейс, поддерживающий Azure Data Lake служба хранилища. Дополнительная информация: подключите Azure Data Lake Storage 2 поколения для хранения потоков данных

Подключение на внешний служба хранилища Data Lake.

Следующие шаги