Создание продуктов данных и управление ими

Продукт данных в Единый каталог Microsoft Purview — это набор сведений с определенным вариантом использования, которым вы делитесь с другими пользователями. Например, продукт данных может быть отчетом о продажах, моделью машинного обучения или моделью данных и связанными с ней таблицами. Продукт данных — это логическая группировка связанных физических ресурсов, создаваемых для определенной цели.

Может быть трудно найти значение данных, представленных сами по себе, но данные, уже связанные с целью, проще найти и использовать. Продукты данных в Единый каталог обеспечивают практический контекст для пользователей и для систем аналитики, помогая пользователям определить, какие данные им полезны.

Чтобы создать продукты данных для вашей организации и убедиться, что эти продукты имеют достаточное определение, чтобы быть полезными для вашей базы пользователей, следуйте этим инструкциям.

Предварительные условия

• Для просмотра продуктов данных пользователям требуются разрешения читателя каталога.
• Для управления продуктами данных или изменения их пользователям требуются разрешения владельца продукта данных .

Просмотр продуктов данных

1. На портале Microsoft Purview откройте Единый каталог.
2. В разделе Управление каталогом выберите Продукт данных. Вы увидите список всех продуктов данных, к которых у вас есть доступ, на основе ваших разрешений. Вы можете прокручивать, сортировать, фильтровать и выполнять поиск по этим продуктам данных, чтобы найти нужные.
3. Выберите имя продукта данных в списке, чтобы просмотреть дополнительные сведения на странице сведений о проекте данных.

Фильтрация представления по пользовательскому атрибуту

Атрибуты бизнес-концепции можно использовать в качестве фильтра при изучении продуктов данных.

1. В разделе Управление каталогом выберите Продукты данных.
2. Выберите Добавить фильтр.
3. В разделе Фильтр выберите имя атрибута в раскрывающемся списке.
4. В поле Оператор выберите условие, например Равно или Начинается с, которое зависит от типов значений, разрешенных атрибутом.
5. В поле Значение введите значение.
6. Нажмите Применить.

Сведения

Вкладка Сведения на странице сведений о продукте данных содержит описание и варианты использования. Здесь вы найдете домен управления, частоту обновления, состояние, владельца, подписчиков, условия использования, агрегированную оценку качества данных , действия по работоспособности и документацию.

1. Вы увидите список всех продуктов данных, к которых у вас есть доступ, на основе ваших разрешений.
2. Вы можете прокручивать, сортировать, фильтровать и выполнять поиск по этим продуктам данных, чтобы найти нужные.
3. Чтобы получить дополнительные сведения о конкретном продукте данных, выберите его.
4. На странице сведений о продукте данных можно просмотреть домен управления, частоту обновления, состояние, владельца, подписчиков, условия использования, агрегированную оценку качества данных , действия по работоспособности и документацию.

Настраиваемые атрибуты

В разделе Настраиваемые атрибуты можно просмотреть все настраиваемые группы атрибутов и атрибуты в группах, а также значения, заданные для каждого атрибута. По умолчанию отображаются только атрибуты со значениями, но для просмотра всех атрибутов можно включить параметр Показать атрибуты без значения .

Наблюдаемость данных

На вкладке Наблюдаемость данных (предварительная версия) представлено более подробное представление о работоспособности и происхождении данных. Для этого представления требуется краткий процесс настройки. Сведения о представлении наблюдаемости для доменов управления.

Создание продуктов данных

Существует два способа создания продуктов данных:

1. По отдельности путем создания одного термина за раз.
2. Массовый импорт путем импорта форматированного CSV-файла (предварительная версия).

Создание единого продукта данных

1. В Единый каталог выберите Управление каталогом, Продукты данных и Новый продукт данных.

2. В разделе Основные сведения введите имя и описание. Если вы используете имя, которое уже существует, вы увидите предупреждение в процессе создания. Хотя дублирование имен не рекомендуется, вам не будет запрещено использовать повторяющееся имя. Описание должно быть бизнес-повествованием о данных, откуда они пришли и почему они были захвачены. Цель заключается в том, чтобы новый пользователь понял основы того, когда, что, почему и как появились данные, и дать ясность о значении конкретных данных для бизнеса. Описание ограничено 10 000 символами.

3. Выберите тип в раскрывающемся меню. Получение сведений о типах продуктов данных.

4. В раскрывающемся списке Аудитория сделайте необязательный выбор.

5. Введите владельца и всех других владельцев для продукта данных.

6. Нажмите кнопку Далее.

7. В разделе Сведения о бизнесе выберите домен управления , с которым должен быть связан продукт данных.

8. Введите вариант использования. Вариант использования описывает, какие данные используются на сегодняшний день и как пользователь может эффективно применить их к своему собственному сценарию. Вы можете добавить сведения о доступных фильтрах или измерениях, о том, какой ресурс содержит представление, которое проще всего проанализировать, или любые другие сведения, которые могут ускорить использование данных. Если данные подходят только для определенных целей, включите эти сведения, чтобы пользователи не запрашивали доступ к данным, для которых они не будут утверждены или не помогли им достичь своих целей.

9. Если вы решили пометить продукт данных как утвержденный, выберите поле Пометить как одобренное . Узнайте больше о поддержке продукта данных.

10. Нажмите кнопку Далее.

11. На странице Настраиваемые атрибуты можно задать значения для всех настраиваемых атрибутов , определенных администратором в разделе Настраиваемые атрибуты каталога. Если атрибут помечен как обязательный, перед завершением процесса необходимо заполнить все значения на этой странице.

12. Нажмите Создать.

Вы попадаете на страницу сведений о новом продукте данных. Здесь можно внести другие изменения в продукт данных, который в настоящее время находится в состоянии черновика .

Массовый импорт продуктов данных (предварительная версия)

Вы можете создать сразу несколько продуктов данных и импортировать их в домен управления, отправив форматированный CSV-файл. В процессе массового импорта скачивается пример CSV-файла, содержащего строку заголовка. Вы заполняете файл в соответствии с инструкциями в этой статье, а затем повторно загружаете его. Продукты данных отображаются в домене управления в состоянии черновика.

Вы не можете использовать процесс массового импорта для изменения или обновления продуктов данных.

Чтобы импортировать продукты данных в домен управления, выполните следующие действия.

1. В Единый каталог выберите Управление каталогом, а затем домены управления.

2. Выберите имя домена управления, в который нужно добавить продукты данных.

3. На вкладке Сведения на странице сведений о домене управления найдите продукты данных карта и выберите Просмотреть все.

4. На странице Продукты данных выберите Импорт.

5. На всплывающей панели Импорт выберите Скачать пример CSV-файла.

6. Откройте скачанный файл. Заполните лист, как описано здесь, чтобы избежать ошибок отправки.

   • Столбец A — имя (обязательно): введите название продукта данных. Каждое имя должно быть уникальным; Вы не можете иметь несколько строк с одинаковым именем. Максимальная длина: 256 символов.

   • Столбец B — владельцы (обязательно). Введите допустимый адрес электронной почты, принадлежащий тому же клиенту, из который выполняется импорт. Можно добавить несколько адресов электронной почты, разделенных точкой с запятой. Пример: owner1@contoso.com;owner2@econtoso.com. Группы без электронной почты не поддерживаются.

   • Столбец C — тип (обязательный): введите тип продукта данных; см. список типов.

   • Столбец D — аудитория. Введите одно из следующих допустимых значений, чтобы описать целевую аудиторию продукта данных:

     • Инженер бизнес-аналитики
     • Бизнес-аналитик
     • Бизнес-пользователь
     • Аналитик данных
     • Инженер данных
     • Специалист по обработке и анализу данных
     • Исполнительный
     • Разработчик программного обеспечения

   • Столбец E — одобрено: введите True или False. Одобрено — это сигнал уверенности потребителей данных в том, что продукт данных соответствует ожиданиям организации по качеству и управлению. Он отображается в виде метки на продукте данных для потребителей данных.

   • Столбец F — description (обязательный): введите описание продукта данных. Максимальная длина — 500 000 символов.

   • Столбец G — бизнес-использование (обязательно). Эта запись будет отображаться в области Вариант использования продукта данных. Введите описание того, какие данные используются на сегодняшний день, и как пользователь может эффективно применить их к своему собственному сценарию.

   • Столбец H и далее. Эти столбцы предназначены для пользовательских атрибутов, которые отличаются в зависимости от того, как они определены и ограничены. Обратите внимание на следующие требования к форматированию для определенных типов записей:

     • Параметры множественного выбора: введите объекты в квадратных скобках и в кавычках. Например, или ["a"]["a", "b"].
     • Параметры выбора: введите необработанное значение. Например: a1, b2.
     • Логические значения: введите true или false. Можно использовать верхний или нижний регистр.
     • Строковый или форматированный текст: используйте обычный текст; Не добавляйте кавычки, если вы не хотите, чтобы кавычки отображались в атрибуте .
     • Numeric — short, int, long, double, float, bit, byte: не добавляйте кавычки. Просто введите номер.

7. После форматирования CSV-файла сохраните его локально. Вернитесь во всплывающей области Импорт , выберите Обзор, а затем найдите и выберите CSV-файл, чтобы отправить его.

8. На всплывающей панели Импорт нажмите кнопку ОК , чтобы начать процесс импорта.

Если возникла проблема с CSV-файлом, на панели импорта появится сообщение об ошибке, объясняющее ошибку, чтобы вы могли исправить CSV-файл и повторно загрузить его.

Если проблем с файлом нет, начинается процесс импорта. В зависимости от размера CSV-файла процесс импорта может занять некоторое время. Если файл небольшой, импорт происходит немедленно, и вы увидите сообщение об успешном выполнении. Для завершения импорта больших файлов требуется больше времени.

Проверьте состояние, вернувшись на страницу сведений о домене управления. На вкладке Сведения выберите Мониторинг , чтобы просмотреть состояние заданий массового импорта, включая все ошибки, на странице Мониторинг .

Типы продуктов данных

При создании продукта данных его можно определить как один из следующих типов. Эти типы помогают определить типы пользователей, которые могут захотеть использовать продукт данных, и их можно использовать для фильтрации продуктов данных в поиске.

• Модель аналитики. Данные, преобразованные из необработанных данных для создания аналитики на основе и могут быть отдельными таблицами фактов и измерений.

• Бизнес-система или приложение. Общий набор потребляемых таблиц из определенного источника или доступный в определенном приложении, которое вы используете вместе.

• Панели мониторинга и отчеты. Визуализации данных, используемые для принятия решений и просмотра общих метрик. Они могут включать или не включать данные, используемые для визуализации.

• Набор данных. Отдельный ресурс или группа ресурсов, используемых в качестве общего типа продукта данных, чтобы сделать данные обнаруживаемыми для конкретных вариантов использования.

• Основные и эталонные данные. Данные с высокой степенью многократного использования, на которые следует постоянно ссылаться и управлять ими из-за их общего использования и большей важности для работоспособности хранилища данных.

• Данные обучения машинного обучения: данные, утвержденные для использования в качестве обучения новой модели. Обычно это не производственные данные и десенсибилизируется для предотвращения потенциальных рисков.

• Данные тестирования машинного обучения. Данные, созданные специально для тестирования моделей машинного обучения для пограничных вариантов, справедливости и потенциального вреда.

• Типы моделей: обычно используются для моделей ИИ и аналитических или семантических моделей, используемых с ИИ.

• Операционный. Продукт данных, который используется для качества данных или для работы с частью хранилища данных, но не планируется для высокого потребления или управления. Это может быть следственный продукт данных из временных ресурсов данных или данных, используемых для выполнения процесса, но не моделировался или не объединялся в аналитических целях.

• Семантическая модель. Группа связанных таблиц данных, их связей и значений для интерпретации и повторного использования.

• Транзакционные данные: данные из исходного источника, которые могут иметь ограниченные варианты использования, но требуются для инженерных сценариев или интеграции системы с системой; обычно не используется для большинства потребления бизнес-данных, но может иметь важное значение для сценариев управления и управления.

Управление продуктами данных

Владельцы продуктов данных могут просматривать и изменять свойства продукта данных, выполнив следующие действия.

1. В Единый каталог выберите Управление каталогом, а затем — Продукты данных.
2. Выберите продукт данных, чтобы открыть страницу сведений о нем.
3. Нажмите Изменить.

На странице продукта данных можно:

• Изменение сведений о продукте данных.
• Частота обновления.
• Изменение состояния продукта данных.
• Управление политиками доступа к продуктам данных.
• Добавление или удаление связанных ресурсов данных.
• Удалите ресурсы данных, удаленные из карты данных (предварительная версия).
• Управление связанными терминами или OKR.
• Управление условиями использования.
• Управление связанной документацией.
• Утвердить продукт данных.
• Изменение значений настраиваемых атрибутов.

Изменение продукта данных

Для редактирования продукта данных требуются разрешения владельца продукта данных . Вы можете изменить продукт данных только в том случае, если он находится в состоянии черновика .

1. На странице продукта данных нажмите кнопку Изменить .
2. На странице Основные сведения обновите имя, описание, тип и владельцев. Если вы измените имя на уже существующее, вы увидите предупреждение о дублировании, но вы можете перейти к использованию повторяющегося имени.
3. Выберите Сохранить.
4. На странице Сведения о бизнесе обновите варианты использования и состояние подтверждения.
5. Выберите Сохранить.
6. На странице Настраиваемые атрибуты можно задать значения для всех настраиваемых атрибутов , определенных администратором в разделе Настраиваемые атрибуты каталога. Если атрибут помечен как обязательный, перед завершением процесса необходимо заполнить все значения на этой странице.
7. Чтобы сохранить изменения, нажмите кнопку Сохранить.

Обновление контактов

При добавлении владельцев к продуктам данных во время создания или редактирования владельцы автоматически отображаются в разделе Контакты . Метку можно настроить, щелкнув значок карандаша в каждом контакте карта.

Частота обновлений

Используйте частоту обновления, чтобы показать, как регулярно вы управляете продуктом данных. Этот индикатор в настоящее время не автоматизирован.

1. Чтобы изменить частоту обновления, выберите атрибут Частота обновления в правой части страницы.
2. Выберите частоту обновления, ожидаемую для продукта данных.
3. Нажмите кнопку Готово.

Публикация, черновик и срок действия

Чтобы опубликовать проект продукта с данными, выберите Опубликовать на странице сведений о продукте данных. Перед публикацией необходимо добавить ресурсы данных в продукт данных и настроить политику доступа к данным , чтобы пользователи могли запрашивать доступ к вашему продукту данных.

После выполнения требований можно опубликовать продукт данных, что делает его доступным для пользователей в Единый каталог.

Вы также можете задать для ранее опубликованного продукта данных черновик, отменив его публикацию :

1. Нажмите кнопку Отменить публикацию в продукте данных.
2. Выберите Задать для черновика , который позволяет только администраторам, владельцам доменов управления и владельцам продуктов данных просматривать и управлять ими.

Вы также можете задать для продукта данных значение Истек срок действия:

1. Нажмите кнопку Отменить публикацию в продукте данных.
2. Выберите Задать значение истекшим сроком действия , чтобы сделать его видимым только для администраторов, владельцев доменов управления и владельцев продуктов данных.

Управление политиками доступа к продуктам данных

Для управления политиками доступа требуются разрешения владельца продукта данных или администратора данных .

1. Если продукт данных опубликован, сначала отмените его публикацию для управления политиками.

2. На странице продукта данных выберите Управление политиками.

3. В окне конфигурации политики можно создать политику доступа к продукту данных и управлять ею. Узнайте, как настроить политики доступа к продуктам данных.

Добавление и удаление ресурсов данных

Продукт данных объединяет ресурсы данных. Группирование ресурсов таким образом упрощает их обнаружение. Сведения о добавлении или удалении ресурсов данных из продукта данных см. в следующих разделах.

Добавление ресурсов данных

Чтобы добавить ресурсы данных в продукт данных, выполните приведенные далее действия.

1. В Единый каталог выберите Управление каталогом, а затем — Продукты данных.

2. Выберите продукт данных, в который нужно добавить ресурсы.

3. Выберите Добавить ресурсы данных под описанием и вариантами использования.

4. Выполните поиск ресурсов данных с помощью ключевых слов или фильтров. Чтобы добавить фильтры, выберите Добавить фильтр.

5. Выберите ресурсы, которые нужно добавить в продукт данных.

6. Выберите Выбранные ресурсы , чтобы изменить выбранный список ресурсов.

7. Завершив выбор ресурсов, нажмите кнопку Добавить.

В продукте данных отображаются только что добавленные ресурсы.

Удаление ресурсов данных

Перед удалением ресурса данных из продукта данных необходимо удалить из него все правила качества данных и предыдущие проверки качества данных. Дополнительные сведения см. в статье Удаление журнала качества данных.

Хотя менеджеры по качеству данных могут не участвовать в создании продуктов данных, они эксперты в области правил качества данных и проверок. Только пользователи, имеющие роль администратора качества данных, могут удалять правила качества данных и проверки, поэтому владельцы продуктов данных должны работать с администраторами качества данных, чтобы удалить правила и проверки, прежде чем соответствующий ресурс будет удален из продукта данных.

Чтобы удалить ресурс данных, выполните следующие действия.

1. В Единый каталог выберите Управление каталогом, а затем — Продукты данных.

2. Выберите продукт данных, из которого требуется удалить ресурсы.

3. Если ресурсы, которые нужно удалить, находятся на первой странице, щелкните многоточие (...) на карта ресурса данных, а затем нажмите кнопку Удалить.

4. Если ресурсы не отображаются на главной странице продукта, выберите Просмотреть все ресурсы данных. Там можно выполнить поиск и фильтрацию ресурсов. Чтобы удалить их, нажмите кнопку с многоточием и нажмите кнопку Удалить.

   Примечание.

   Действие удаления недоступно, если в ресурсе данных выполняются правила качества данных или журнал выполнения не удалось. Для устранения этих проблем требуется роль администратора качества данных, прежде чем ресурс можно будет удалить.

Удаление ресурсов, удаленных из карты данных (предварительная версия)

При удалении ресурса данных в продукте данных на карте данных в продукте данных появится баннер с информацией об удалении ресурса. Однако ресурс по-прежнему отображается в продукте данных, пока вы не удалите его.

Откройте продукт данных и выберите Просмотреть все ресурсы данных , чтобы просмотреть список ресурсов. Ресурсы с символом предупреждения в строке удаляются из карты данных. Чтобы удалить удаленный ресурс из продукта данных, выберите многоточие (...) в строке, а затем нажмите кнопку Удалить.

Управление связанными ресурсами

Связывание терминов глоссария и OKR непосредственно с продуктами данных для улучшения понимания, применения политик и связывания продуктов данных с бизнес-целями.

При сопоставлении ресурсов в продукте данных с критическими элементами данных система автоматически добавляет критические элементы данных.

Добавление связанных ресурсов

1. На странице продукты данных выберите продукт данных, к которому нужно добавить термины или OKR.
2. В разделе Термины глоссария или OKR нажмите кнопку + рядом со списком этих элементов.
3. Найдите термины или OKR, используя ключевые слова, домен управления или фильтры, выбрав Фильтр.
4. Выберите любые термины или OKR, которые нужно добавить в продукт данных.
5. Нажмите кнопку Добавить.
6. Теперь вы можете увидеть термин или OKR в списке для продуктов данных.

Удаление связанных ресурсов

1. На странице продукты данных выберите продукт данных, из которого нужно удалить термины или OKR.
2. В разделе Термины глоссария или OKR найдите элемент, который нужно удалить, и нажмите кнопку с многоточием.
3. Нажмите кнопку Удалить.

Условия использования

1. На странице продукты данных выберите продукт данных, для которого вы хотите управлять условиями использования.
2. Выберите атрибут Условия использования в правой части страницы.
3. Чтобы добавить дополнительные условия использования, выполните следующие действия:
   1. Выберите + Добавить ссылку.
   2. Выберите конкретный ресурс данных для связывания использования (необязательно).
   3. Введите понятное имя для терминов.
   4. Введите ссылку на условия использования.
   5. Нажмите Создать.
   6. Нажмите кнопку Готово.
4. Чтобы удалить все условия использования, выполните следующие действия.
   1. Наведите указатель мыши на термин, который требуется удалить.
   2. Нажмите кнопку удалить корзину.
5. По завершении нажмите кнопку Готово.

Документация

1. На странице продукты данных выберите продукт данных, для которого требуется управлять документацией.
2. Выберите атрибут Документация в правой части страницы.
3. Чтобы добавить документацию, выполните приведенные ниже действия.
   1. Выберите Добавить ссылку.
   2. Выберите конкретный ресурс данных для связывания документации (необязательно).
   3. Укажите понятное имя документации.
   4. Укажите ссылку на документацию.
   5. Нажмите Создать.
   6. Нажмите кнопку Готово.
4. Чтобы удалить документацию, выполните указанные ниже действия.
   1. Наведите указатель мыши на документацию, которую вы хотите удалить.
   2. Нажмите кнопку Удалить корзину.
5. По завершении нажмите кнопку Готово.

Одобрение продукта данных

По мере того как размер Единый каталог увеличивается, потребителям данных важно понимать, каким данным они могут доверять. Потребители данных должны знать, соответствует ли продукт данных стандартам качества организации и может ли его считать надежным.

Владельцы продуктов данных теперь могут установить флаг "Одобрено" для своих продуктов данных, чтобы указать, что они сертифицировали свои продукты данных, и повысить уверенность в качестве своего продукта данных.

Для утверждения продукта данных требуются разрешения владельца продукта данных .

1. На странице продукта данных выберите Изменить.
2. Выберите Сведения.
3. Установите флажок Пометить как "Одобрено".
4. Выберите Сохранить.

Удаление продуктов данных

Тщательно планируйте перед удалением продукта данных, так как процесс требует нескольких шагов.

1. Сначала отмените публикацию продукта данных.

   1. Кроме того, удалите ссылки на все связанные бизнес-понятия и все ресурсы данных в продукте данных.
   2. Если в каких-либо ресурсах выполняются правила качества данных или журнал выполнения не удалось выполнить, удалите журнал качества данных.

2. Затем сообщите подписчикам продукта данных о предстоящем удалении и удалите запрос на доступ к продукту данных.

3. После завершения всех задач выберите Удалить на странице продукта данных, чтобы удалить продукт данных.

Дальнейшие действия

• Настройка доступа к продуктам данных
• Запрос доступа к продукту данных
• Сведения о терминах глоссария