Управление личными данными в журналах Azure Monitor

Журналы Azure Monitor — это хранилище данных, в котором, вероятно, будут найдены персональные данные. В этой статье объясняется, где журналы Azure Monitor хранят персональные данные и как управлять данными.

Стратегия обработки персональных данных

Хотя вы и ваша компания должны определить стратегию обработки персональных данных, здесь перечислены несколько подходов, от наиболее предпочтительного к наименее предпочтительному с технической точки зрения.

• Отфильтровать, скрыть, анонимизировать или изменить собранные данные, чтобы исключить их из рассмотрения как "личные" с помощью преобразований сбора данных. Сейчас этот метод является наиболее предпочтительным, и он позволит вам обойтись без разработки дорогостоящей и влияющей на всю работу стратегии обработки данных.
• Нормализуйте данные, чтобы снизить негативное влияние на платформу данных и производительность. Например, вместо регистрации явного идентификатора пользователя создайте поиск, чтобы сопоставить имя пользователя и его данные с внутренним идентификатором, который затем можно зарегистрировать в другом месте. Таким образом, если пользователь попросит вас удалить его персональную информацию, вы сможете удалить только ту строку в таблице поиска, которая соответствует пользователю.
• Если вам нужно собрать персональные данные:
  • Используйте API удаления данных или API очистки и API запросов для экспорта и удаления персональных данных, связанных с пользователем.
  • Используйте правила сводки для удаления или скрытия персональных данных в новой таблице, которую можно предоставить более широко, и ограничить доступ к таблице с личными данными, управляя доступом на чтение на уровне таблицы.

Где искать персональные данные в журналах Azure Monitor

Журналы Azure Monitor назначают схему данных, но позволяют переопределять каждое поле с помощью пользовательских значений. Вы также можете импортировать пользовательские схемы. Таким образом, невозможно точно сказать, где личные данные существуют в конкретной рабочей области. Но следующие места — хорошие отправные точки в вашем инвентаре.

• IP-адреса. Log Analytics собирает разные сведения об IP-адресах в нескольких таблицах. Например, следующий запрос показывает все таблицы, в которых адреса IPv4 были собраны за последние 24 часа.

  search * 
  | where * matches regex @'\b((25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)(\.|$)){4}\b' //RegEx originally provided on https://stackoverflow.com/questions/5284147/validating-ipv4-addresses-with-regexp
  | summarize count() by $table
  

• Идентификаторы пользователей: вы можете найти имена пользователей и идентификаторы пользователей в различных решениях и таблицах. Найдите определенное имя пользователя или идентификатор пользователя во всем наборе данных с помощью команды поиска:

  search "<username or user ID>"
  

  Не забывайте искать не только читаемые имена пользователей, но и идентификаторы GUID, которые можно отнести к конкретным пользователям.

• Идентификаторы устройств. Как и идентификаторы пользователей, идентификаторы устройств иногда считаются персональными данными. Используйте подход, описанный для идентификаторов пользователей, чтобы определить таблицы, в которых хранятся персональные данные.

• Пользовательские данные: журналы Azure Monitor позволяют собирать пользовательские данные с помощью пользовательских журналов, настраиваемых полей, API приема журналов и в составе системных журналов событий. Проверьте все пользовательские данные на предмет наличия персональных данных.

• Данные, взятые из решения. Так как механизм решения является открытым, мы рекомендуем просмотреть все таблицы, сгенерированные решениями, чтобы обеспечить соответствие.

Экспорт, удаление или очистка персональных данных

Настоятельно рекомендуется переструктурировать политику сбора данных, чтобы прекратить сбор, фильтрацию, скрытие или анонимизацию персональных данных, а также изменять эти данные до тех пор, пока они больше не считаются личными с помощью преобразований сбора данных. При обработке персональных данных вы несете затраты на определение и автоматизацию стратегии, создание интерфейса, с помощью которого клиенты взаимодействуют с данными и постоянного обслуживания. Это также требует больших вычислительных ресурсов для Log Analytics и Application Insights, а большой объем одновременных запросов API на удаление данных или очистку может негативно повлиять на все другие взаимодействия с функциональностью Log Analytics. Но если вам нужно собирать персональные данные, следуйте рекомендациям, приведенным в этом разделе.

Просмотр и экспорт

Используйте API запросов Log Analytics для отправки для просмотра и экспорта запросов данных.

Вам нужно реализовать логику преобразования данных в подходящий формат для доставки вашим пользователям. Функции Azure отлично подходят для размещения такой логики.

Удалить

API удаления данных в журналах Azure Monitor позволяет выполнять асинхронные запросы для удаления данных для определенной таблицы в рабочей области Log Analytics. Используйте операцию удаления данных умеренно, чтобы избежать потенциальных рисков, влияния на производительность и возможности искажения всех процессов агрегаций, измерений и других аспектов данных Log Analytics. В разделе Стратегия обработки персональных данных представлены другие подходы к обработке персональных данных.

Если вам нужно соответствовать требованиям общего регламента по защите данных (GDPR), используйте API очистки, который меньше производительности и поддерживает только операции, необходимые для соответствия GDPR.

Чистка

API очистки Azure Monitor позволяет очищать персональные данные в соответствии с требованиями GDPR. API очистки меньше производительности, чем API удаления данных. Azure Monitor рекомендует использовать API удаления данных и разрешает только запросы на очистку, необходимые для соответствия GDPR.

Для управления системными ресурсами мы ограничиваем запросы на очистку до 50 запросов в час. Выполняйте запросы на удаление пакетно, отправляя единую команду, предикат которой включает все идентификаторы пользователей, требующих удаления. Используйте оператор in, чтобы указать несколько идентификаторов. Выполните запрос перед выполнением запроса на очистку, чтобы проверить ожидаемые результаты.

Требуемые разрешения

Очистка данных журнала

• API POST очистки рабочей области принимает объект, определяющий параметры данных для удаления, и возвращает ссылочный GUID.

• API POST получения состояния очистки возвращает заголовок x-ms-status-location, который включает URL-адрес, который вы можете вызвать, чтобы определить состояние операции очистки. Рассмотрим пример.

  x-ms-status-location: https://management.azure.com/subscriptions/[SubscriptionId]/resourceGroups/[ResourceGroupName]/providers/Microsoft.OperationalInsights/workspaces/[WorkspaceName]/operations/purge-[PurgeOperationId]?api-version=2015-03-20
  

Следующие шаги

• Дополнительные сведения о безопасности в Azure Monitor.
• Узнайте больше о том, как Application Insights собирает, обрабатывает и защищает данные.