Руководство. Улучшенный интерфейс экспорта — предварительная версия

В этом руководстве показано, как создавать автоматические экспорты с помощью улучшенных возможностей экспорта, которые можно включить из лабораторий управления затратами, нажав кнопку "Экспорт" (предварительная версия). Улучшенный интерфейс экспорта предназначен для оптимизации практики FinOps путем автоматизации экспорта других наборов данных, влияющих на затраты. Обновленные экспорты оптимизированы для обработки больших наборов данных, повышая взаимодействие с пользователем.

Просмотрите обновления Azure, чтобы узнать, когда эта функция станет общедоступной.

Улучшенная функциональность

Улучшенная функция экспорта поддерживает новые наборы данных, включая ценовые листы, рекомендации по резервированию, сведения о резервировании и транзакции резервирования. Кроме того, вы можете скачать сведения о затратах и использовании с помощью спецификации FinOps Open Cost and Usage Specification FOCUS с открытым исходным кодом. Она объединяет фактические и амортизированные затраты и сокращает время обработки данных и затраты на хранение и вычислительные ресурсы. Наборы данных FinOps часто являются большими и сложными для управления. Экспорт повышает управляемость файлов, уменьшает задержку загрузки и помогает сохранить расходы на хранение и сеть с помощью следующих функций:

• Секционирование файлов, которое разбивает файл на управляемые небольшие блоки.
• Перезапись файла, заменяющего файл предыдущего дня обновленным файлом каждый день в ежедневном экспорте.

Функция экспорта содержит обновленный пользовательский интерфейс, который позволяет легко создавать несколько экспортов для различных наборов данных управления затратами в хранилище Azure с помощью одного упрощенного интерфейса создания. Экспорт позволяет выбрать последнюю или любую из предыдущих версий схемы набора данных при создании нового экспорта. Поддержка нескольких версий гарантирует, что уровни обработки данных, созданные для существующих наборов данных, повторно используются при внедрении последних функциональных возможностей API. Вы можете выборочно экспортировать исторические данные, повторно выполнив существующее задание экспорта за исторический период. Таким образом, вам не нужно создавать новый одноразовый экспорт для определенного диапазона дат. Вы можете повысить безопасность и соответствие, настроив экспорт в учетные записи хранения за брандмауэром. Брандмауэр Azure Storage предоставляет контроль доступа для общедоступной конечной точки учетной записи хранилища.

Предварительные условия

Экспорт данных доступен для различных типов учетных записей Azure, включая Соглашение с предприятием (EA) и Клиентское соглашение Майкрософт (MCA). Полный список поддерживаемых типов учетных записей см. в статье Understand Cost Management data (Интерпретация данных службы "Управление затратами"). Для экспорта данных пользователем или группой поддерживаются следующие разрешения и перечни полномочий Azure для каждой подписки. Для получения дополнительной информации об областях см. Понимание и работа с областями.

• Владелец: может создавать, изменять или удалять запланированные операции экспорта для подписки.
• Участник: может создавать, изменять или удалять свои запланированные операции экспорта. Может изменять имена запланированных операций экспорта, созданных другими пользователями.
• Читатель - может планировать экспорт операций, для которых у него есть разрешение.
  • Для получения дополнительных сведений об областях, включая доступ, необходимый для настройки экспорта для областей действия соглашения Enterprise и клиентского соглашения Майкрософт, см. раздел Общие сведения об областях и работа с областями.

Для учетных записей хранения Azure:

• Чтобы изменить настроенную учетную запись хранения, требуются разрешения на запись, вне зависимости от разрешений на экспорт.

• Ваша учетная запись хранения Azure должна быть настроена для использования хранилища блобов или хранилища файлов.

• Не настраивайте экспорт в контейнер хранилища, настроенный в качестве назначения в правиле репликации объектов.

• Чтобы экспортировать в учетные записи хранения с правилами брандмауэра, вам потребуются дополнительные привилегии в учетной записи хранения. Эти привилегии требуются только во время создания или изменения экспорта:

• Роль владельца учетной записи хранилища или

  • Пользовательская роль , которая включает в себя:

    • Microsoft.Authorization/roleAssignments/write

    • Microsoft.Authorization/permissions/read

  При настройке брандмауэра убедитесь, что в учетной записи хранения включен доступ к доверенной службе Azure. Если вы хотите использовать REST API экспорта для записи в учетную запись хранилища, находящуюся за брандмауэром, используйте API версии 2023-08-01 или более поздней. Все новые версии API продолжают поддерживать экспорт за брандмауэрами.

  Управляемое удостоверение , назначаемое системой, создается для нового экспорта, если у пользователя есть Microsoft.Authorization/roleAssignments/write разрешения на учетную запись хранения. Эта настройка гарантирует, что экспорт будет продолжать работать, если вы включите брандмауэр в будущем. После создания или обновления экспорта пользователь больше не нуждается в роли владельца для обычных операций.

• Конфигурация учетной записи хранения должна иметь разрешенную область для операций копирования (предварительная версия) для любой учетной записи хранения.
  

Если у вас новая подписка, вы не сможете сразу начать использовать функции Управления затратами. Полная активация всех функций Управления затратами может потребовать до 48 часов.

Включите новый интерфейс экспорта из лабораторий управления затратами, выбрав "Экспорты" (предварительная версия). Дополнительные сведения о включении экспорта (предварительная версия) см. в разделе "Обзор предварительных версий функций". Предварительная версия функции развертывается постепенно.

Создание экспорта

Вы можете создать несколько экспортов различных типов данных, выполнив следующие действия.

Выберите область и перейдите к разделу "Экспорты"

1. Войдите на портал Azure по адресу https://portal.azure.com.
2. Выполните поиск по управлению затратами.
3. Выберите область выставления счетов.
4. В меню навигации слева выберите "Экспорт".

Создание нового экспорта

На странице "Экспорты" в верхней части страницы нажмите кнопку "+ Создать".

Выбор шаблона экспорта

1. На вкладке "Основные сведения" выберите шаблон, соответствующий вашему сценарию, и нажмите кнопку "Далее".
   Примечание. Шаблон упрощает создание экспорта путем предварительного выбора набора часто используемых наборов данных и их конфигураций.

   1. Всегда отображаются восемь наиболее распространенных шаблонов. Если вы не найдете подходящий шаблон, выберите "Показать больше ", чтобы просмотреть дополнительные параметры. Если ни один из этих шаблонов не соответствует вашим потребностям, можно выбрать команду "Создать собственный экспорт " для создания пользовательской комбинации.

2. После выбора шаблона вы увидите вкладку "Наборы данных" , где можно настроить имя экспорта, введя общий префикс экспорта, измените предварительно выбранную конфигурацию и добавьте или удалите экспорт из списка.

3. Вы можете изменить шаблон и отменить конфигурации экспорта, перейдя на вкладку "Основы " и выбрав новый шаблон.

При необходимости добавьте дополнительные экспорты

1. На вкладке "Наборы данных" можно добавить другой экспорт, нажав кнопку +Добавить экспорт.
2. Выберите тип данных, версию набора данных и введите имя экспорта. При необходимости можно ввести описание экспорта.
3. Для типа данных при выборе рекомендаций по резервированию выберите значения для других полей, которые отображаются:
   • Область резервирования
   • Тип ресурса
   • Период ретроспективного обзора
4. В зависимости от выбранного типа данных и частоты может потребоваться указать дополнительные поля для определения диапазона дат в формате UTC.
5. Нажмите кнопку "Добавить ", чтобы просмотреть экспорт, указанный на вкладке "Наборы данных".
6. При нажатии кнопки "Добавить новые экспорты" можно создавать до 10 экспортов.
7. Нажмите кнопку "Далее", когда вы будете готовы определить назначение.
   

Определите место назначения экспорта

1. На вкладке "Назначение" выберите тип хранилища. По умолчанию задано хранилище BLOB-объектов Azure.
2. Укажите подписку учетной записи хранения Azure. Выберите имеющуюся группу ресурсов или создайте новую.
3. Выберите имя учетной записи хранения или создайте новую.
4. Если вы создаете новую учетную запись хранения, выберите регион Azure.
5. Укажите контейнер хранилища и путь к каталогу для файла экспорта.
6. Выберите формат CSV или Parquet.
7. Выберите типсжатия как None, Gzip для формата CSV-файла или Snappy для формата файла parquet.
8. Секционирование файлов включено по умолчанию. Он разбивает большие файлы на небольшие и не может быть отключен.
9. Функция перезаписи данных включена по умолчанию. Для ежедневных экспортов она заменяет файл предыдущего дня обновленным файлом.
10. Нажмите кнопку "Далее ", чтобы перейти на вкладку "Рецензирование" и "Создать ".
    

Проверка и создание

Просмотрите конфигурацию экспорта и внесите необходимые изменения. По завершении нажмите кнопку "Проверить и создать ", чтобы завершить процесс.

Управление экспортами

Вы можете просматривать экспорты и управлять ими, перейдя на страницу "Экспорты", в которой отображается сводка сведений о каждом экспорте, в том числе:

• Тип данных
• Состояние расписания
• Версия данных
• Время последнего запуска
• Периодичность
• учетная запись хранилища
• Предполагаемая дата и время следующего выполнения

Вы можете выполнить следующие действия, выбрав многоточие (...) в правой части страницы или выбрав отдельный экспорт.

• Запустить сейчас — незапланированный экспорт ставится в очередь на выполнение в следующий доступный момент независимо от запланированного времени выполнения.

• Экспорт для выбранных дат — повторно запускается экспорт для диапазона исторических дат вместо создания нового одноразового экспорта. Вы можете извлечь исторические данные за 13 месяцев в трехмесячных блоках. Этот параметр недоступен для прейскурантов.

• Отключить — задание экспорта временно приостанавливается.

• Удалить — окончательно удаляет экспорт.

• Обновить — обновляется журнал выполнения.

  

Частота расписания

Все типы данных поддерживают различные параметры частоты расписания, как описано в следующей таблице.

Общие сведения о типах данных

Полный справочник по всем доступным наборам данных, включая схему для текущих и исторических версий, смотрите в индексе схемы набора данных управления затратами.

• Сведения о затратах и использовании (фактические) — выберите этот параметр, чтобы экспортировать стандартные расходы на использование и покупку.
• Сведения о затратах и использовании (амортизированных) — выберите этот параметр, чтобы экспортировать амортизированные затраты для таких покупок, как резервирования Azure и планы экономии Azure на вычисления.
• Сведения о затратах и использовании (FOCUS) — выберите этот параметр для экспорта сведений о затратах и использовании с открытым исходным кодом FinOps Open Cost and Usage (FOCUS). Он объединяет фактические и амортизированные затраты.
  • Этот формат сокращает время обработки данных и затраты на хранение и вычислительные ресурсы для экспорта.
  • Область группы управления не поддерживается для экспорта сведений о затратах и использовании (FOCUS).
  • Экспорт с форматированием FOCUS можно использовать в качестве входных данных для рабочей области Microsoft Fabric для FinOps. Дополнительные сведения см. в статье "Создание рабочей области Fabric для FinOps".
• Сведения о затратах и использовании (только для использования) — выберите этот параметр, чтобы экспортировать стандартные расходы на использование без сведений о покупке. Хотя этот параметр нельзя использовать при создании новых экспортов, существующие экспорты, использующие этот параметр, по-прежнему поддерживаются.
• Ценовая таблица. Выберите этот параметр для экспорта цен на скачивание вашей организации в Azure.
• Сведения о резервировании— выберите этот параметр, чтобы экспортировать текущий список всех доступных резервирований.
• Рекомендации по резервированию — выберите этот параметр, чтобы экспортировать список рекомендаций по резервированию, которые помогают с оптимизацией ставок.
• Транзакции резервирования— выберите этот параметр, чтобы экспортировать список всех покупок резервирования, обменов и возврата средств.

Типы соглашений, области и необходимые роли описаны в статье "Общие сведения и работа с областями".

Ограничения

Улучшенный интерфейс экспорта в настоящее время имеет следующие ограничения.

• Новый интерфейс экспорта не полностью поддерживает область группы управления и имеет ограничения функций.

• Внутренние учетные записи Azure и программа microsoft Online Service Program (MOSP), обычно называемые оплатой по мере использования, поддерживают только набор данных "Сведения о затратах и использовании (только использование)" для областей выставления счетов и подписок.

• Экспорт межарендного доступа на основе ключа службы совместного доступа (SAS) поддерживается только для партнеров Microsoft на уровне учетной записи выставления счетов. Он не поддерживается для других сценариев партнеров, таких как любая другая область, косвенный контракт EA или Azure Lighthouse.

• Ценовая таблица EA: цены на резервирование доступны только для текущего месячного ценового листа и не могут быть получены для исторического экспорта. Чтобы сохранить исторические цены на резервирование, настройте повторяющийся экспорт.

Вопросы и ответы

Почему секционирование файлов включено в экспорте?

Секционирование файлов — это функция, активируемая по умолчанию для упрощения управления большими файлами. Эта функция разделяет большие файлы на небольшие сегменты, что повышает удобство передачи файлов, скачивания, приема и общей удобочитаемости. Это выгодно для клиентов, чьи затратные файлы увеличиваются со временем. Особенности секций файлов описаны в файле manifest.json, предоставленном при каждом выполнении экспорта, что позволяет повторно присоединиться к исходному файлу.

Как расширенный интерфейс экспорта обрабатывает отсутствующие атрибуты, такие как идентификаторы подписок?

В новом интерфейсе экспорта отсутствующие атрибуты, такие как идентификаторы подписок, имеют значение NULL или пустые, а не используют пустой GUID по умолчанию (0000000-0000-0000-000000000000000000000). Значения NULL или пустые значения более точно указывают на отсутствие значения. Это влияет на начисления, относящиеся к неиспользуемым резервированиям, неиспользуемому плану сбережений и корректировке округления.

Сколько исторических данных можно получить с помощью экспорта?

Вы можете получить до 13 месяцев исторических данных через портал Azure для всех наборов данных, за исключением рекомендаций по резервированию, которые ограничены текущей версией рекомендаций. Для доступа к данным старше 13 месяцев можно использовать REST API.

• Затраты и использование (фактические), затраты и использование (амортизированные), а также затраты и использование (FOCUS): до семи лет данных.

• Операции по резервированию: до семи лет данных через все каналы.

• Рекомендации по резервированию, сведения о резервировании: до 13 месяцев данных.

• Все доступные цены:

  • MCA/MPA: до 13 месяцев.

  • EA: до 25 месяцев (начиная с декабря 2022 г.).

Какие наборы данных поддерживают формат и сжатие Parquet?

В следующей таблице перечислены поддерживаемые форматы и форматы сжатия для каждого экспортированного набора данных. Если вы создаете экспорт с несколькими наборами данных, параметры Parquet и сжатия будут отображаться в раскрывающемся списке только в том случае, если все выбранные наборы данных их поддерживают.

Почему при попытке создать экспорт возникает ошибка "Несанкционированный"?

При попытке создать экспорт в учетную запись хранения с брандмауэром, пользователь должен иметь роль владельца или пользовательскую роль с разрешениями Microsoft.Authorization/roleAssignments/write и Microsoft.Authorization/permissions/read. Если эти разрешения отсутствуют, возникает ошибка, аналогичная следующим:

{
	"error":{
	"code":"Unauthorized",
	"message":"The user does not have authorization to perform 'Microsoft.Authorization/roleAssignments/write' action on specified storage account, please use a storage account with sufficient permissions. If the permissions have changed recently then retry after some time."
	}
}

Вы можете проверить разрешения учетной записи хранения, выполнив действия, описанные в разделе "Проверка доступа для пользователя к одному ресурсу Azure".

Какое максимальное количество подписок разрешено в группе управления (MG) при создании экспорта?

Максимальное ограничение составляет 3000 подписок на группу управления в области "Управление затратами ", включая экспорт.

Для управления более чем 3000 подписок:

• Организуйте их в небольшие управляющие группы. Например, если у вас имеется в общей сложности 12500 подписок, создайте пять групп управления, в каждой из которых примерно 2500 подписок. Создайте отдельные экспорты для каждой области группы управления и объедините экспортированные данные для полного представления.

• Кроме того, если все подписки находятся под одной учетной записью выставления счетов, создайте экспорт в области учетной записи выставления счетов для получения объединенных данных.

Как экспортированные файлы организованы в папках Blob-хранилища?

Экспортированные файлы организованы в структурированной иерархии в папках хранилища. Именование и иерархия папок приведены следующим образом:

• StorageContainer/StorageDirectory/ExportName/[YYYYMMDD-YYYYMMDD]/[RunID]/

Этот путь содержит CSV-файлы и файл манифеста.

Например:

• StorageContainer/StorageDirectory/ExportName/[20240401-20240430]/[RunID1]/

Эта папка содержит CSV-файлы и файл манифеста для всех запусков экспорта за апрель 2024 года.

• StorageContainer/StorageDirectory/ExportName/[20241101-20241130]/[RunID2]/

Эта папка содержит CSV-файлы и файл манифеста для всех запусков экспорта за ноябрь 2024 г.

Azure гарантирует, что файл затрат в течение определенного месяца доступен в папке этого месяца. Например, [20240401-20240430][20241101-20241130] и т. д.

• Без перезаписи файла: в папке месяца отображается несколько идентификаторов RunID, представляющих различные запуски экспорта. Например, 30 разных идентификаторов RunID в течение 30 дней.

• При перезаписи файла: в папке месяца отображается лишь один RunID, который представляет собой последний запуск.

Во время создания экспорта можно присвоить имя StorageContainer, StorageDirectory и ExportName.

Следующие шаги

• Дополнительные сведения о экспорте см. в руководстве по созданию экспортированных данных и управлению ими.