Настройка экспорта потоковой передачи диагностических данных телеметрии — База данных SQL Azure & Управляемый экземпляр SQL Azure

Применимо к: База данных SQL Azure Управляемый экземпляр SQL Azure

В этой статье описываются метрики производительности и журналы ресурсов для базы данных SQL Azure, которые можно экспортировать в одно из нескольких назначений для анализа. В нем объясняется, как настроить экспорт потоковой передачи этой диагностической телеметрии с помощью портала Azure, PowerShell, Azure CLI, REST API и шаблонов Azure Resource Manager.

Вы также узнаете о пунктах назначения, в которые можно передавать данные диагностической телеметрии, и о том, как выбрать один из этих вариантов. Возможные места назначения:

• Log Analytics и Аналитика SQL
• Центры событий
• Хранилище Azure

Диагностические данные телеметрии для экспорта

Вы можете экспортировать различные метрики производительности и дополнительные журналы базы данных. В следующей таблице описываются метрики производительности и журналы ресурсов, которые можно настроить для экспорта потоковой передачи в одно из нескольких назначений. Эту диагностическую телеметрию можно настроить для отдельных баз данных, эластичных пулов и баз данных в пуле, а также управляемых экземпляров SQL и их баз данных.

Места назначения для потокового экспорта

Эти диагностические данные телеметрии можно передавать в один из следующих ресурсов Azure для анализа.

• Рабочая область Log Analytics

  Аналитика SQL может использовать данные, переданные потоком в рабочую область Log Analytics. Аналитика SQL — это облачное решение для мониторинга, которое обеспечивает интеллектуальный мониторинг баз данных, включая отчеты о производительности, оповещения и рекомендации по устранению рисков. Вы можете анализировать данные, передаваемые в потоковом режиме в рабочее пространство Log Analytics, вместе с другими собранными данными мониторинга. Этот параметр также позволяет использовать другие функции Azure Monitor, такие как оповещения и визуализации.

• Центры событий Azure.

  Данные, потоковые в Центры событий Azure, предоставляют следующие функции:

  • Потоковая передача журналов в сторонние системы ведения журналов и телеметрии: потоковая передача всех метрик и журналов ресурсов в единый концентратор событий для передачи данных журнала сторонним средствам SIEM или log analytics.
  • Создание настраиваемой платформы управления телеметрией и ведением журнала. Высокая масштабируемость публикации и принцип подписки и публикации, применяемый в Центрах событий Azure, позволяют гибко принимать метрики и журналы ресурсов и передавать их в настраиваемую платформу управления телеметрией. Дополнительные сведения см. в статье Центры событий Azure.
  • Проверка работоспособности службы путем потоковой передачи данных в Power BI. С помощью Центров событий, Stream Analytics и Power BI можно в близком к реальному времени преобразовать аналитическую информацию о службах Azure на основе диагностических данных. Сведения об этом решении см. в разделе Stream Analytics и Power BI: информационная панель анализа данных в реальном времени для потоковых данных.

• Служба хранилища Azure.

  Потоковая передача данных в службу хранилища Azure позволяет архивировать огромные объемы телеметрии по цене, значительно меньшей, чем у предыдущих двух вариантов потоковой передачи.

Вы можете использовать диагностическую телеметрию, передаваемую в один из этих пунктов назначения, для оценки использования ресурсов и статистики выполнения запросов, упрощая таким образом мониторинг производительности.

Включение и настройка потокового экспорта диагностических данных телеметрии

Вы можете включить ведение таких журналов метрик и диагностической телеметрии и управлять ими, используя один из следующих методов:

• Портал Azure
• PowerShell
• Azure CLI
• REST API Azure Monitor
• Шаблон Azure Resource Manager

Настройка потокового экспорта диагностических данных телеметрии

Используйте меню параметров диагностики на портале Azure, чтобы включить и настроить потоковую передачу диагностических данных телеметрии. Кроме того, для настройки потоковой передачи диагностических данных телеметрии можно использовать PowerShell, Azure CLI, REST API и шаблоны Resource Manager. Вы можете задать следующие места назначения для потоковой передачи диагностических данных телеметрии: служба хранилища Azure, Центры событий Azure и журналы Azure Monitor.

Перейдите на одну из приведенных ниже вкладок, чтобы ознакомиться с пошаговым руководством по настройке потокового экспорта диагностических данных телеметрии на портале Azure и сценариями, выполняющими те же действия с помощью PowerShell и Azure CLI.

Потоковая передача данных в Аналитику SQL

Azure SQL Analytics может использовать метрики и журналы ресурсов Azure SQL Database и Azure SQL Managed Instance, которые передаются в рабочее пространство Log Analytics. Аналитика SQL Azure — это облачное решение, которое отслеживает производительность отдельных баз данных, эластичных пулов, управляемых экземпляров и баз данных экземпляра в нужном масштабе и в нескольких подписках. Он помогает собирать и визуализировать метрики производительности, а также использовать встроенную аналитику для устранения неполадок с производительностью.

Обзор установки

Отслеживайте коллекцию баз данных и коллекций баз данных с помощью Аналитики SQL Azure, выполнив следующие действия.

1. Создайте решение "Аналитика SQL Azure" из Azure Marketplace.
2. Создайте рабочую область Log Analytics в решении.
3. Настройте базы данных для потоковой передачи диагностических данных телеметрии в рабочую область.

Потоковую передачу диагностических данных телеметрии можно настроить с помощью встроенного параметра Отправить в Log Analytics на вкладке "Параметры диагностики" на портале Azure. Вы можете также включить потоковую передачу в рабочую область Log Analytics, используя параметры диагностики, с помощью командлетов PowerShell, Azure CLI, REST API Azure Monitor или шаблонов Resource Manager.

Создание ресурса Аналитика SQL Azure

1. Выполните поиск по запросу "Аналитика SQL Azure" в Azure Marketplace и выберите найденное решение.

   

2. Выберите Создать на экране обзора решения.

3. В форме "Аналитика SQL Azure" введите необходимые дополнительные сведения: имя рабочей области, подписку, группу ресурсов, расположение и ценовую категорию.

   

4. Нажмите ОК для подтверждения, а затем выберите Создать.

Настройка ресурса для записи метрик и журналов ресурсов

Необходимо отдельно настроить потоковую передачу диагностических данных телеметрии для отдельных баз данных, эластичных пулов, управляемых экземпляров и баз данных экземпляров. Самый простой способ настроить запись метрик ресурсов — воспользоваться порталом Azure. Подробные инструкции см. в статье Настройка потокового экспорта диагностических данных телеметрии.

Использование Аналитики SQL Azure для мониторинга и оповещения

Аналитику SQL можно использовать в качестве иерархической панели мониторинга для просмотра ресурсов баз данных.

• Чтобы узнать, как использовать Аналитику SQL Azure, ознакомьтесь с разделом Мониторинг базы данных SQL Azure с помощью решения "Аналитика SQL Azure" (предварительная версия).
• Сведения о настройке оповещений в аналитике SQL см. в статье "Создание оповещений для базы данных, эластичных пулов и управляемых экземпляров".

Потоковая передача в Центры событий

Вы можете выполнять потоковую передачу метрик и журналов ресурсов Базы данных SQL Azure и Управляемого экземпляра SQL Azure в центры событий, используя встроенный параметр Передать в концентратор событий на портале Azure. Вы также можете включить идентификатор правила служебной шины с помощью параметров диагностики с помощью командлетов PowerShell, Azure CLI или REST API Azure Monitor. Убедитесь, что концентратор событий находится в том же регионе, что и база данных и сервер.

Что делать с метриками и журналами ресурсов в Центрах событий

Выполнив потоковую передачу выбранных данных в Центры событий, вы становитесь на один шаг ближе к включению дополнительных сценариев мониторинга. Центры событий выступают в качестве "двери" для конвейера событий. После сбора данных в хранилище событий поставщик аналитики в реальном времени или адаптер для хранилища может преобразовать и сохранить их. Центры событий отделяют производство потока событий от потребления этих событий. Таким образом потребители событий могут получать доступ к событиям по собственному расписанию. Дополнительные сведения о Центрах событий см. в следующих статьях:

• О Центры событий Azure
• Начало работы с Центрами событий

Потоковые метрики в Центрах событий можно использовать для следующих целей:

• Проверка работоспособности службы путем потоковой передачи данных критического пути в Power BI

  С помощью Центров событий, Stream Analytics и Power BI можно в близком к реальному времени получать аналитическую информацию о службах Azure на основе метрик и диагностических данных. Обзор настройки концентраторов событий, обработки данных в Stream Analytics и вывода информации через Power BI см. в статье Stream Analytics и Power BI. Панель мониторинга для анализа потоковой передачи данных.

• Потоковая передача журналов в сторонние потоки ведения журналов и сбора телеметрии

  С помощью потоковой передачи Центров событий вы можете передать метрики и журналы ресурсов в различные решения мониторинга и решения для анализа журналов.

• Создание пользовательской платформы для телеметрии и ведения журнала

  У вас уже есть настраиваемая платформа телеметрии или вы планируете создать ее? В Центрах событий реализованы возможности масштабирования, публикации и подписки. Решение обеспечивает гибкие функции приема метрик и журналов ресурсов. Дополнительные сведения см. в статье Центры событий Azure.

Потоковая передача в службу хранилища Azure

Метрики и журналы ресурсов можно хранить в службе хранилища Azure с помощью встроенного параметра Архивировать в учетной записи хранения на портале Azure. Службу хранилища также можно включить, воспользовавшись параметром диагностики с помощью командлетов PowerShell, Azure CLI или REST API Azure Monitor.

Схема метрик и журналов ресурсов в учетной записи хранения

После настройки сбора метрик и журналов ресурсов в выбранной учетной записи хранения создается контейнер хранилища, как только первые строки данных станут доступными. Вот как выглядит структура большого двоичного объекта:

insights-{metrics|logs}-{category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/ RESOURCEGROUPS/{resource group name}/PROVIDERS/Microsoft.SQL/servers/{resource_server}/ databases/{database_name}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json

Или даже еще проще:

insights-{metrics|logs}-{category name}/resourceId=/{resource Id}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json

Например, большой двоичный объект для базовых метрик может иметь такое имя:

insights-metrics-minute/resourceId=/SUBSCRIPTIONS/a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1/RESOURCEGROUPS/TESTRESOURCEGROUP/PROVIDERS/MICROSOFT.SQL/ servers/Server1/databases/database1/y=2016/m=08/d=22/h=18/m=00/PT1H.json

Имя BLOB-объекта для хранения данных из эластичного пула выглядит следующим образом:

insights-{metrics|logs}-{category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/ RESOURCEGROUPS/{resource group name}/PROVIDERS/Microsoft.SQL/servers/{resource_server}/ elasticPools/{elastic_pool_name}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json

Политика хранения данных и цены

Если выбрать Центры событий или учетную запись хранения, можно указать политику хранения. Эта политика удаляет данные, которые хранятся дольше выбранного периода времени. При указании Log Analytics политика хранения определяется на основании выбранной ценовой категории. В этом случае предоставляемые бесплатные единицы приема данных позволяют выполнять бесплатный мониторинг нескольких баз данных каждый месяц. Любое потребление диагностических данных телеметрии в объеме свыше предоставляемых бесплатно единиц может повлечь за собой расходы.

Если вы используете Аналитику SQL Azure, вы можете отслеживать потребление данных, выбрав рабочую область OMS в меню навигации Аналитики SQL Azure, а затем выберите "Использование " и "Предполагаемые затраты".

Доступные метрики и журналы

В этом разделе описаны данные телеметрии мониторинга, доступные для отдельных баз данных, баз данных с пулами, эластичных пулов, управляемых экземпляров и баз данных экземпляров. Вы можете использовать собранные данные телеметрии мониторинга в SQL Analytics для собственного пользовательского анализа и разработки приложений с помощью языка запросов журналов Azure Monitor .

Базовые метрики

Сведения о базовых метриках по ресурсам доступны в приведенных ниже таблицах.

Базовые метрики для эластичных пулов

Базовые метрики для отдельных баз данных и баз данных в пуле

Расширенные метрики

Дополнительные сведения о расширенных метриках приведены в следующей таблице.

¹ Эта метрика доступна для баз данных, использующих модель приобретения на основе виртуальных ядер, с 2 или более виртуальных ядер, или для баз данных, использующих модели приобретения на основе DTU, с 200 и более DTU.

² Эта метрика доступна для баз данных, использующих модель приобретения на основе виртуальных ядер, с 2 или более виртуальных ядер, или для баз данных, использующих модели приобретения на основе DTU, с 200 и более DTU. Эта метрика в настоящее время недоступна для пулов SQL Synapse Analytics.

Базовые журналы

В следующих таблицах приведены сведения о телеметрии, доступные для всех журналов. Дополнительные сведения см. в разделе Данные телеметрии диагностики для экспорта.

Статистика использования ресурсов для управляемых экземпляров

Статистика среды выполнения хранилища запросов

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

² . Чтобы преобразовать это значение в используемую метку времени, см. раздел "Преобразование интервала начала и окончания в значения даты и времени " далее в этой статье.

Дополнительные сведения см. в sys.query_store_runtime_stats.

Статистика времени ожидания хранилища запросов

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

² . Чтобы преобразовать это значение в используемую метку времени, см. раздел "Преобразование интервала начала и окончания в значения даты и времени " далее в этой статье.

Дополнительные сведения см. в sys.query_store_wait_stats.

Набор данных ошибок

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

Дополнительные сведения см. в разделе "События и ошибки ядра СУБД".

Набор данных статистики времени ожидания базы данных

Дополнительные сведения о статистике ожидания базы данных см. в sys.dm_os_wait_stats.

Набор данных времени ожидания

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

Набор данных блокировки

Набор данных взаимоблокировки

Набор данных автоматической настройки

Набор данных Intelligent Insights

Дополнительные сведения см. в журнале диагностики производительности Intelligent Insights по вопросам производительности базы данных SQL Azure и управляемого экземпляра SQL Azure.

Примеры

А. Преобразуйте время начала и конца интервала в значения datetime

Следующее выражение Kusto преобразует столбцы interval_start_time_d и interval_end_time_d в наборах данных статистики выполнения запросов и статистики ожидания хранилища запросов из внутренних значений в значения datetime.

| extend interval_start_time_date = interval_start_time_d / 4294967296,
         interval_end_time_date = interval_end_time_d / 4294967296
| extend interval_start_time_time = interval_start_time_d - 4294967296 * interval_start_time_date,
         interval_end_time_time = interval_end_time_d - 4294967296 * interval_end_time_date
| project interval_start_date_time = datetime(1900-1-1) + time(1d) * interval_start_time_date + time(1s) * (interval_start_time_time / 300.0),
          interval_end_date_time = datetime(1900-1-1) + time(1d) * interval_end_time_date + time(1s) * (interval_end_time_time / 300.0)

В. Поиск соответствующих запросов и планов запросов в хранилище запросов

query_hash_s и query_plan_hash_s свойства отображаются как числовые значения в статистике выполнения и ожидания хранилища запросов, а также в данных о ошибках и таймаутах.

Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, используйте следующее выражение T-SQL. Он преобразует числовые хэш-значения в двоичные хэш-значения, используемые в sys.query_store_query и sys.query_store_plan.

SELECT CAST(CAST(<hash_value> as BIGINT) AS BINARY(8));

Замените <hash_value> фактическим query_hash_s или query_plan_hash_s числовым значением.

Следующие шаги

Чтобы научиться включать ведение журнала и узнать, какие метрики и категории журналов поддерживаются различными службами Azure, ознакомьтесь со следующими статьями:

• Обзор метрик в Microsoft Azure
• Общие сведения о журналах платформы Azure

Дополнительные сведения о Центрах событий см. в статье:

• Что такое Центры событий Azure?
• Начало работы с Центрами событий

Сведения о настройке оповещений на основе телеметрии из log analytics см. в статье:

• Анализ данных и создание оповещений