Настройка потокового экспорта диагностической телеметрии — База данных SQL Azure & Управляемый экземпляр SQL Azure

Применимо к: База данных SQL Azure Управляемый экземпляр SQL Azure

В этой статье описываются метрики производительности и журналы ресурсов для базы данных SQL Azure, которые можно экспортировать в одно из нескольких назначений для анализа. В нем объясняется, как настроить экспорт потоковой передачи этой диагностической телеметрии с помощью портала Azure, PowerShell, Azure CLI, REST API и шаблонов Azure Resource Manager.

Вы также узнаете о пунктах назначения, в которые можно передавать данные диагностической телеметрии, и о том, как выбрать один из этих вариантов. Возможные места назначения:

• Аналитика журналов и SQL-аналитика
• Центры событий
• Хранилище Azure

Диагностическая телеметрия для экспорта

Вы можете экспортировать различные метрики производительности и дополнительные журналы базы данных. В следующей таблице описываются метрики производительности и журналы ресурсов, которые можно настроить для экспорта потоковой передачи в одно из нескольких назначений. Эту диагностическую телеметрию можно настроить для отдельных баз данных, эластичных пулов и баз данных в пуле, а также управляемых экземпляров SQL и их баз данных.

Места назначения для потокового экспорта

Эти диагностические данные телеметрии можно передавать в один из следующих ресурсов Azure для анализа.

• Рабочая область Log Analytics

  Данные, передаваемые в потоковом режиме в рабочую область Log Analytics, могут использоваться в SQL Analytics. Аналитика SQL — это облачное решение для мониторинга, которое обеспечивает интеллектуальный мониторинг баз данных, включая отчеты о производительности, оповещения и рекомендации по устранению рисков. Вы можете анализировать данные, передаваемые в потоковом режиме в рабочее пространство Log Analytics, вместе с другими собранными данными мониторинга. Этот параметр также позволяет использовать другие функции Azure Monitor, такие как оповещения и визуализации.

• Центры событий Azure.

  Данные, передаваемые в Центры событий Azure, обеспечивают следующие возможности:

  • Потоковая передача журналов в сторонние системы ведения журналов и телеметрии: потоковая передача всех метрик и журналов ресурсов в единый концентратор событий для передачи данных журнала сторонним средствам SIEM или log analytics.
  • Создайте пользовательскую платформу телеметрии и ведения журналов: Высокомасштабируемая архитектура обмена по модели «издатель — подписчик» в Центры событий Azure позволяет гибко принимать метрики и журналы ресурсов в пользовательскую платформу телеметрии. Дополнительные сведения см. в статье Центры событий Azure.
  • Проверка работоспособности службы путем потоковой передачи данных в Power BI. С помощью Центров событий, Stream Analytics и Power BI можно в близком к реальному времени преобразовать аналитическую информацию о службах Azure на основе диагностических данных. Сведения об этом решении см. в разделе Stream Analytics и Power BI: информационная панель анализа данных в реальном времени для потоковых данных.

• Служба хранилища Azure.

  Потоковая передача данных в службу хранилища Azure позволяет архивировать огромные объемы телеметрии по цене, значительно меньшей, чем у предыдущих двух вариантов потоковой передачи.

Вы можете использовать диагностическую телеметрию, передаваемую в один из этих пунктов назначения, для оценки использования ресурсов и статистики выполнения запросов, упрощая таким образом мониторинг производительности.

Включение и настройка потокового экспорта диагностических данных телеметрии

Вы можете включить ведение таких журналов метрик и диагностической телеметрии и управлять ими, используя один из следующих методов:

• Портал Azure
• PowerShell
• Azure CLI
• Azure Monitor REST API
• Шаблон Azure Resource Manager

Настройка потокового экспорта диагностических данных телеметрии

Используйте меню параметров диагностики на портале Azure, чтобы включить и настроить потоковую передачу диагностических данных телеметрии. Кроме того, для настройки потоковой передачи диагностических данных телеметрии можно использовать PowerShell, Azure CLI, REST API и шаблоны Resource Manager. Вы можете задать следующие места назначения для потоковой передачи диагностических данных телеметрии: служба хранилища Azure, Центры событий Azure и журналы Azure Monitor.

Перейдите на одну из приведенных ниже вкладок, чтобы ознакомиться с пошаговым руководством по настройке потокового экспорта диагностических данных телеметрии на портале Azure и сценариями, выполняющими те же действия с помощью PowerShell и Azure CLI.

Потоковая передача данных в SQL Analytics

Azure SQL Analytics может использовать метрики и журналы ресурсов База данных SQL Azure и Управляемый экземпляр SQL Azure, которые передаются в рабочее пространство Log Analytics. Аналитика Azure SQL — это облачное решение, которое отслеживает производительность отдельных баз данных, эластичных пулов и объединенных в пулы баз данных, а также управляемых экземпляров и баз данных экземпляров в большом масштабе и в рамках нескольких подписок. Он помогает собирать и визуализировать метрики производительности, а также использовать встроенную аналитику для устранения неполадок с производительностью.

Обзор установки

Отслеживайте коллекцию баз данных и коллекций баз данных с помощью Аналитики SQL Azure, выполнив следующие действия.

1. Создайте решение Azure SQL Analytics в Azure Marketplace.
2. Создайте рабочую область Log Analytics в решении.
3. Настройте базы данных для потоковой передачи диагностических данных телеметрии в рабочую область.

Потоковую передачу диагностических данных телеметрии можно настроить с помощью встроенного параметра Отправить в Log Analytics на вкладке "Параметры диагностики" на портале Azure. Вы также можете включить передачу данных в рабочую область Log Analytics с помощью параметров диагностики через командлеты PowerShell, Azure CLI, REST API службы Azure Monitor или шаблоны Azure Resource Manager.

Создать ресурс Azure SQL Analytics

1. Выполните поиск по запросу "Аналитика SQL Azure" в Azure Marketplace и выберите найденное решение.

   

2. Выберите Создать на экране обзора решения.

3. В форме "Аналитика SQL Azure" введите необходимые дополнительные сведения: имя рабочей области, подписку, группу ресурсов, расположение и ценовую категорию.

   

4. Нажмите ОК для подтверждения, а затем выберите Создать.

Настройка ресурса для записи метрик и журналов ресурсов

Необходимо отдельно настраивать потоковую передачу диагностической телеметрии для отдельных и пуловых баз данных, эластичных пулов, управляемых экземпляров и баз данных экземпляров. Самый простой способ настроить запись метрик ресурсов — воспользоваться порталом Azure. Подробные инструкции см. в статье Настройка потокового экспорта диагностических данных телеметрии.

Использование Аналитики SQL Azure для мониторинга и оповещения

Аналитику SQL можно использовать в качестве иерархической панели мониторинга для просмотра ресурсов баз данных.

• Чтобы узнать, как использовать Azure SQL Analytics, ознакомьтесь с разделом Мониторинг с помощью SQL Analytics.
• Сведения о настройке оповещений в аналитике SQL см. в статье "Создание оповещений для базы данных, эластичных пулов и управляемых экземпляров".

Потоковая передача в Центры событий

Вы можете выполнять потоковую передачу метрик и журналов ресурсов Базы данных SQL Azure и Управляемого экземпляра SQL Azure в центры событий, используя встроенный параметр Передать в концентратор событий на портале Azure. Вы также можете включить идентификатор правила служебной шины с помощью параметров диагностики с помощью командлетов PowerShell, Azure CLI или REST API Azure Monitor. Убедитесь, что концентратор событий находится в том же регионе, что и база данных и сервер.

Что делать с метриками и журналами ресурсов в Центрах событий

Выполнив потоковую передачу выбранных данных в Центры событий, вы становитесь на один шаг ближе к включению дополнительных сценариев мониторинга. Центры событий выступают в качестве "двери" для конвейера событий. После сбора данных в хранилище событий поставщик аналитики в реальном времени или адаптер для хранилища может преобразовать и сохранить их. Центры событий отделяют производство потока событий от потребления этих событий. Таким образом потребители событий могут получать доступ к событиям по собственному расписанию. Дополнительные сведения о Центрах событий см. в следующих статьях:

• О центрах событий Azure
• Начало работы с Event Hubs

Потоковые метрики в Центрах событий можно использовать для следующих целей:

• Проверка работоспособности службы путем потоковой передачи данных критического пути в Power BI

  С помощью Центров событий, Stream Analytics и Power BI можно в близком к реальному времени получать аналитическую информацию о службах Azure на основе метрик и диагностических данных. Описание того, как настроить центр событий, обрабатывать данные с помощью Stream Analytics и использовать Power BI в качестве выходного приемника, см. в статье Stream Analytics и Power BI.

• Передача логов в сторонние системы журналирования и телеметрии

  С помощью потоковой передачи через Event Hubs вы можете передавать метрики и журналы ресурсов в различные сторонние системы мониторинга и анализа журналов.

• Создание пользовательской платформы для телеметрии и ведения журнала

  У вас уже есть настраиваемая платформа телеметрии или вы планируете создать ее? Высокомасштабируемая архитектура публикации-подписки в Центрах событий позволяет гибко принимать метрики и журналы ресурсов. Дополнительные сведения см. в статье Центры событий Azure.

Потоковая передача в службу хранилища Azure

Метрики и журналы ресурсов можно хранить в службе хранилища Azure с помощью встроенного параметра Архивировать в учетной записи хранения на портале Azure. Службу хранилища также можно включить, воспользовавшись параметром диагностики с помощью командлетов PowerShell, Azure CLI или REST API Azure Monitor.

Схема метрик и журналов ресурсов в учетной записи хранения

После настройки сбора метрик и журналов ресурсов в выбранной учетной записи хранения создается контейнер хранилища, как только первые строки данных станут доступными. Структура блобов:

insights-{metrics|logs}-{category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/ RESOURCEGROUPS/{resource group name}/PROVIDERS/Microsoft.SQL/servers/{resource_server}/ databases/{database_name}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json

Или даже еще проще:

insights-{metrics|logs}-{category name}/resourceId=/{resource Id}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json

Например, имя BLOB-объекта для Basic Metrics может быть таким:

insights-metrics-minute/resourceId=/SUBSCRIPTIONS/a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1/RESOURCEGROUPS/TESTRESOURCEGROUP/PROVIDERS/MICROSOFT.SQL/ servers/Server1/databases/database1/y=2016/m=08/d=22/h=18/m=00/PT1H.json

Имя BLOB-объекта для хранения данных из эластичного пула выглядит следующим образом:

insights-{metrics|logs}-{category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/ RESOURCEGROUPS/{resource group name}/PROVIDERS/Microsoft.SQL/servers/{resource_server}/ elasticPools/{elastic_pool_name}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json

Политика хранения данных и цены

Если выбрать Центры событий или учетную запись хранения, можно указать политику хранения. Эта политика удаляет данные, которые хранятся дольше выбранного периода времени. При указании Log Analytics политика хранения определяется на основании выбранной ценовой категории. В этом случае предоставляемые бесплатные единицы приема данных позволяют выполнять бесплатный мониторинг нескольких баз данных каждый месяц. Любое потребление диагностических данных телеметрии в объеме свыше предоставляемых бесплатно единиц может повлечь за собой расходы.

Если вы используете Аналитику SQL Azure, вы можете отслеживать потребление данных, выбрав рабочую область OMS в меню навигации Аналитики SQL Azure, а затем выберите "Использование " и "Предполагаемые затраты".

Доступные метрики и журналы

В этом разделе описаны данные телеметрии мониторинга, доступные для отдельных баз данных, баз данных с пулами, эластичных пулов, управляемых экземпляров и баз данных экземпляров. Вы можете использовать собранные данные телеметрии мониторинга в SQL Analytics для собственного пользовательского анализа и разработки приложений с помощью языка запросов журналов Azure Monitor .

Базовые метрики

Сведения о базовых метриках по ресурсам доступны в приведенных ниже таблицах.

Базовые метрики для эластичных пулов

Базовые метрики для отдельных баз данных и баз данных в пуле

Расширенные метрики

Дополнительные сведения о расширенных метриках приведены в следующей таблице.

¹ Эта метрика доступна для баз данных, использующих модель покупки на основе vCore, с 2 vCore и более, или 200 DTU и более для моделей покупки на основе DTU.

² Эта метрика доступна для баз данных, использующих модель покупки на основе vCore, с 2 и более vCore, а для моделей покупки на основе DTU — с 200 и более DTU. Эта метрика в настоящее время недоступна для пулов SQL Synapse Analytics.

Базовые журналы

В следующих таблицах приведены сведения о телеметрии, доступные для всех журналов. Дополнительные сведения см. в разделе Поддерживаемые данные диагностической телеметрии.

Статистика использования ресурсов для управляемых экземпляров

Статистика времени выполнения хранилища запросов

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

² Чтобы преобразовать это значение в пригодную метку времени, см. раздел «Преобразовать время начала и окончания интервалов в значения времени, даты » позже в этой статье.

Дополнительные сведения см. в sys.query_store_runtime_stats.

Статистика времени ожидания хранилища запросов

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

² Чтобы преобразовать это значение в пригодную метку времени, см. раздел «Преобразовать время начала и окончания интервалов в значения времени, даты » позже в этой статье.

Дополнительные сведения см. в sys.query_store_wait_stats.

Набор данных ошибок

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

Дополнительные сведения см. в разделе "События и ошибки ядра СУБД".

Набор данных статистики времени ожидания базы данных

Дополнительные сведения о статистике ожидания базы данных см. в sys.dm_os_wait_stats.

Набор данных о тайм-аутах

¹ . Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, см. статью "Поиск сопоставленных запросов и планов запросов" в хранилище запросов далее в этой статье.

Набор данных блокировки

Набор данных о взаимных блокировках

Набор данных автоматической настройки

Набор данных Intelligent Insights

Дополнительные сведения см. в журнале диагностики производительности Intelligent Insights по вопросам производительности базы данных SQL Azure и управляемого экземпляра SQL Azure.

Примеры

А. Преобразуйте время начала и конца интервала в значения datetime

Следующее выражение Kusto преобразует столбцы interval_start_time_d и interval_end_time_d в наборах данных статистики выполнения запросов и статистики ожидания хранилища запросов из внутренних значений в значения datetime.

| extend interval_start_time_date = interval_start_time_d / 4294967296,
         interval_end_time_date = interval_end_time_d / 4294967296
| extend interval_start_time_time = interval_start_time_d - 4294967296 * interval_start_time_date,
         interval_end_time_time = interval_end_time_d - 4294967296 * interval_end_time_date
| project interval_start_date_time = datetime(1900-1-1) + time(1d) * interval_start_time_date + time(1s) * (interval_start_time_time / 300.0),
          interval_end_date_time = datetime(1900-1-1) + time(1d) * interval_end_time_date + time(1s) * (interval_end_time_time / 300.0)

В. Поиск соответствующих запросов и планов запросов в хранилище запросов

query_hash_s и query_plan_hash_s свойства отображаются как числовые значения в статистике выполнения и ожидания хранилища запросов, а также в данных о ошибках и таймаутах.

Чтобы найти соответствующие запросы и планы запросов в хранилище запросов, используйте следующее выражение T-SQL. Он преобразует числовые хэш-значения в двоичные хэш-значения, используемые в sys.query_store_query и sys.query_store_plan.

SELECT CAST(CAST(<hash_value> as BIGINT) AS BINARY(8));

Замените <hash_value> фактическим query_hash_s или query_plan_hash_s числовым значением.

Следующие шаги

Чтобы научиться включать ведение журнала и узнать, какие метрики и категории журналов поддерживаются различными службами Azure, ознакомьтесь со следующими статьями:

• Обзор метрик в Microsoft Azure
• Общие сведения о журналах платформы Azure

Дополнительные сведения о Центрах событий см. в статье:

• Что такое Центры событий Azure?
• Начало работы с Event Hubs

Сведения о настройке оповещений на основе телеметрии из log analytics см. в статье:

• Создание оповещений для Базы данных SQL Azure и Управляемого экземпляра SQL Azure