Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
ПРИМЕНИМО К:
Фабрика данных Azure Azure Synapse Analytics
Совет
Data Factory в Microsoft Fabric — это следующее поколение Фабрика данных Azure с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.
Вы можете использовать Фабрика данных Azure управляемую виртуальную сеть для безопасного подключения источников данных к виртуальной сети, управляемой службой Фабрики данных. С помощью этой возможности можно установить частную и изолированную среду для процессов интеграции и оркестрации данных.
При использовании управляемой виртуальной сети вы объединяете возможности интеграции данных и оркестрации в Фабрике данных с безопасностью и гибкостью Azure виртуальных сетей. Он позволяет создавать надежные, масштабируемые и безопасные конвейеры интеграции данных, которые легко подключаются к сетевым ресурсам, независимо от того, будут ли они локальными или в облаке.
Одной из распространенных проблем управляемого вычисления является отсутствие видимости производительности и работоспособности, особенно в среде управляемой виртуальной сети. Без надлежащего мониторинга выявление и устранение проблем становится сложной задачей и может привести к потенциальным задержкам, ошибкам и снижению производительности.
Используя расширенный мониторинг в фабрике данных, вы можете получить ценные сведения о процессах интеграции данных. Эти аналитические сведения могут привести к повышению эффективности, улучшению использования ресурсов и повышению общей производительности. С помощью упреждающего мониторинга и своевременного оповещения можно устранить проблемы, оптимизировать рабочие процессы и обеспечить плавное выполнение конвейеров интеграции данных в среде управляемой виртуальной сети.
Новые метрики
Введение новых метрик улучшает возможности видимости и мониторинга в средах управляемой виртуальной сети.
Фабрика данных Azure предоставляет три различных типа пулов вычислений:
- Вычисление для действия копирования
- Вычисление для действия конвейера, например подстановки
- Вычисление для выполнения внешнего действия, такого как записная книжка Azure Databricks
Эти пулы вычислений обеспечивают гибкость и масштабируемость для удовлетворения различных рабочих нагрузок и оптимального выделения ресурсов. Каждый из них предназначен для обработки конкретных требований к выполнению действий.
Чтобы обеспечить согласованный и комплексный мониторинг во всех вычислительных пулах, мы реализовали одни и те же наборы метрик мониторинга:
- Использование емкости
- Процент доступной емкости
- Длина очереди ожидания
Независимо от типа используемого пула вычислений можно получить доступ и проанализировать стандартный набор метрик для получения аналитических сведений о производительности и работоспособности действий интеграции данных.
Примечание.
Эти метрики допустимы только при включении времени в реальном времени (TTL) в среде выполнения интеграции в управляемой виртуальной сети.
| Метрика | Единица измерения | Описание |
|---|---|---|
| Копирование использования мощности исполняющей среды интеграции MVNet | Процент | Максимальный процент использования единицы интеграции данных (DIU) для операций копирования TTL в среде выполнения интеграции управляемой виртуальной сети в пределах 1-минутного окна. |
| Копирование процента доступной емкости среды выполнения интеграции MVNet | Процент | Максимальный процент доступных операций DIU для действий копирования TTL в среде выполнения интеграции управляемой виртуальной сети в 1-минутном интервале. |
| Копирование длины очереди ожидания среды выполнения интеграции MVNet | Счетчик | Степень загруженности очереди ожидания операций копирования TTL в среде выполнения интеграции управляемой виртуальной сети за интервал в 1 минуту. |
| Использование емкости конвейера среды выполнения интеграции MVNet | Процент | Максимальный процент использования DIU для действий конвейера в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Процент доступной пропускной способности канала среды выполнения интеграции MVNet | Процент | Максимальный процент доступных единиц интеграции данных (DIU) для операций конвейера в среде выполнения интеграции в управляемой виртуальной сети в течение одной минуты. |
| Длина очереди ожидания конвейера среды выполнения интеграции MVNet | Счетчик | Длина очереди ожидания операций конвейера в интеграционной среде выполнения управляемой виртуальной сети в интервале в 1 минуту. |
| Использование внешней емкости среды выполнения интеграции MVNet | Процент | Максимальный процент использования DIU для внешних действий в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
| Процент внешней доступной мощности среды выполнения интеграции MVNet | Процент | Максимальный процент доступных DIU для внешних операций в среде выполнения интеграции управляемой виртуальной сети в течение 1-минутного окна. |
| Длина внешней очереди ожидания среды выполнения интеграции MVNet | Счетчик | Длина очереди ожидания внешних действий в среде выполнения интеграции управляемой виртуальной сети в течение 1 минуты. |
Дополнительные сведения об этих показателях см. в разделе Поддерживаемые метрики для Microsoft.DataFactory/factories.
Использование метрик для оптимизации производительности
Используя метрики, вы можете легко отслеживать производительность и надежность среды выполнения интеграции в управляемой виртуальной сети. Вы также можете выявить потенциальные области непрерывного улучшения, оптимизируя параметры вычислений и рабочий процесс для повышения эффективности.
Чтобы обеспечить более четкость практического применения этих метрик, ниже приведены некоторые примеры сценариев.
Сбалансированный
Если вы заметили, что загрузка емкости ниже 100 процентов, а процент доступной емкости высок, зарезервированные вычислительные ресурсы эффективно используются.
Если длина очереди ожидания остается постоянно низкой или возникают случайные короткие пики, мы советуем ставить в очередь другие задачи до тех пор, пока загрузка емкости не достигнет 100 процентов. Этот подход помогает обеспечить оптимальное использование ресурсов и помогает поддерживать рабочий процесс с минимальными задержками.
Ориентированное на производительность
Если вы отмечаете, что использование ресурсов постоянно низкое, а длина очереди ожидания остается постоянно низкой или возникают случайные короткие пики, это значит, что зарезервированные вычислительные ресурсы превышают потребность в активности.
В таких случаях независимо от того, является ли процент доступной емкости высоким или низким, рекомендуется сократить выделенные вычислительные ресурсы, чтобы снизить затраты. С помощью прав на вычисление в соответствии с требованиями к рабочей нагрузке можно оптимизировать использование ресурсов и сэкономить затраты без ущерба для эффективности операций.
Ориентированный на затраты
Если вы заметите, что все метрики (включая использование емкости, доступный процент емкости и длину очереди ожидания) высоки, вычислительные ресурсы, зарезервированные, скорее всего, недостаточно для ваших действий.
В этом сценарии рекомендуется увеличить выделенные вычислительные ресурсы, чтобы сократить время очереди. Добавление дополнительных вычислительных ресурсов помогает обеспечить эффективную работу ваших действий, что позволяет свести к минимуму задержки, вызванные переполненной очередью.
Прерывистое выполнение активности
Если вы заметите, что процент доступной мощности колеблется между низким и высоким в течение определенного периода времени, это, скорее всего, связано с периодическим выполнением ваших действий, где время жизни (TTL), которое вы настроили, короче интервала между действиями. Это может существенно повлиять на производительность рабочего процесса. Для решения этой проблемы существует два возможных решения. Во-первых, можно ставить в очередь больше действий, чтобы поддерживать согласованную рабочую нагрузку и использовать доступные вычислительные ресурсы более эффективно. Сохраняя непрерывное использование вычислительных ресурсов, вы можете избежать времени прогрева и повысить производительность. Кроме того, можно рассмотреть возможность увеличения периода TTL, чтобы он соответствовал интервалу между вашими операциями. Это гарантирует, что вычислительные ресурсы остаются доступными в течение длительного времени, уменьшая частоту разогрева и оптимизируя экономичность.
Реализуя одно из этих решений, вы можете повысить производительность рабочего процесса, свести к минимуму последствия затрат и обеспечить более плавное выполнение временных действий.
Связанный контент
Перейдите к следующей статье, чтобы узнать об управляемых виртуальных сетях и управляемых частных конечных точках: Фабрика данных Azure управляемой виртуальной сети.