Использование бессерверного пула SQL в Azure Synapse Analytics

Каждая рабочая область Azure Synapse Analytics поставляется с конечными точками бессерверного пула SQL, которые можно использовать для запроса данных в Azure Data Lake (Parquet, Delta Lake, форматов текста с разделителями), Azure Cosmos DB или Dataverse.

Бессерверный пул SQL — это служба для создания запросов к данным в озере данных. Она позволяет обращаться к данным с помощью следующих функциональных возможностей:

• знакомый синтаксис T-SQL для запрашивания данных на месте без копирования или загрузки в специальное хранилище; Дополнительные сведения см. в разделе Поддержка T-SQL.
• интегрированное подключение через интерфейс T-SQL, который содержит широкий спектр средств для бизнес-аналитики и ad-hoc-запросов, а также самые популярные драйверы. Дополнительные сведения см. в разделе Клиентские средства. Дополнительные сведения см. в видео с обзором бессерверных пулов SQL Synapse.

Бессерверный пул SQL — это распределенная система обработки данных, которая рассчитана на огромный масштаб данных и вычислительные функции. Бессерверный пул SQL позволяет проанализировать большие данные за несколько секунд или минут в зависимости от конкретной рабочей нагрузки. Благодаря встроенным механизмам отказоустойчивости при выполнении запросов система обеспечивает высокую надежность и успешное выполнение даже для длительных запросов по большим наборам данных.

Бессерверный пул SQL работает без сервера, то есть вам не нужно настраивать инфраструктуру или обслуживать кластеры. Конечная точка по умолчанию для этой службы предоставляется в каждой рабочей области Azure Synapse, поэтому вы можете отправлять запросы к данным сразу после создания рабочей области.

Плата за зарезервированные ресурсы не взимается. Плата взимается только за данные, обрабатываемые запросами, поэтому эта модель является истинной моделью оплаты за использование.

При использовании Apache Spark для Azure Synapse в конвейере данных вы можете обращаться к внешним созданным таблицам Spark непосредственно из бессерверного пула SQL, чтобы выполнить подготовку, очистку или обогащение данных. Используйте Приватный канал, чтобы перенести конечную точку бессерверного пула SQL в виртуальную сеть управляемой рабочей области.

Преимущества бессерверного пула SQL

Если вам нужно исследовать данные в озере данных, получить на их основе ценную информацию или оптимизировать существующий конвейер преобразования данных, вы можете с пользой применить бессерверный пул SQL. Эта служба полезна в следующих случаях:

• Простое обнаружение и исследование позволяет быстро принимать решения о том, как извлечь полезные сведения из данных в разных форматах (Parquet, CSV, JSON), сохраненных в озере данных, и планировать соответствующие действия.
• Логическое хранилище данных обеспечивает реляционную абстракцию для необработанных или разнородных данных, не требуя их перемещения и (или) преобразования, что позволяет постоянно сохранять актуальность представления данных. Дополнительные сведения о создании логического хранилища данных.
• Преобразование данных — это простой, масштабируемый и производительный способ преобразования данных в озере данных с использованием T-SQL, чтобы они могли быть переданы в средства бизнес-аналитики и другие инструменты или загружены в реляционные хранилища данных (базы данных SQL Synapse, Базу данных SQL Azure и т. д.).

Бессерверный пул SQL обеспечивает преимущества различным специалистам.

• Специалисты по инжинирингу данных могут с помощью этой службы исследовать озера данных, преобразовывать и подготавливать данные в них, а также упрощать конвейеры преобразования данных. Дополнительные сведения см. в этом руководстве.
• Дата-сайентисты могут быстро разобраться в содержимом и структуре данных в озере, благодаря таким функциям, как OPENROWSET и автоматическое определение схемы.
• Аналитики могут исследовать данные и внешние таблицы Spark, созданные специалистами по инжинирингу, обработке и анализу данных, используя знакомый им язык T-SQL или любые привычные инструменты, которые могут подключаться к бессерверному пулу SQL.
• Специалисты по бизнес-аналитике могут быстро создавать отчеты Power BI на основе данных в озере данных и таблицах Spark.

Начало работы с бессерверным пулом SQL

Конечная точка бессерверного пула SQL есть в каждой рабочей области Azure Synapse. Вы можете создать рабочую область и мгновенно запрашивать данные с помощью инструментов, с которыми вы знакомы.

Убедитесь, что вы применяете рекомендации , чтобы получить лучшую производительность.

Клиентские инструменты

Бессерверный пул SQL позволяет существующим средствам ad-hoc SQL-запросов и бизнес-аналитики использовать данные из озера данных. Благодаря поддержке знакомого синтаксиса T-SQL любое средство SQL, которое способно создавать TDS-подключения, может подключиться к Synapse SQL и выполнять запросы. Вы можете подключаться к Azure Data Studio, чтобы выполнять ad-hoc-запросы, или к Power BI, чтобы за считаные минуты получать ценные сведения.

Поддержка T-SQL

Бессерверный пул SQL предоставляет расширенную зону выполнения запросов T-SQL, которая улучшена по некоторым аспектам, чтобы поддерживать запросы частично структурированных и неструктурированных данных. Более того, некоторые аспекты языка T-SQL не поддерживаются из-за особенностей архитектуры бессерверного пула SQL (например, не поддерживаются функциональные возможности DML).

• Рабочую нагрузку можно упорядочить на основе знакомых понятий.
• Базы данных. Конечная точка бессерверного пула SQL может использовать несколько баз данных.
• Схемы. В базе данных может содержаться одна или несколько групп владения объектами, которые называются схемами.
• Представления, хранимые процедуры, встроенные функции табличных значений
• Внешние ресурсы. Сюда относятся источники данных, форматы файлов и таблицы.

Для обеспечения безопасности можно применить следующие средства:

• Имена входа и пользователи
• учетные данные для контроля доступа к учетным записям хранения;
• предоставление, запрет и отмена разрешений на уровне объектов.
• Интеграция с Microsoft Entra

Поддерживаемые элементы T-SQL.

• Поддерживается полная область охвата для операции SELECT, включая большинство функций SQL.
• CETAS (СОЗДАНИЕ ВНЕШНЕЙ ТАБЛИЦЫ КАК SELECT)
• Инструкции DDL, относящиеся только к представлениям и безопасности.

Бессерверный пул SQL не имеет локального хранилища и хранит в базах данных только объекты метаданных. Это означает, что не поддерживаются аспекты T-SQL, связанные со следующими понятиями:

• Таблицы
• Триггеры
• Материализованные представления
• инструкции DDL, кроме тех, которые связаны с представлениями и вопросами безопасности.
• Инструкции DML

Расширения

Чтобы обеспечить беспроблемное выполнение запросов "на месте" по данным, которые хранятся в файлах озера данных, существующая функция OPENROWSET в бессерверном пуле SQL дополнена следующими возможностями:

Запрашивание нескольких файлов или папок

Формат файлов запросов PARQUET

Формат запроса DELTA

Различные форматы текста с разделителями (признак конца поля, признак конца строки, escape-символ)

Аналитическое хранилище Azure Cosmos DB

Считывание выбранного подмножества столбцов

Вывод схемы

Функция имени файла

Функция filepath

Работа со сложными типами, а также вложенными и повторяющимися структурами данных

Безопасность

Бессерверный пул SQL предоставляет механизмы для защиты доступа к данным.

Интеграция Microsoft Entra и многофакторная проверка подлинности

Бессерверный пул SQL позволяет централизованно управлять удостоверениями пользователя базы данных и другими службы Майкрософт с интеграцией Microsoft Entra. Эта возможность упрощает управление разрешениями и повышает уровень безопасности. Идентификатор Microsoft Entra id поддерживает многофакторную проверку подлинности (MFA) для повышения безопасности данных и приложений при поддержке процесса единого входа.

Проверка подлинности

Проверкой подлинности в бессерверном пуле SQL именуется процесс подтверждения личности пользователя при подключении к конечной точке. Поддерживаются два типа проверки подлинности.

• Аутентификация SQL

  Это метод аутентификации с использованием имени пользователя и пароля.

• Проверка подлинности Microsoft Entra:

  Этот метод проверки подлинности использует удостоверения, управляемые Microsoft Entra ID. Для пользователей Microsoft Entra можно включить многофакторную проверку подлинности. По возможности используйте проверку подлинности Active Directory (встроенная безопасность).

Авторизация

Процесс проверки подлинности включает в себя набор действий, которые пользователь может выполнять в базе данных в бессерверном пуле SQL. Этот набор действий определяется принадлежностью учетной записи пользователя к ролям базы данных и наличием разрешений на уровне объектов.

Если используется проверка подлинности SQL, пользователь SQL существует только в бессерверном пуле SQL, а его разрешения действуют только для объектов бессерверного пула SQL. Невозможно напрямую предоставить пользователю SQL доступ к защищаемым объектам в других службах (например, в службе хранилища Azure), так как этот пользователь существует только в бессерверном пуле SQL. Пользователь SQL должен использовать для доступа к файлам один из поддерживаемых типов авторизации.

Если используется проверка подлинности Microsoft Entra, пользователь может войти в бессерверный пул SQL и другие службы, например служба хранилища Azure, и предоставить разрешения пользователю Microsoft Entra.

Доступ к учетным записям хранения

Пользователь, выполнивший вход в бессерверный пул SQL, должен иметь права на доступ и выполнение запросов к файлам в службе хранилища Azure. Бессерверный пул SQL поддерживает следующие типы авторизации:

• Маркер совместного доступа (SAS) предоставляет делегированный доступ к ресурсам в хранилище учетной записи. С помощью SAS можно предоставить клиентам доступ к ресурсам в учетной записи хранения, не предоставляя общий доступ к ключам учетной записи. SAS обеспечивает детализированный контроль над типом доступа, который вы предоставляете клиентам с SAS: период действия, предоставленные разрешения, допустимый диапазон IP-адресов, допустимый протокол (HTTPS или HTTP).

• Идентификация пользователя (также известная как «сквозная передача») — это тип авторизации, при котором идентичность пользователя Microsoft Entra, вошедшего в серверные ресурсы SQL без серверов, используется для предоставления доступа к данным. Перед доступом к данным администратор хранилища Azure должен предоставить пользователю Microsoft Entra разрешения для доступа к данным. Этот тип авторизации использует пользователя Microsoft Entra, вошедшего в бессерверный пул SQL, поэтому он не поддерживается для типов пользователей SQL.

• Удостоверение рабочей области — это тип авторизации, где идентификатор рабочей области Synapse используется для авторизации доступа к данным. Перед обращением к данным администратор службы хранилища Azure должен предоставить учетной записи рабочей области разрешения для доступа.

Доступ к Azure Cosmos DB

Для того чтобы получить доступ к аналитическому хранилищу Azure Cosmos DB, необходимо создать учетные данные уровня сервера или уровня базы данных с помощью ключа учетной записи Azure Cosmos DB, предназначенного только для чтения.

Следующие шаги

Дополнительные сведения о подключении к конечным точкам и запрашивании файлов см. в следующих статьях:

• Подключение к конечной точке
• Запрос по файлам