Поделиться через

Выделенный пул SQL (ранее называемый хранилищем данных SQL) в примечаниях к выпуску Azure Synapse Analytics

В этой статье приведены новые функции и улучшения в последних выпусках выделенного пула SQL (прежнее название — хранилище данных SQL) в Azure Synapse Analytics. В статье также перечислены важные обновления содержимого, которые не связаны напрямую с выпуском, но публикуются в одном и том же интервале времени. Дополнительные сведения о других службах Azure см. в разделе "Обновления службы".

Проверьте версию выделенного пула SQL (ранее — хранилища данных SQL)

Так как новые функции развертываются во всех регионах, проверьте, какая версия развернута в вашем экземпляре, а также изучите актуальные заметки о выпуске, чтобы узнать о доступности функции. Чтобы проверить версию, подключитесь к выделенному пулу SQL (ранее — хранилище данных SQL) через SQL Server Management Studio (SSMS) и запустите SELECT @@VERSION; , чтобы вернуть текущую версию. Используйте эту версию, чтобы подтвердить, какой выпуск был применен к выделенному пулу SQL (ранее — хранилище данных SQL). Дата в результатах выполнения определяет месяц выпуска, который применен к выделенному пулу SQL (ранее называвшемуся хранилище данных SQL). Это относится только к улучшениям уровня обслуживания.

Для улучшения инструментов убедитесь, что у вас установлена правильная версия, указанная в заметке о выпуске.

Замечание

Имя продукта, возвращаемое select @@VERSION, изменится с хранилища данных SQL Microsoft Azure на Microsoft Azure Synapse Analytics. Перед изменением мы отправим расширенное уведомление. Это изменение относится к клиентам, которые анализируют имя продукта из результата SELECT @@VERSION в коде приложения. Чтобы избежать изменений кода приложения из-за перебранки продукта, используйте эти команды для запроса SERVERPROPERTY для имени и версии базы данных: чтобы вернуть номер версии XX.X.XXXXX.X (без имени продукта) используйте следующую команду:

SELECT SERVERPROPERTY('ProductVersion')

--To return engine edition, use this command that returns 6 for Azure Synapse Analytics:

SELECT SERVERPROPERTY('EngineEdition')

Декабрь 2020 г.

Улучшения службы Сведения
Хранимая процедура sp_rename для столбцов (предварительная версия) Переименование столбца без CTAS стало проще. Azure Synapse SQL теперь поддерживает системную хранимую процедуру sp_rename (в предварительной версии) для переименования нераспределяемого столбца в пользовательской таблице. Эта функция в настоящее время доступна в предварительной версии и будет поддерживаться в инструментах в общедоступной версии. См. сведения о sp_rename.
Дополнительный параметр для прогноза T-SQL В этом новом выпуске для существующей инструкции T-SQL PREDICT добавляется обязательный дополнительный параметр с именем RUNTIME. Сведения об обновлении существующих скриптов см. в примерах в T-SQL PREDICT.

Октябрь 2020 г.

Улучшения службы Сведения
Встраиваемые функции T-SQL Table-Valued (предварительный просмотр) В этой версии теперь можно создавать встроенные табличные функции с помощью Transact-SQL и выполнять запросы к их результатам так же, как к таблице. Эта функция в настоящее время доступна в предварительной версии и будет поддерживаться в инструментах в общедоступной версии. Дополнительные сведения см. в статье CREATE FUNCTION (Azure Synapse Analytics).
Команда MERGE (предварительная версия) Теперь можно выполнять операции вставки, обновления или удаления целевой таблицы из результатов соединения с исходной таблицей. Например, можно синхронизировать две таблицы, вставляя, обновляя или удаляя строки в одной таблице на основе различий, обнаруженных в другой таблице. Дополнительные сведения см. в статье MERGE .

Авг 2020

Улучшения службы Сведения
Управление рабочей нагрузкой — интерфейс портала Пользователи могут настраивать параметры управления рабочей нагрузкой и управлять ими с помощью портала Azure. Возможность настройки групп рабочих нагрузок и классификаторов рабочей нагрузки с важностью возможна.
Улучшенное представление каталога сопоставлений таблиц Новое представление каталога sys.pdw_permanent_table_mappings сопоставляет object_ids таблиц постоянных пользователей с именами физических таблиц.

Июль 2020 г.

Улучшения службы Сведения
шифрованиеColumn-Level (общедоступная предварительная версия) Защита конфиденциальной информации в Azure Synapse Analytics путем применения симметричного шифрования к столбцу данных с помощью Transact-SQL. Шифрование на уровне столбцов имеет встроенные функции, которые можно использовать для шифрования данных с помощью симметричных ключей, которые дополнительно защищены сертификатом, паролем, симметричным ключом или асимметричным ключом. Дополнительные сведения см. в статье "Шифрование столбца данных". Эта функция теперь общедоступна.
Поддержка уровня совместимости (GA) В этом выпуске пользователи теперь могут задать уровень совместимости базы данных, чтобы получить поведение Transact-SQL языка и обработки запросов определенной версии ядра Synapse SQL. Дополнительные сведения см. в sys.database_scoped_configurations и Изменить конфигурацию базы данных с областью действия.
Безопасность на уровне строк Этот выпуск включает улучшение операций обновления и удаления строк, на которые применяется RLS. В этом выпуске операции обновления и удаления с встроенными функциями, такими как "is_rolemember", будут успешными, если встроенная функция не ссылается на какой-либо столбец в целевой таблице DML. До этого улучшения эти операции завершилися ошибкой из-за ограничений в базовых операциях DML.
DBCC SHRINKDATABASE (GA) Теперь можно уменьшить размер данных и файлов журналов в указанной базе данных. Дополнительные сведения см. в документации.

Май 2020 г.

Улучшения службы Сведения
Изоляция рабочей нагрузки (общедоступная версия) Изоляция рабочей нагрузки теперь общедоступна. С помощью групп рабочих нагрузок можно зарезервировать и содержать ресурсы. Возможна настройка времени ожидания для отмены неконтролируемых запросов.
Интерфейс портала управления рабочей нагрузкой (предварительная версия) Пользователи могут настраивать параметры управления рабочей нагрузкой и управлять ими с помощью портала Azure. Возможность настройки групп рабочих нагрузок и классификаторов рабочей нагрузки с важностью возможна.
Изменение группы рабочей нагрузки Теперь доступна возможность использования команды ALTER WORKLOAD GROUP . Используйте команду ALTER для изменения конфигурации существующей группы задач.
Автоматическое обнаружение схемы для файлов Parquet с помощью команды COPY (в предварительном режиме) Команда COPY теперь поддерживает автоматическое обнаружение схемы при загрузке файлов Parquet. Команда автоматически обнаружит схему файла Parquet и создаст таблицу до загрузки. Чтобы получить эту функцию, обратитесь к следующему списку рассылки электронной почты: [email protected]
Загрузка сложных типов данных Parquet с помощью команды COPY (предварительная версия) Теперь команда COPY поддерживает загрузку сложных типов Parquet. Сложные типы, такие как Карты и списки, можно загрузить в строковые столбцы. Чтобы получить эту функцию, обратитесь к следующему списку рассылки электронной почты: [email protected]
Автоматическое выявление сжатия файлов Parquet с помощью команды COPY Команда COPY теперь поддерживает автоматическое обнаружение метода сжатия для файлов Parquet. Чтобы получить эту функцию, обратитесь к следующему списку рассылки электронной почты: [email protected]
Дополнительные рекомендации по загрузке Теперь рекомендации по загрузке доступны для Synapse SQL. Получайте уведомления заранее, когда следует разделить файлы для максимальной пропускной способности, расположите учетную запись хранилища вместе с выделенным пулом SQL (ранее хранилище данных SQL) или увеличьте размер пакета при использовании утилит загрузки, таких как API SQLBulkCopy или BCP.
Обновляемый распределительный столбец T-SQL (GA) Теперь пользователи могут обновлять данные, хранящиеся в столбце распространения. Дополнительные сведения см. в руководстве по проектированию распределенных таблиц в выделенном пуле SQL (ранее — хранилище данных SQL ).
T-SQL Update/Delete from... Присоединение (GA) Теперь доступна возможность обновления и удаления на основе результатов объединения с другой таблицей. Дополнительные сведения см. в документации по обновлению и удалению .
T-SQL PREDICT (предварительная версия) Теперь можно прогнозировать модели машинного обучения в хранилище данных, избегая необходимости перемещения больших и сложных данных. Функция T-SQL PREDICT использует открытую платформу модели и принимает данные и модель машинного обучения в качестве входных данных для создания прогнозов. Дополнительные сведения см. в этой документации.

Апрель 2020 г.

Улучшения службы Сведения
Уровень совместимости базы данных (предварительная версия) В этом выпуске пользователи теперь могут задать уровень совместимости базы данных, чтобы получить поведение Transact-SQL языка и обработки запросов определенной версии ядра Synapse SQL. Дополнительные сведения см. в sys.database_scoped_configurations и Изменить конфигурацию базы данных с областью действия.
Sp_describe_undeclared_parameters Разрешить пользователям просматривать метаданные о необъявленных параметрах в пакете Transact-SQL. Дополнительные сведения см. в sp_describe_undeclared_parameters.




Улучшения инструментария Сведения
Visual Studio 16.6 (предварительная версия 5 ) — SQL Server Data Tools (SSDT) Этот выпуск включает следующие улучшения для SSDT:

— Обнаружение и классификация данных
— инструкция COPY
— таблицы с уникальными ограничениями
— Таблицы с упорядоченным кластеризованным индексом Columnstore

В этом выпуске содержатся следующие исправления для SSDT:

при изменении типа данных столбца распространения скрипт обновления, созданный SSDT, будет выполнять операцию CTAS и RENAME вместо удаления и повторного восстановления таблицы.

Март 2020 г.

Улучшения инструментария Сведения
Visual Studio 16.6 (предварительная версия 2 ) — SQL Server Data Tools (SSDT) Этот выпуск включает следующие улучшения и исправления для SSDT.

Устранена проблема, из-за которой изменение таблицы, на которую ссылается материализованное представление (MV), приводит к созданию инструкций Alter View, которые не поддерживаются для MV

— Реализовано изменение, чтобы убедиться, что операция сравнения схем не завершается ошибкой, если объекты безопасности типа Row-Level присутствуют в базе данных или в проекте. Объекты безопасности на уровне строк в настоящее время не поддерживаются для SSDT.

— пороговое значение времени ожидания обозревателя объектов SQL Server было увеличено, чтобы избежать времени ожидания при перечислении большого количества объектов в базе данных

— Оптимизирован способ получения списка объектов базы данных SQL Server для снижения нестабильности и повышения производительности при заполнении обозревателя объектов

Январь 2020 г.

Улучшения службы Сведения
Метрики портала управления рабочей нагрузкой (предварительная версия) После выпуска изоляции рабочей нагрузки для предварительного просмотра в октябре пользователи могут создавать свои собственные группы рабочих нагрузок для эффективного управления системными ресурсами и обеспечения соответствия бизнес-уровням обслуживания. В рамках общих улучшений управления рабочими нагрузками для Azure Synapse Analytics теперь доступны новые метрики мониторинга рабочей нагрузки .

Мониторинг рабочей нагрузки теперь предоставляет более глубокие аналитические сведения на основе следующих метрик:
— процент эффективного лимита ресурсов
— процент эффективного минимального ресурса
— активные запросы группы рабочей нагрузки
— распределение группы рабочей нагрузки по максимальному проценту ресурсов
— распределение группы рабочей нагрузки в системном проценте
— время ожидания запросов группы рабочей нагрузки
— запросы в очереди группы рабочей нагрузки

. Используйте эти метрики для выявления узких мест группы рабочей нагрузки или групп рабочей нагрузки, настроенных с недостаточной изоляцией рабочей нагрузки. Эти метрики можно использовать на портале Azure, который позволяет разделить по группам рабочей нагрузки. Фильтруйте и закрепляйте избранные графики на панели мониторинга для быстрого доступа к инсайтам.
Метрики мониторинга портала На портале были добавлены следующие метрики для мониторинга общего действия запроса:
— активные запросы


— запросы с очередью эти метрики описаны вместе с существующими метриками в документации по использованию ресурсов мониторинга и действиям запросов.

2019 октября

Улучшения службы Сведения
Копирование (предварительная версия) Мы рады объявить общедоступную предварительную версию простой и гибкой инструкции COPY для приема данных. С помощью только одной инструкции теперь можно легко получать данные с дополнительной гибкостью и без необходимости высокого уровня привилегий пользователей. Дополнительные сведения см. в документации по команде COPY.
Изоляция рабочей нагрузки (предварительная версия) Для поддержки клиентов по мере демократизации хранилищ данных мы объявляем о новых функциях интеллектуального управления рабочими нагрузками. Новая функция изоляции рабочей нагрузки позволяет управлять выполнением разнородных рабочих нагрузок, обеспечивая гибкость и контроль над ресурсами хранилища данных. Это приводит к повышению прогнозируемости выполнения и повышает способность удовлетворять предопределенные соглашения об уровне обслуживания.
Помимо изоляции рабочей нагрузки, дополнительные параметры теперь доступны для классификации рабочих нагрузок. Помимо классификации входа синтаксис классаификатора рабочей нагрузки предоставляет возможность классифицировать запросы на основе метки запроса, контекста сеанса и времени дня.
PREDICT (предварительная версия) Теперь вы можете оценить модели машинного обучения в хранилище данных, чтобы избежать необходимости перемещения больших и сложных данных. Функция T-SQL PREDICT использует открытую платформу модели и принимает данные и модель машинного обучения в качестве входных данных для создания прогнозов.
SSDT CI/CD (GA) Сегодня мы рады сообщить об общей доступности самой запрошенной функции для SQL Analytics – проектов базы данных SQL Server Data Tools (SSDT). Этот выпуск включает поддержку SSDT с Visual Studio 2019 вместе с собственной интеграцией платформы с Azure DevOps, предоставляя встроенные возможности непрерывной интеграции и развертывания (CI/CD) для развертываний корпоративного уровня.
Материализованное представление (GA) Материализованное представление сохраняет данные, возвращаемые из запроса определения представления, и автоматически обновляется в виде изменений данных в базовых таблицах. Это повышает производительность сложных запросов (как правило, запросов с соединениями и агрегатами) при предоставлении простых операций обслуживания. Дополнительные сведения см. в разделе "Настройка производительности с материализованными представлениями". Установите SQL Server Management Studio 18.4 или более поздней версии для создания материализованных представлений.
Динамическое маскирование данных (GA) Динамическое маскирование данных (DDM) предотвращает несанкционированный доступ к конфиденциальным данным в хранилище данных путем скрытия его в результатах запроса в соответствии с заданными правилами маскирования. Дополнительные сведения см. в статье "Динамическое маскирование данных базы данных SQL".
Изоляция моментальных снимков с фиксацией чтения (GA) С помощью ALTER DATABASE можно включить или отключить изоляцию моментальных снимков для пользовательской базы данных. Чтобы избежать влияния на текущую рабочую нагрузку, этот параметр может потребоваться задать во время периода обслуживания базы данных или ждать, пока нет другого активного подключения к базе данных. Дополнительные сведения см. в разделе "Изменение параметров набора баз данных".
Упорядоченный кластеризованный индекс хранилища столбцов (GA) Columnstore — это ключевой элемент для хранения и эффективного выполнения запросов на большие объемы данных. Упорядоченные кластеризованные индексы columnstore дополнительно оптимизируют выполнение запросов, позволяя эффективно устранять сегменты.   Дополнительные сведения см. в разделе "Настройка производительности с упорядоченным кластеризованным индексом columnstore".
Кэширование результирующих наборов (GA) Если кэширование результирующих наборов включено, результаты запроса автоматически кэшируются в пользовательской базе данных для повторяющегося использования. Это позволяет последующим выполнениям запросов получать результаты непосредственно из сохраненного кэша, поэтому повторное вычисление не требуется. Кэширование результирующего набора улучшает производительность запросов и сокращает использование ресурсов вычислений. Кроме того, запросы, использующие кэшированный набор результатов, не используют слоты параллелизма, поэтому не учитываются в существующих ограничениях параллелизма. Для безопасности пользователи могут получать доступ только к кэшируемым результатам, если у них есть те же разрешения на доступ к данным, что и пользователи, создающие кэшированные результаты. Дополнительные сведения см. в разделе "Настройка производительности с помощью кэширования результирующих наборов". Применяется к версии 10.0.10783.0 или более поздней.

Сентябрь 2019

Улучшения службы Сведения
Приватный канал Azure (предварительная версия) С помощью Azure Private Link вы можете создать частную конечную точку в виртуальной сети (VNet) и связать её с выделенным пулом SQL. Затем эти ресурсы доступны через частный IP-адрес в виртуальной сети, что позволяет подключаться из локальной среды через частный пиринг Azure ExpressRoute и (или) VPN-шлюз. В целом это упрощает настройку сети, так как не требует открывать её для общедоступных IP-адресов. Это также обеспечивает защиту от рисков кражи данных. Дополнительные сведения см. в обзоре и документации по аналитике SQL.
Обнаружение и классификация данных (GA) Функция обнаружения и классификации данных теперь общедоступна. Эта функция предоставляет расширенные возможности для обнаружения, классификации, маркировки и защиты конфиденциальных данных в базах данных.
Интеграция помощника по Azure с одним щелчком мыши Аналитика SQL в Azure Synapse теперь напрямую интегрируется с рекомендациями Azure Advisor на обзорной панели, а также предоставляет однокликовый опыт. Теперь вы можете обнаружить рекомендации в колонке обзора вместо перехода к колонке помощника по Azure. Дополнительные сведения о рекомендациях см. здесь.
Моментальная снимочная изоляция чтения (Предварительная версия) С помощью ALTER DATABASE можно включить или отключить изоляцию моментальных снимков для пользовательской базы данных. Чтобы избежать влияния на текущую рабочую нагрузку, этот параметр может потребоваться задать во время периода обслуживания базы данных или ждать, пока нет другого активного подключения к базе данных. Дополнительные сведения см. в разделе "Изменение параметров набора баз данных".
EXECUTE AS (Transact-SQL) ВЫПОЛНЕНИЕ КАК Теперь доступна поддержка T-SQL, позволяющая клиентам установить контекст выполнения сессии для указанного пользователя.
Дополнительная поддержка T-SQL Область языка T-SQL для Synapse SQL была расширена, чтобы включить поддержку:
- FORMAT (Transact-SQL)
- TRY_PARSE (Transact-SQL)
- TRY_CAST (Transact-SQL)
- TRY_CONVERT (Transact-SQL)
- sys.user_token (Transact-SQL)

Июль 2019 г.

Улучшения службы Сведения
Материализованное представление (предварительная версия) Материализованное представление сохраняет данные, возвращаемые из запроса определения представления, и автоматически обновляется в виде изменений данных в базовых таблицах. Это повышает производительность сложных запросов (как правило, запросов с соединениями и агрегатами) при предоставлении простых операций обслуживания. Дополнительные сведения см.
- в статье CREATE MATERIALIZED VIEW AS SELECT (Transact-SQL)
- ALTER MATERIALIZED VIEW (Transact-SQL)
- Инструкции T-SQL, поддерживаемые в Synapse SQL
Дополнительная поддержка T-SQL Область поверхности языка T-SQL для Synapse SQL была расширена, чтобы включить поддержку:
- AT TIME ZONE (Transact-SQL)
- STRING_AGG (Transact-SQL)
Кэширование результирующих наборов (предварительная версия) Команды DBCC добавлены для управления ранее объявленным кэшем результатов. Дополнительные сведения см. в
- DBCC SHOWRESULTCACHESPACEUSED (Transact-SQL)
- Также см.
новый столбец кэша набора результатов в
, который показывает, когда выполненный запрос использовал кэш набора результатов.
Упорядоченный кластеризованный индекс columnstore (предварительная версия) Новый столбец, column_store_order_ordinal, добавленный в sys.index_columns для определения порядка столбцов в упорядоченном кластеризованном индексе columnstore.

Май 2019 г.

Улучшения службы Сведения
Динамическое маскирование данных (предварительная версия) Динамическое маскирование данных (DDM) предотвращает несанкционированный доступ к конфиденциальным данным в хранилище данных путем скрытия его в результатах запроса в соответствии с заданными правилами маскирования. Дополнительные сведения см. в статье "Динамическое маскирование данных базы данных SQL".
Важность рабочей нагрузки теперь общедоступна Классификация и важность управления рабочими нагрузками обеспечивают возможность влиять на порядок выполнения запросов. Дополнительные сведения о важности рабочей нагрузки см. в статьях о классификации и важности в документации. Ознакомьтесь с документацией CREATE WORKLOAD CLASSIFIER .

Сведения о важности рабочей нагрузки см. в следующих видео:
- Основные понятия управления рабочими нагрузками
- Сценарии управления рабочими нагрузками
Дополнительная поддержка T-SQL Область поверхности языка T-SQL для Synapse SQL была расширена, чтобы включить поддержку:
- TRIM
Функции JSON Бизнес-аналитики теперь могут использовать знакомый язык T-SQL для запроса и управления документами, отформатированными как данные JSON с помощью следующих новых функций JSON:
- ISJSON
-
-
-
-
Кэширование результирующих наборов (предварительная версия) Кэширование результирующих наборов позволяет мгновенно получать ответы на запросы, сокращая время на анализ бизнес-аналитиков и пользователей отчетов. Дополнительные сведения см. в разделе:
- ALTER DATABASE (Transact-SQL)
- ALTER DATABASE SET Options (Transact SQL)
- SET RESULT SET CACHING (Transact-SQL)
- SET Statement (Transact-SQL)
- sys.databases (Transact-SQL)
Упорядоченный кластеризованный индекс columnstore (предварительная версия) Columnstore — это ключевой элемент для хранения и эффективного выполнения запросов на большие объемы данных. Для каждой таблицы он делит входящие данные на группы строк, а каждый столбец группы строк формирует сегмент на диске. Упорядоченные кластеризованные индексы columnstore дополнительно оптимизируют выполнение запросов, позволяя эффективно устранять сегменты.   Дополнительные сведения см. в разделе:
- CREATE TABLE
- CREATE COLUMNSTORE INDEX (Transact-SQL).

Март 2019 г.

Улучшения службы Сведения
Обнаружение данных и классификация Обнаружение данных и классификация теперь доступна в общедоступной предварительной версии для Synapse SQL. Важно защитить конфиденциальные данные и конфиденциальность ваших клиентов. По мере роста активов данных вашего бизнеса и клиентов, управление ими становится всё более сложным для обнаружения, классификации и защиты данных. Функция обнаружения и классификации данных, которую мы встроенно представляем с помощью Synapse SQL, помогает упростить управление защитой ваших данных. Общие преимущества этой возможности:
• Соответствие стандартам конфиденциальности данных и нормативным требованиям.
• Ограничение доступа к хранилищам данных, содержащим высокочувствительные данные, и обеспечение их безопасности.
• Мониторинг и оповещение об аномальном доступе к конфиденциальным данным.
• Визуализация конфиденциальных данных на центральной панели мониторинга на портале Azure.

Обнаружение и классификация данных доступна во всех регионах Azure, она входит в состав расширенной системы безопасности данных, включая оценку уязвимостей и обнаружение угроз. Дополнительные сведения об обнаружении и классификации данных см. в записи блога и нашей онлайн-документации.
СГРУППИРОВАТЬ ПО СВЕРТКИ ROLLUP теперь является поддерживаемым параметром GROUP BY. GROUP BY ROLLUP создает группу для каждого сочетания выражений столбцов. GROUP BY также "свертит" результаты в промежуточные итоги и общие итоги. Функция GROUP BY обрабатывается справа налево, уменьшая количество выражений столбцов, для которых она создает группы и агрегации. Порядок столбцов влияет на выходные данные ROLLUP и может повлиять на количество строк в результирующем наборе.

Дополнительные сведения о GROUP BY ROLLUP см. в разделе GROUP BY (Transact-SQL)
Улучшенная точность метрик использования DWU и портальных метрик ЦПУ Synapse SQL значительно повышает точность метрик на портале Azure. В этом выпуске содержится исправление определения используемой метрики для процессора и DWU, что позволяет корректно отразить вашу рабочую нагрузку на всех вычислительных узлах. До этого исправления значения метрик были занижены в отчетах. Ожидается увеличение использования DWU и метрик ЦП на портале Azure.
Безопасность на уровне строк Мы представили возможности безопасности на уровне строк еще в ноябре 2017 года. Теперь мы расширили эту поддержку для внешних таблиц. Кроме того, мы добавили поддержку вызова недетерминированных функций в встроенных табличных функциях (встроенных TVFs), необходимых для определения предиката фильтра безопасности. Это дополнение позволяет указать IS_ROLEMEMBER(), USER_NAME() и т. д. в предикате фильтра безопасности. Дополнительные сведения см. в примерах, приведенных в документации по безопасности на уровне строк.
Дополнительная поддержка T-SQL Область поверхности языка T-SQL для Synapse SQL была расширена, чтобы включить поддержку STRING_SPLIT (Transact-SQL).
Усовершенствования оптимизатора запросов Оптимизация запросов является критически важным компонентом любой базы данных. Выбор наилучшего способа выполнения запроса может привести к значительным улучшениям. При выполнении сложных аналитических запросов в распределенной среде количество выполняемых операций имеет значение. Производительность запросов была улучшена путем создания более качественных планов. Эти планы минимизирует дорогостоящие операции передачи данных и избыточные вычисления, например повторяющиеся вложенные запросы. Дополнительные сведения см. в этой записи блога Azure Synapse.

Улучшения документации

Улучшения документации Сведения

январь 2019 г.

Улучшения службы

Улучшения службы Сведения
Порядок возврата по оптимизации Запросы SELECT...ORDER BY в этом выпуске имеют улучшенную производительность. Теперь все вычислительные узлы отправляют результаты на один вычислительный узел. Этот узел объединяет и сортирует результаты и возвращает их пользователю. Слияние с одним вычислительным узлом приводит к значительному повышению производительности, если результирующий набор запросов содержит большое количество строк. Ранее подсистема выполнения запросов упорядочила результаты на каждом вычислительном узле. Результаты будут передаваться в узел управления. Затем узел управления объединит результаты.
Улучшения перемещения данных для PartitionMove и BroadcastMove Шаги перемещения данных типа ShuffleMove используют методы мгновенного перемещения данных. Дополнительные сведения см. в блоге по улучшению производительности. В этом выпуске PartitionMove и BroadcastMove теперь используются те же методы мгновенного перемещения данных. Запросы пользователей, использующие эти типы шагов перемещения данных, будут выполняться с улучшенной производительностью. Для использования этих улучшений производительности не требуется никаких изменений кода.
Заметные ошибки Неправильная версия Azure Synapse— SELECT @@VERSION может вернуть неправильную версию 10.0.9999.0. Правильная версия текущего выпуска — 10.0.10106.0. Эта ошибка была сообщена и находится на рассмотрении.

Улучшения документации

Улучшения документации Сведения
никакой

Декабрь 2018 г.

Улучшения службы

Улучшения службы Сведения
Общедоступные конечные точки службы виртуальной сети Этот выпуск включает общую доступность конечных точек службы виртуальной сети (VNet) для SQL Analytics в Azure Synapse во всех регионах Azure. Конечные точки службы виртуальной сети позволяют изолировать подключение к серверу из заданной подсети или набора подсетей в виртуальной сети. Трафик в Azure Synapse из виртуальной сети всегда остается в магистральной сети Azure. Этот прямой маршрут будет предпочтителен для всех определенных маршрутов, которые принимают интернет-трафик через виртуальные устройства или локальные. Плата за доступ к виртуальной сети через конечные точки службы не взимается. Текущая модель ценообразования для Azure Synapse применяется так же.

В этом выпуске мы также включили подключение PolyBase к Azure Data Lake Storage Gen2 (ADLS) через драйвер Azure Blob File System (ABFS). Azure Data Lake Storage 2-го поколения приносит все качества, необходимые для полного жизненного цикла аналитических данных в службу хранилища Azure. Функции двух существующих служб хранилища Azure, хранилища BLOB-объектов Azure и Azure Data Lake Storage первого поколения, объединены. Функции Azure Data Lake Storage Gen1, такие как семантика файловой системы, безопасность на уровне файлов и масштабируемость, объединяются с низкими затратами, многоуровневым хранилищем и возможностями высокой доступности/аварийного восстановления из Azure Blob Storage.

С помощью Polybase можно также импортировать данные в SQL Analytics в Azure Synapse из Azure Storage, защищенного в виртуальной сети (VNet). Аналогичным образом, экспорт данных из Azure Synapse в Azure Storage, защищенное виртуальной сетью, также поддерживается с помощью Polybase.

Дополнительные сведения о конечных точках службы виртуальной сети в Azure Synapse см. в записи блога или документации.
Автоматический мониторинг производительности (предварительная версия) Хранилище запросов теперь доступно в предварительной версии в Аналитике SQL в Azure Synapse. Хранилище запросов предназначено для устранения неполадок с производительностью запросов, отслеживая запросы, планы запросов, статистику среды выполнения и журнал запросов, помогая отслеживать активность и производительность хранилища данных. Хранилище запросов — это набор внутренних хранилищ и динамических административных представлений (DMV), которые позволяют:

• Определение и настройка наиболее потребляющих ресурсов запросов
• Определение и улучшение незапланированных рабочих нагрузок
• Оцените производительность запросов и влияние на план, изменив статистику, индексы или размер системы (параметр DWU)
• Полный текст запроса для всех выполненных запросов

Хранилище запросов содержит три фактических хранилища:
• Хранилище планов для сохранения сведений о плане выполнения
• Хранилище статистики среды выполнения для сохранения сведений о статистике выполнения
• Хранилище статистики ожидания для сохранения сведений о статистике ожидания.

Аналитика SQL в Azure Synapse управляет этими хранилищами автоматически и предоставляет неограниченное количество запросов за последние семь дней без дополнительной платы. Включить хранилище запросов можно, просто выполнив команду ALTER DATABASE T-SQL.
SQL ----ALTER DATABASE [DatabaseName] SET QUERY_STORE = ON;-------Для получения дополнительной информации о хранилище запросов, см. статью мониторинг производительности с помощью хранилища запросов и динамические административные представления хранилища запросов, такие как sys.query_store_query. Дополнительные сведения об анализе исторических запросов см. в разделе "Хранилище и анализ исторических запросов" в Azure Synapse Analytics.
Более низкие уровни вычислений для аналитики SQL Аналитика SQL в Azure Synapse теперь поддерживает более низкие уровни вычислений. Клиенты могут использовать ведущие функции производительности, гибкости и безопасности Azure Synapse, начиная с 100 единиц cDWU (единицы хранилища данных) и масштабировать до 30 000 cDWU в минутах. Начиная с середины декабря 2018 года клиенты могут воспользоваться производительностью 2-го поколения и гибкостью с более низкими уровнями вычислений в регионах, а остальные регионы доступны в течение 2019 года.

Удаляя точку входа для хранения данных следующего поколения, корпорация Майкрософт открывает двери для ценных клиентов, которые хотят оценить все преимущества безопасного, высокопроизводительного хранилища данных, не догадываясь, какая пробная среда лучше всего подходит для них. Клиенты теперь могут начинать с 100 cDWU, что ниже текущей точки входа в 500 cDWU. Аналитика SQL продолжает поддерживать приостановку и возобновление операций и выходит за рамки просто гибкости вычислений. Gen2 поддерживает неограниченную емкость хранилища столбцов, а также в 2,5 раза больше памяти для каждого запроса, до 128 одновременных запросов и функций адаптивного кэширования. Эти функции в среднем приносят пять раз больше производительности по сравнению с той же единицей хранилища данных в 1-м поколения по той же цене. Геоизбыточные резервные копии являются стандартными для 2-го поколения с встроенной гарантированной защитой данных. Аналитика SQL в Azure Synapse готова к масштабированию, когда это необходимо.
Фоновое слияние columnstore По умолчанию Azure SQL Data хранит данные в колончатом формате с микрочастями, которые называются группами строк. Иногда из-за ограничений памяти при сборке индекса или времени загрузки данных группы строк могут быть сжаты меньше, чем оптимальный размер одной миллион строк. Фрагментация групп строк также может возникать из-за удалений. Небольшие или фрагментированные группы строк приводят к повышению потребления памяти, а также неэффективному выполнению запросов. В этом выпуске задача фонового обслуживания columnstore объединяет небольшие сжатые группы строк для создания больших групп строк, чтобы лучше использовать память и ускорить выполнение запросов.

Октябрь 2018 г.

Улучшения службы

Улучшения службы Сведения
DevOps для хранилищ данных Востребованная функция для Synapse SQL в Azure Synapse теперь доступна в предварительном просмотре с поддержкой инструмента работы с данными SQL Server (SSDT) в Visual Studio! Команды разработчиков теперь могут совместно работать над одной управляемой версией базы кода и быстро развертывать изменения в любом экземпляре в мире. Заинтересованы в присоединении? Эта функция доступна для предварительной версии сегодня! Вы можете зарегистрироваться, перейдя на форму регистрации Visual Studio SQL Server Data Tools (SSDT) - Preview Enrollment. Учитывая высокий спрос, мы управляем доступом к предварительной версии, чтобы обеспечить лучший опыт для наших клиентов. После регистрации нашей целью является подтвердить ваш статус в течение семи рабочих дней.
Общедоступная безопасность на уровне строк Synapse SQL в Azure Synapse теперь поддерживает безопасность на уровне строк (RLS), добавив мощные возможности для защиты конфиденциальных данных. С помощью внедрения RLS вы можете реализовать политики безопасности для управления доступом к строкам в таблицах, как и в том, кто может получить доступ к каким строкам. RLS позволяет обеспечить более точное управление доступом без необходимости перепроектировать хранилище данных. RLS упрощает общую модель безопасности, так как логика ограничения доступа находится на самом уровне базы данных, а не от данных в другом приложении. RLS также устраняет необходимость ввести представления для фильтрации строк для управления доступом. Дополнительные затраты на эту функцию безопасности корпоративного уровня для всех наших клиентов нет.
Расширенные советники Расширенная настройка для Synapse SQL в Azure Synapse стала проще благодаря улучшенным рекомендациям по хранилищу данных и метрикам. В вашем распоряжении есть дополнительные рекомендации по повышению производительности с помощью помощника по Azure, в том числе:

1. Адаптивный кэш — будьте проинформированы когда требуется масштабировать, чтобы оптимизировать использование кэша.
2. Распределение таблиц — определите, когда следует реплицировать таблицы для уменьшения перемещения данных и повышения производительности рабочей нагрузки.
3. Tempdb— определите, когда нужно масштабировать и настраивать ресурсные классы, чтобы уменьшить конфликт использования tempdb.

Более глубокая интеграция метрик хранилища данных с Azure Monitor, включая улучшенную настраиваемую диаграмму для мониторинга метрик в режиме, близком к реальному времени, в панели обзора. Вы больше не должны оставить колонку обзора хранилища данных, чтобы получить доступ к метрикам Azure Monitor при мониторинге использования или проверке и применении рекомендаций по хранилищу данных. Кроме того, доступны новые метрики, такие как tempdb и адаптивное использование кэша для дополнения рекомендаций по производительности.
Расширенная настройка с помощью интегрированных помощников Расширенная настройка Azure Synapse стала проще благодаря дополнительным рекомендациям по хранилищу данных и метрикам, а также перепроектированию панели обзора портала, который обеспечивает интегрированный опыт взаимодействия с Azure Advisor и Azure Monitor.
Ускорение восстановления базы данных (ADR) Azure Synapse Accelerated Database Recovery (ADR) теперь находится в общедоступной предварительной версии. ADR — это новый обработчик SQL Server, который значительно улучшает доступность базы данных, особенно в присутствии длительных транзакций, полностью перепроектируя текущий процесс восстановления с нуля. Основные преимущества ADR — быстрое и согласованное восстановление базы данных и мгновенное откат транзакций.
Журналы ресурсов Azure Monitor Azure Synapse теперь обеспечивает расширенные аналитические сведения об аналитических рабочих нагрузках путем интеграции непосредственно с журналами ресурсов Azure Monitor. Эта новая возможность позволяет разработчикам анализировать поведение рабочей нагрузки в течение длительного периода времени и принимать обоснованные решения по оптимизации запросов или управлению емкостью. Теперь мы представили внешний процесс ведения журнала с помощью журналов ресурсов Azure Monitor , которые предоставляют дополнительные сведения о рабочей нагрузке хранилища данных. Теперь одним нажатием кнопки можно настроить журналы ресурсов для устранения проблем с производительностью исторических запросов, используя Log Analytics. Журналы ресурсов Azure Monitor поддерживают настраиваемые периоды хранения, сохраняя журналы в учетной записи хранения для целей аудита, предоставляют возможность потоковой передачи журналов в центры событий для получения телеметрии практически в реальном времени, а также позволяют анализировать журналы с помощью Log Analytics при помощи запросов журналов. Журналы ресурсов состоят из представлений телеметрии хранилища данных, эквивалентных наиболее часто используемым динамическим представлениям по устранению неполадок производительности для аналитики SQL в Azure Synapse. В этом первоначальном выпуске мы включили представления для следующих системных динамических административных представлений:

• sys.dm_pdw_exec_requests
• sys.dm_pdw_request_steps
• sys.dm_pdw_dms_workers
• sys.dm_pdw_waits
• sys.dm_pdw_sql_requests
Управление памятью Columnstore По мере увеличения количества групп строк хранилища сжатых столбцов объем памяти, необходимой для управления метаданными внутреннего сегмента столбцов для этих групп строк, увеличивается. В результате производительность запросов и запросы, выполняемые относительно некоторых динамических административных представлений Columnstore, могут снизиться. Усовершенствования в этом выпуске позволяют оптимизировать размер внутренних метаданных для этих случаев, что приводит к улучшению интерфейса и производительности таких запросов.
Интеграция Azure Data Lake Storage 2-го поколения (GA) Synapse Analytics теперь имеет встроенную интеграцию с Azure Data Lake Storage 2-го поколения. Теперь клиенты могут загружать данные с помощью внешних таблиц из ABFS в выделенный пул SQL (ранее — хранилище данных SQL). Эта функция позволяет клиентам интегрировать свои озера данных с хранилищем Data Lake Storage второго поколения.
Заметные ошибки Сбои CETAS для Parquet в небольших классах ресурсов на хранилищах данных DW2000 и выше. Это исправление корректно определяет пустую ссылку в кодовом пути Create External Table As Parquet.

В некоторых операциях CTAS значение столбца идентификатора может потеряться. Значение столбца идентификатора может не сохраняться при копировании с помощью CTAS в другую таблицу.

Внутренний сбой в некоторых случаях при завершении сеанса во время выполнения запроса . Это исправление активирует InvalidOperationException, если сеанс завершается при выполнении запроса.

(Развернуто в ноябре 2018 г.) Клиенты столкнулись с неоптимальной производительностью при попытке загрузить несколько небольших файлов из ADLS (1-го поколения) с помощью Polybase. При проверке токена безопасности AAD производительность системы тормозилась. Проблемы с производительностью были устранены путем кэширования маркеров безопасности.

Дальнейшие шаги

Дополнительные сведения