Новые возможности служб Integration Services в SQL Server 2016

Область применения:SQL Server Среда выполнения интеграции SSIS в Фабрика данных Azure

В этом разделе описываются функции, которые были добавлены или обновлены в службах SQL Server 2016 Integration Services. К ним также относятся функции, добавленные или обновленные в пакете дополнительных компонентов Azure для служб Integration Services (SSIS) в течение жизненного цикла SQL Server 2016.

Новое в SSIS в Фабрика данных Azure

В общедоступной предварительной версии 2 фабрики данных Azure, выпущенной в сентябре 2017 г., теперь можно выполнять следующие действия:

  • развертывать пакеты в базе данных каталога служб SSIS (SSISDB) в базе данных SQL Azure;
  • запускать пакеты, развернутые в Azure, в Azure-SSIS Integration Runtime, компоненте фабрики данных Azure версии 2.

Дополнительные сведения см. в разделе Перенос рабочих нагрузок SQL Server Integration Services в облако.

Для этих новых возможностей требуются средства SQL Server Data Tools (SSDT) версии 17.2 или более поздней, но не требуется SQL Server 2017 или SQL Server 2016. При развертывании пакетов в Azure мастер развертывания пакетов всегда обновляет их до новейшего формата.

Усовершенствования за 2016 год по категориям

Управляемость

Улучшенное развертывание

Мастер обновления SSISDB

Мастер обновления SSISDB можно использовать для обновления базы данных каталога служб SSIS (SSISDB), когда эта база данных старше текущей версии экземпляра SQL Server. Такое может произойти в следующих случаях:

  • База данных восстановлена из более старой версии SQL Server.

  • База данных не была удалена из группы доступности AlwaysOn перед обновлением экземпляра SQL Server. Это препятствует автоматическому обновлению базы данных. Дополнительные сведения см. в разделе Обновление SSISDB в группе доступности.

Дополнительные сведения см. в разделе Каталог служб SSIS.

Поддержка Always On в каталоге служб SSIS

Группы доступности AlwaysOn — это решение для высокой доступности и аварийного восстановления, являющееся альтернативой зеркальному отображению баз данных на уровне предприятия. Группа доступности обеспечивает среду аварийного переключения для отдельного набора пользовательских баз данных, называемых базами данных группы доступности, которые переключаются при отказе совместно. Дополнительные сведения см. в разделе Группы доступности AlwaysOn.

В SQL Server 2016 службы SSIS предоставляют новые возможности, позволяющие легко производить развертывание в централизованном каталоге служб SSIS (например, в пользовательской базе данных SSISDB). Чтобы обеспечить высокую доступность для базы данных SSISDB и ее содержимого (проектов, пакетов, журналов выполнения и т. п.), можно добавить ее в группу доступности Always On, как и любую другую пользовательскую базу данных. В случае сбоя один из вторичных узлов автоматически становится новым основным узлом.

Подробное описание и пошаговые инструкции по включению AlwaysOn для SSISDB см. в статье Каталог служб SSIS.

Добавочное развертывание пакетов

Функция добавочного развертывания пакетов позволяет развертывать один или несколько пакетов в существующем или новом проекте без развертывания всего проекта. Вы можете поэтапно развертывать пакеты с помощью следующих средств.

  • Мастер развертывания

  • SQL Server Management Studio (использует мастер развертывания)

  • SQL Server Data Tools (Visual Studio) (также использует мастер развертывания)

  • Хранимые процедуры

  • API объектной модели управления (MOM)

Дополнительные сведения см. в разделе Развертывание проектов и пакетов служб Integration Services (SSIS).

Поддержка Always Encrypted в каталоге служб SSIS

Служба SSIS уже поддерживает функцию Always Encrypted в SQL Server. Дополнительные сведения см. в следующих записях блога:

Более эффективный способ отладки

Новая роль ssis_logreader уровня базы данных в каталоге SSIS

В предыдущих версиях каталога служб SSIS доступ к представлениям, содержащим выходные данные журнала, могли получить только пользователи с ролью ssis_admin . Теперь доступна новая роль уровня базы данных ssis_logreader , с помощью которой можно предоставлять разрешения на доступ к представлениям, содержащим выходные данные журнала, пользователям без прав администратора.

Также есть новая роль ssis_monitor. Эта роль поддерживает Always On и предназначена только для внутреннего использования каталогом SSIS.

Новый уровень журналирования RuntimeLineage в каталоге SSIS

Новый уровень журналирования RuntimeLineage в каталоге SSIS собирает данные, необходимые для отслеживания информации о происхождении данных в потоке данных. Вы можете обработать эту информацию о происхождении, чтобы определить связи происхождения между задачами. Независимые поставщики программного обеспечения и разработчики могут создавать пользовательские инструменты для визуализации происхождения данных на основе этой информации.

Новый настраиваемый уровень ведения журнала в каталоге служб SSIS

Предыдущие версии каталога служб SSIS позволяют выбрать один из четырех встроенных уровней ведения журнала при выполнении пакета: None, Basic, Performance или Verbose. В SQL Server 2016 добавлен уровень ведения журнала RuntimeLineage. Кроме того, теперь можно создавать и сохранять несколько настроенных уровней ведения журнала в каталоге служб SSIS, а также выбрать уровень, используемый при каждом запуске пакета. Для каждого настроенного уровня ведения журнала можно выбрать те статистические данные и события, которые необходимо регистрировать. При необходимости укажите контекст событий для просмотра значений переменных, строк подключения и свойств задачи. Дополнительные сведения см. в разделе Включение ведения журналов при выполнении пакета на сервере служб SSIS.

Имена столбцов для ошибок в потоке данных

При выводе строк с ошибками в потоке данных результат вывода содержит числовые идентификаторы столбцов с ошибками, а не их имена. Теперь существует несколько способов для поиска или отображения имени столбца, где произошла ошибка.

  • При настройке ведения журнала выберите событие DiagnosticEx для регистрации. Это событие записывает карту столбцов потока данных в журнал. Потом вы сможете найти имя столбца в этой карте столбцов с помощью идентификатора столбца, записанного в выводе ошибок. Дополнительные сведения см. в разделе Обработка ошибок в данных.

  • При просмотре свойств входного или выходного столбца для компонента потока данных в расширенном редакторе отображается имя исходного столбца.

  • Чтобы просмотреть имена столбцов, где произошла ошибка, подключите средство просмотра данных к выводу ошибок. Средство просмотра данных теперь отображает как описание ошибки, так и имя столбца, где она возникла.

  • В компоненте скрипта или пользовательского потока данных вызовите новый метод GetIdentificationStringByID интерфейса IDTSComponentMetadata100.

Дополнительные сведения об этом улучшении см. в следующей записи блога от разработчика служб SSIS Бо Фэна (Bo Fan): Error Column Improvements for SSIS Поток данных(Улучшения столбцов с ошибками для потока данных SSIS).

Замечание

(Эта поддержка была расширена в последующих выпусках. Дополнительные сведения см. в разделах Расширенная поддержка для имен столбцов ошибок и Новый интерфейс IDTSComponentMetaData130 в API.)

Расширена поддержка названий столбцов ошибок

Событие DiagnosticEx теперь записывает в журнал информацию о всех входных и выходных столбцах, а не только о столбцах происхождения данных. В результате мы теперь называем выходные данные картой столбцов конвейера вместо карты происхождения данных конвейера.

Метод GetIdentificationStringByLineageID был переименован в GetIdentificationStringByID. Дополнительные сведения см. в разделе Имена столбцов для ошибок в потоке данных.

Дополнительные сведения об этом изменении, а также об усовершенствовании столбца ошибок см. в следующей обновленной записи блога: Улучшения столбцов ошибок для потока данных SSIS (обновлено для RC2).

Замечание

Этот метод был перемещен в IDTSComponentMetaData130 интерфейс. Дополнительные сведения см. в разделе "Новый интерфейс IDTSComponentMetaData130" в API.

Поддержка для серверного уровня ведения журнала по умолчанию

Теперь для свойства Уровень ведения журнала серверав разделе Свойства сервера в SQL Server можно выбрать серверный уровень ведения журнала по умолчанию. Вы можете выбрать один из встроенных уровней ведения журнала — базовый, без ведения журнала, подробный, для производительности или происхождения данных во время выполнения — либо один из существующих настраиваемых уровней ведения журнала. Выбранный уровень журналирования применяется ко всем пакетам, развернутым в каталоге SSIS. Это также по умолчанию применяется к шагу задания агента SQL Server, который запускает пакет SSIS.

Новый интерфейс IDTSComponentMetaData130 в API

Новый интерфейс IDTSComponentMetaData130 добавляет в SQL Server 2016 новую функциональность к существующему интерфейсу IDTSComponentMetaData100, в частности метод GetIdentificationStringByID. (Метод GetIdentificationStringByID перенесен в новый интерфейс из интерфейса IDTSComponentMetaData100.) Также появились новые интерфейсы IDTSInputColumn130 и IDTSOutputColumn130, оба из которых предоставляют свойство LineageIdentificationString. Дополнительные сведения см. в разделе Имена столбцов для ошибок в потоке данных.

Улучшенное управление пакетами

Улучшенный процесс обновления проекта

При обновлении проектов служб SSIS с предыдущих версий до текущей диспетчеры подключений на уровне проекта продолжают работать должным образом, а макет пакета и заметки сохраняются.

Свойство AutoAdjustBufferSize автоматически вычисляет размер буфера для потока данных

При задании значения true для нового свойства AutoAdjustBufferSizeподсистема обработки потока данных автоматически вычисляет размер буфера для потока. Дополнительные сведения см. в разделе Возможности для повышения производительности потока данных.

Многоразовые шаблоны потока управления

Можно сохранить часто используемую задачу или контейнер потока управления в отдельный файл шаблона и повторно использовать их несколько раз в одном или нескольких пакетах проекта с помощью шаблонов потока управления. Такая возможность повторного использования упрощает разработку и обслуживание пакетов служб SSIS. Дополнительные сведения см. в разделе Повторное использование потока управления в разных пакетах с помощью частей пакета потока управления.

Новые шаблоны были переименованы в части

Новые повторно используемые шаблоны потока управления, выпущенные в более ранней предварительной версии, были переименованы как части потока управления или части пакета. Дополнительные сведения об этой функции см. в разделе Повторное использование потока управления в разных пакетах с помощью частей пакетов потока управления.

Connectivity

Расширенные возможности связи в локальной среде

Поддержка источников данных OData версии 4

Источник OData и диспетчер подключений OData теперь поддерживают протоколы OData v3 и v4.

  • Для протокола OData V3 компонент поддерживает форматы данных ATOM и JSON.

  • Для протокола OData V4 компонент поддерживает формат данных JSON.

Дополнительные сведения см. в разделе OData Source.

Явная поддержка источников данных Excel 2013

Диспетчер подключений, источник, назначение Excel и мастер импорта и экспорта SQL Server теперь явным образом поддерживают источники данных Excel 2013.

Поддержка файловой системы Hadoop (HDFS)

Поддержка HDFS распространяется на диспетчеры подключений, используемые для подключения к кластерам Hadoop, и на задачи для выполнения типичных операций с HDFS. Дополнительные сведения см в статье Поддержка Hadoop и HDFS в службах Integration Services (SSIS).

Расширенная поддержка Hadoop и HDFS

  • Диспетчер подключений Hadoop теперь поддерживает как базовую аутентификацию, так и аутентификацию Kerberos. Дополнительные сведения см. в разделе Hadoop диспетчер подключений.

  • Источник файлов HDFS и назначение файлов HDFS теперь поддерживают формат "Текст" и "Avro". Дополнительные сведения см. в статьях Источник "Файл HDFS" и Назначение HDFS-файлов.

  • Задача файловой системы Hadoop теперь поддерживает параметр CopyWithinHadoop, дополняющий параметры CopyToHadoop и CopyFromHadoop. Дополнительные сведения см. в разделе Hadoop File System Task.

Назначение файлов HDFS теперь поддерживает формат файлов ORC

Назначение файлов HDFS теперь поддерживает формат ORC в дополнение к форматам "Текст" и "Avro". (Источник файлов HDFS поддерживает только "Текст" и "Avro"). Дополнительные сведения об этом компоненте см. в статье HDFS File Destination.

Обновление компонентов ODBC для SQL Server 2016

Компоненты источника и назначения ODBC были обновлены для обеспечения полной совместимости с SQL Server 2016. Какие -либо новые функции и изменения в поведении отсутствуют.

Явная поддержка источников данных Excel 2016

Диспетчер подключений Excel, источник Excel и назначение Excel теперь обеспечивают явную поддержку источников данных Excel 2016.

Выпущен соединитель для SAP BW для SQL Server 2016

Соединитель Майкрософт для SAP BW для Microsoft SQL Server 2016 выпущен в составе пакета дополнительных компонентов SQL Server 2016. Чтобы скачать компоненты пакета дополнительных компонентов, ознакомьтесь с пакетом дополнительных компонентов Microsoft SQL Server 2016.

Выпуск соединителей версии 4.0 для Oracle и Teradata

Были выпущены соединители Майкрософт версии v4.0 для Oracle и Teradata. Скачать их можно здесь: соединители Microsoft версии 4.0 для Oracle и Teradata.

Выпущены соединители для системы аналитической платформы (PDW), обновление 5

Были выпущены целевые адаптеры для загрузки данных в PDW с AU5. Чтобы загрузить адаптеры, см. документацию и клиентские инструменты Analytics Platform System Appliance Update 5.

Расширенные возможности связи в облаке

выпуск пакета дополнительных компонентов Azure для служб SSIS для SQL Server 2016

Состоялся выпуск пакета дополнительных компонентов Azure для служб Integration Services для SQL Server 2016. Пакет компонентов содержит диспетчеры подключений для подключения к источникам данных Azure, а также задачи для выполнения типовых операций Azure. Дополнительные сведения см. в статье Пакет дополнительных компонентов Azure для служб Integration Services (SSIS).

Поддержка онлайн-ресурсов Microsoft Dynamics представлена в пакете обновления 1 (SP1)

После установки SQL Server 2016 Service Pack 1 источник OData и диспетчер подключений OData теперь поддерживают подключение к веб-каналам OData для Microsoft Dynamics AX Online и Microsoft Dynamics CRM Online.

Выпуск пакета поддержки для Azure Data Lake Store

Последняя версия пакета дополнительных компонентов Azure включает диспетчер подключений, а также источник и место назначения для перемещения данных из Azure Data Lake Store и обратно. Дополнительные сведения см. в статье Пакет дополнительных компонентов Azure для служб Integration Services (SSIS).

Реализована поддержка Azure Synapse Analytics

Последняя версия Azure Feature Pack включает задачу отправки в Azure SQL DW для загрузки данных в Azure Synapse Analytics. Дополнительные сведения см. в статье Пакет дополнительных компонентов Azure для служб Integration Services (SSIS).

Удобство использования и производительность

Улучшенная процедура установки

Блокировка обновления, когда база данных SSISDB состоит в группе доступности

Если база данных каталога служб SSIS (SSISDB) состоит в группе доступности AlwaysOn, для обновления SQL Server необходимо сначала удалить SSISDB из группы доступности, произвести обновление, а затем добавить SSISDB обратно в группу. Дополнительные сведения см. в разделе Обновление SSISDB в группе доступности.

Улучшенная процедура разработки

Поддержка многоверсионности и нескольких целевых версий в конструкторе SSIS

Теперь можно использовать конструктор SSIS в SQL Server Data Tools (SSDT) для Visual Studio 2015, чтобы создавать, обслуживать и выполнять пакеты, ориентированные на SQL Server 2016, SQL Server 2014 или SQL Server 2012. Процедуру получения SSDT см. в разделе Скачивание последней версии SQL Server Data Tools.

В обозревателе решений щелкните правой кнопкой мыши проект служб Integration Services и выберите пункт Свойства, чтобы открыть страницу свойств проекта. На вкладке Общие окна Свойства конфигурации выберите свойство TargetServerVersion и затем SQL Server 2016, SQL Server 2014 или SQL Server 2012.

Свойство TargetServerVersion в диалоговом окне Свойства проекта

Important

При разработке пользовательских расширений для SSIS см. Поддержка нацеливания на несколько целевых платформ в пользовательских компонентах и Обеспечение поддержки пользовательских расширений SSIS в рамках многоверсионной поддержки SSDT 2015 для SQL Server 2016.

Улучшение функций управления в SQL Server Management Studio

Повышена производительность представлений каталога SSIS

Теперь большинство представлений каталога SSIS выполняются быстрее, если их запускает пользователь, не являющийся членом роли ssis_admin.

Другие усовершенствования

Преобразование сбалансированного распределителя данных теперь входит в состав служб SSIS

Преобразование распространителя данных с балансировкой нагрузки, требующее отдельной загрузки в предыдущих версиях SQL Server, теперь устанавливается при установке служб Integration Services. Дополнительные сведения см. в разделе Преобразование сбалансированного распределителя данных.

Компоненты публикации канала данных теперь являются частью SSIS

Компоненты публикации потока данных, которые в предыдущих версиях SQL Server требовали отдельной загрузки, теперь устанавливаются при установке Служб Integration Services. Дополнительные сведения см. в разделе Data Streaming Destination.

Поддержка хранилища BLOB-объектов Azure в мастере импорта и экспорта SQL Server

Мастер импорта и экспорта SQL Server теперь может импортировать данные из хранилища BLOB-объектов Azure и сохранять данные в него. Дополнительные сведения см. в статьях Выбор источника данных (мастер импорта и экспорта SQL Server) и Выбор назначения (мастер импорта и экспорта SQL Server).

Выпуск конструктора и службы системы отслеживания измененных данных для Oracle для Microsoft SQL Server 2016

Конструктор и служба отслеживания измененных данных Майкрософт для Oracle от Attunity для Microsoft SQL Server 2016 были выпущены в составе пакета дополнительных компонентов SQL Server 2016. Эти компоненты теперь поддерживают Oracle 12c в классической установке. (Многотенантная установка не поддерживается) Чтобы скачать компоненты пакета дополнительных компонентов, ознакомьтесь с пакетом дополнительных компонентов Microsoft SQL Server 2016.

Обновление компонентов CDC для SQL Server 2016

Компоненты задачи по проверке CDC (отслеживание измененных данных), источника и преобразования разделителя были обновлены для обеспечения полной совместимости с SQL Server 2016. Какие -либо новые функции и изменения в поведении отсутствуют.

Задача "Выполнение DDL в Analysis Services" обновлена

Задача "Выполнение DDL службами Analysis Services" обновлена, чтобы принимать команды на языке TMSL.

Задачи служб Analysis Services поддерживают табличные модели.

Теперь можно использовать все назначения и задачи служб SSIS, поддерживающие SQL Server Analysis Services (SSAS) в табличных моделях SQL Server 2016. Задачи служб SSIS были обновлены, чтобы представлять табличные объекты вместо многомерных. Например, при выборе объектов для обработки задача обработки служб Analysis Services автоматически обнаруживает табличную модель и отображает список табличных объектов вместо групп мер и измерений. Пункт назначения обработки секций теперь также отображает табличные объекты и поддерживает отправку данных в секцию.

Пункт назначения обработки измерений не работает для табличных моделей с уровнем совместимости SQL Server 2016. Для обработки табличных данных вам требуется только задача обработки служб Analysis Services и назначение обработки секций.

Поддержка встроенных служб R

Службы SSIS уже поддерживают встроенные службы R в SQL Server. Службы SSIS можно использовать не только для извлечения данных и загрузки выходных данных анализа, но и для сборки, выполнения и периодического повторного обучения моделей R. Дополнительные сведения см. в следующей записи блога: Ввод в эксплуатацию проекта машинного обучения с помощью SQL Server 2016 SSIS и служб R(Operationalize your machine learning project using SQL Server 2016 SSIS and R Services).

Расширенный вывод проверки XML в задаче XML

Проверяйте XML-документы и получайте подробную информацию об ошибках, включив в задаче XML свойство ValidationDetails. До появления свойства ValidationDetails проверка XML в задачах XML возвращала информацию только о том, есть ошибка в документе или нет. Сведения о самих ошибках и их расположении были недоступны. Теперь, если для свойства ValidationDetails задать значение True, выходной файл будет содержать подробные сведения обо всех ошибках, включая номера строк и позиции. Эти сведения можно использовать для анализа, поиска и исправления ошибок в XML-документах. Дополнительные сведения см. в разделе Validate XML with the XML Task.

SSIS добавила свойство ValidationDetails в SQL Server 2012 (11.x) в пакете обновления 2. В то время о новом свойстве не было никакой информации. Свойство ValidationDetails также доступно в SQL Server 2014 (12.x) и в SQL Server 2016 (13.x).

Получите помощь

Примите участие в разработке документации по SQL

Знаете ли вы, что содержимое SQL можно изменить самостоятельно? При этом вы не только помогаете улучшить нашу документацию, но и получаете признание в качестве участника страницы.

Дополнительные сведения см. в разделе Редактирование документации Microsoft Learn.

Связанные материалы

  • Last updated on