Загрузка данных в выделенный пул SQL в Azure Synapse Analytics с помощью SQL Server Integration Services (SSIS)

Область применения:Azure Synapse Analytics

Вы можете создать пакет SQL Server Integration Services (SSIS) для загрузки данных в выделенный пул SQL в Azure Synapse Analytics. При необходимости можно реструктуризировать, преобразовать и очистить данные по мере их прохождения через поток данных SSIS.

В этой статье показано следующее:

• Создайте новый проект Интеграционные службы в Visual Studio.
• Создание пакета служб SSIS, который загружает данные из источника в назначение.
• Запуск пакета служб SSIS для загрузки данных.

Основные понятия

Пакет — это базовая единица работы в службах SSIS. Связанные пакеты группируются в проекты. Для создания проектов и пакетов разработки в Visual Studio используется SQL Server Data Tools. Процесс разработки — это визуальный процесс, в котором вы перетаскиваете компоненты с панели элементов в область конструктора, соединяете их и задаете их свойства. Завершив создание пакета, вы можете запустить его и при необходимости развернуть в SQL Server или Базе данных SQL, чтобы получить комплексные возможности управления, мониторинга и защиты.

В рамках этой статьи подробное введение в SSIS не рассматривается. Дополнительные сведения см. в следующих разделах:

• SQL Server Integration Services
• Создание пакета ETL

Варианты загрузки данных в Azure Synapse Analytics с помощью SSIS

SQL Server Integration Services (SSIS) — это гибкий набор средств, которые предоставляют различные варианты подключения и загрузки данных в Azure Synapse Analytics.

1. Предпочтительный и самый эффективный метод — создать пакет, где загрузка выполняется с помощью задачи отправки информации в Хранилище данных SQL Azure. Эта задача включает сведения как об источнике, так и о получателе. Она предполагает, что исходные данные хранятся локально в текстовых файлах с разделителями.

2. Как альтернативный вариант, вы можете создать пакет, где используется задача потока данных, содержащая источник и получатель. Этот подход позволяет использовать самые разные источники данных, включая SQL Server и Azure Synapse Analytics.

Предварительные условия

Для прохождения этого руководства потребуется следующее.

1. Интеграционные службы SQL Server (SSIS). Службы SSIS — это компонент SQL Server, которому для работы нужна лицензионная версия, версия для разработчиков или ознакомительная версия SQL Server. Для получения ознакомительной версии SQL Server см. Оцените SQL Server.

2. Visual Studio (необязательно). Для получения бесплатного выпуска Visual Studio Community см. раздел Visual Studio Community. Если вы не хотите устанавливать Visual Studio, вы можете установить только SQL Server Data Tools (SSDT). Установка SSDT включает версию Visual Studio с ограниченной функциональностью.

3. SQL Server Data Tools для Visual Studio (SSDT). Чтобы получить SQL Server Data Tools для Visual Studio, см. раздел Скачивание SQL Server Data Tools (SSDT).

4. База данных и разрешения Azure Synapse Analytics. В этом руководстве подключаемся к выделенному пулу SQL в экземпляре Azure Synapse Analytics и загружаем в него данные. У вас должны быть разрешения на подключение, создание таблицы и загрузку данных.

Создайте новый проект Integration Services

1. Запустите Visual Studio.

2. В меню Файл выберите Создать | Проект.

3. Перейдите к типам проектов Установленные | Шаблоны | Бизнес-аналитика | Integration Services.

4. Выберите Проект интеграционных служб. Укажите значения для параметров Имя и Расположение, а затем нажмите кнопку ОК.

Visual Studio открывает и инициирует новый проект служб Integration Services (SSIS). Затем Visual Studio открывает конструктор для отдельного нового пакета служб SSIS (Package.dtsx) в проекте. Видны следующие области экрана:

• В левой части Панель инструментов для компонентов служб SSIS.

• В центре область конструктора с несколькими вкладками. Как правило, используются по меньшей мере вкладки Поток управления и Поток данных.

• В правой части — области Обозреватель решений и Свойства.

  

Вариант 1 - Использование задачи загрузки в SQL DW

В первом подходе применяется пакет, использующий задачу отправки информации в Хранилище данных SQL. Эта задача включает сведения как об источнике, так и о получателе. Предполагается, что ваши исходные данные хранятся в текстовых файлах с разделителями, либо локально, либо в хранилище Azure Blob.

Необходимые условия для варианта 1

Для продолжения руководства в этом режиме потребуется следующее:

• Пакет дополнительных компонентов Microsoft SQL Server Integration Services для Azure. Задача загрузки в SQL DW является компонентом Feature Pack.

• Учетная запись хранения BLOB-объектов Azure. Задача загрузки данных SQL DW перемещает данные из хранилища BLOB-объектов Azure в Azure Synapse Analytics. Вы можете загружать файлы, которые уже есть в хранилище BLOB-объектов, или файлы с компьютера. Если вы выбираете файлы на своем компьютере, задача SQL DW Upload сначала загружает их в хранилище BLOB для промежуточного хранения, а затем перемещает их в ваш выделенный пул SQL.

Добавление и настройка задачи загрузки в хранилище данных SQL DW

1. Перетащите задачу отправки информации в хранилище данных SQL с панели элементов в центр области конструктора (на вкладке Поток управления).

2. Дважды щелкните задачу, чтобы открыть Редактор задачи загрузки SQL DW.

   

3. Настройте задачу, следуя рекомендациям в статье Задача отправки информации в хранилище данных SQL Azure. Так как задача включает сведения об источнике и получателе, а также сопоставление исходных и целевых таблиц, в редакторе задачи нужно настроить несколько страниц параметров.

Создание похожего решения вручную

Для более полного контроля вы можете вручную создать пакет, который эмулирует работу задачи отправки информации в хранилище данных SQL.

1. Используйте задачу загрузки BLOB-объектов Azure для сохранения данных в хранилище BLOB-объектов Azure. Чтобы получить задачу загрузки Azure Blob, загрузите Пакет дополнительных компонентов Microsoft SQL Server Integration Services для Azure.

2. После этого используйте задачу SSIS "Выполнение SQL", чтобы запустить скрипт PolyBase, который загружает данные в выделенный пул SQL. Пример загрузки данных из Blob-хранилища Azure в выделенный пул SQL (но не с SSIS) см. в Руководстве Загрузка данных в Azure Synapse Analytics.

Вариант 2. Использование источника и получателя

Во втором подходе применяется обычный пакет с задачей потока данных, содержащей источник и получатель. Этот подход позволяет использовать самые разные источники данных, включая SQL Server и Azure Synapse Analytics.

В этом учебнике в качестве источника данных используется SQL Server. SQL Server запускается на локальном компьютере или в виртуальной машине Azure.

Для подключения к SQL Server и к выделенному пулу SQL используйте диспетчер подключений ADO.NET или OLE DB с источником и получателем. В этом руководстве используется платформа ADO.NET, так как в ней меньше всего параметров конфигурации. OLE DB может обеспечить немного лучшую производительность, чем ADO.NET.

Чтобы быстро создать базовый пакет, вы можете использовать Мастер импорта и экспорта SQL Server. Затем сохраните пакет и откройте его в Visual Studio или SSDT для просмотра и настройки. Дополнительные сведения см. в разделе Импорт и экспорт данных с помощью мастера импорта и экспорта SQL Server.

Необходимые условия для варианта 2

Чтобы продолжить проходить руководство с этим вариантом, потребуется следующее:

1. Образец данных. В этом учебнике в качестве исходных данных для загрузки в выделенный пул SQL используется образцовая база данных AdventureWorks, хранящаяся в SQL Server. Чтобы получить образец базы данных AdventureWorks, см. раздел Образцы баз данных AdventureWorks.

2. Правило брандмауэра. Необходимо создать правило брандмауэра для выделенного пула SQL с IP-адресом локального компьютера, прежде чем вы сможете отправлять в пул данные.

Создание простого потока данных

1. Перетащите операцию потока данных с панели инструментов в центр области конструктора (на вкладке Поток управления).

   

2. Дважды щелкните элемент "Задача потока данных", чтобы перейти на вкладку "Поток данных".

3. В списке "Другие источники" на панели инструментов перетащите источник ADO.NET в область конструктора. Выбрав адаптер источника данных, измените его имя на SQL Server source (Источник SQL Server) в области Свойства.

4. В списке "Другие назначения" на Панели инструментов перетащите назначение ADO.NET в рабочую область конструктора под источником ADO.NET. Выбрав адаптер назначения, измените его имя на SQL DW destination в области Свойства.

   

Настройка адаптера источника данных

1. Дважды щелкните адаптер источника данных, чтобы открыть Редактор источника ADO.NET.

   

2. На вкладке диспетчера подключений редактора источников ADO.NET нажмите кнопку "Создать" рядом со списком диспетчера подключений ADO.NET, чтобы открыть диалоговое окно Настройка диспетчера подключений ADO.NET и создать параметры подключения для базы данных SQL Server, из которой этот учебник загружает данные.

   

3. В диалоговом окне Настройка диспетчера подключений ADO.NET нажмите кнопку Создать, чтобы открыть диалоговое окно диспетчера подключений и создать новое подключение к данным.

   

4. В диалоговом окне Диспетчер соединений сделайте следующее:

   1. В поле Поставщик выберите поставщик данных SqlClient.

   2. В поле Имя сервера введите имя SQL Server.

   3. В разделе Вход на сервер выберите или введите сведения для проверки подлинности.

   4. В разделе Соединение с базой данных выберите образец базы данных AdventureWorks.

   5. Выберите проверить подключение.

      

   6. В диалоговом окне, которое сообщает результаты теста подключения, нажмите кнопку ОК, чтобы вернуться в диалоговое окно диспетчера подключений .

   7. В диалоговом окне диспетчера подключений нажмите кнопку ОК, чтобы вернуться в диалоговое окно Настройка диспетчера подключений ADO.NET.

5. В диалоговом окне Настройка диспетчера подключений ADO.NET нажмите кнопку ОК, чтобы вернуться к редактору источника ADO.NET.

6. В окне Редактор источника ADO.NET в списке Имя таблицы или представления выберите таблицу Sales.SalesOrderDetail.

   

7. Выберите Предпросмотр, чтобы увидеть первые 200 строк данных в исходной таблице в диалоговом окне Предварительные результаты запроса.

   

8. В диалоговом окне предварительный просмотр результатов выберите Закрыть, чтобы вернуться в редактор источника ADO.NET.

9. Вредакторе источников ADO.NET нажмите кнопку ОК, чтобы завершить настройку источника данных.

Подключите адаптер источника к адаптеру назначения

1. Выберите адаптер источника данных на проектной поверхности.

2. Выберите синюю стрелку, отходящую от адаптера источника данных, и перетащите к редактору назначения до ее фиксации.

   

   В типичном пакете служб SSIS вы используете несколько других компонентов из панели элементов служб SSIS между источником и назначением для реструктурирования, преобразования и очистки данных при прохождении потока данных служб SSIS. Чтобы сделать этот пример максимально простым, мы подключаем источник непосредственно к целевому месту.

Настройка адаптера назначения

1. Дважды щелкните целевой адаптер, чтобы открыть Редактор назначения ADO.NET.

   

2. На вкладке Диспетчер подключений редактора Назначение ADO.NET выберите кнопку Создать рядом со списком Диспетчер подключений, чтобы открыть диалоговое окно Настройка диспетчера подключений ADO.NET и создать параметры подключения для базы данных Azure Synapse Analytics, в которую этот учебник загружает данные.

3. В диалоговом окне Настройка диспетчера подключений ADO.NET нажмите кнопку Создать, чтобы открыть диалоговое окно диспетчера подключений и создать новое подключение к данным.

4. В диалоговом окне Диспетчер соединений сделайте следующее:

   1. В поле Поставщик выберите поставщик данных SqlClient.

   2. В поле Имя сервера введите имя выделенного пула SQL.

   3. В разделе Вход на сервер выберите Использовать проверку подлинности SQL Server и введите сведения для проверки подлинности.

   4. В разделе Соединение с базой данных выберите существующую базу данных выделенного пула SQL.

   5. Выберите проверить подключение.

   6. В диалоговом окне, которое сообщает результаты теста подключения, нажмите кнопку ОК, чтобы вернуться в диалоговое окно диспетчера подключений .

   7. В диалоговом окне диспетчера подключений нажмите кнопку ОК, чтобы вернуться в диалоговое окно Настройка диспетчера подключений ADO.NET.

5. В диалоговом окне Настройка диспетчера подключений ADO.NET нажмите кнопку ОК, чтобы вернуться к редактору назначения ADO.NET.

6. В редакторе назначенияADO.NET выберите Создать рядом с списком Использование таблицы или представления, чтобы открыть диалоговое окно создания таблицы , чтобы создать новую целевую таблицу со списком столбцов, соответствующим исходной таблице.

   

7. В диалоговом окне Создание таблицы сделайте следующее:

   1. Измените имя целевой таблицы на SalesOrderDetail.

   2. Удалите столбец rowguid. Тип данных uniqueidentifier не поддерживается в выделенном пуле SQL.

   3. Измените тип данных столбца LineTotal на money. Тип данных десятичного не поддерживается в выделенном пуле SQL. Сведения о поддерживаемых типах данных см. в разделе CREATE TABLE (Azure Synapse Analytics или Parallel Data Warehouse).

      

   4. Нажмите кнопку ОК, чтобы создать таблицу и вернуться в редактор назначенияADO.NET.

8. В окне Редактор назначения ADO.NET откройте вкладку Сопоставления, чтобы просмотреть, как столбцы в источнике сопоставляются со столбцами в назначении.

   

9. Нажмите кнопку ОК, чтобы завершить настройку назначения.

Запуск пакета для загрузки данных

Запустите пакет, нажав кнопку "Начать" на панели инструментов или выбрав один из параметров "Запуск" в меню "Отладка".

Ниже описано, что происходит при создании пакета по второму варианту из этой статьи, то есть, с потоком данных, содержащим источник и получатель.

При запуске пакета вы увидите желтые индикаторы в виде вращающихся колес, которые указывают на активность и показывают количество обработанных строк.

После завершения выполнения пакета отображаются зеленые флажки, указывающие на успешность и общее количество строк данных, загруженных из источника в место назначения.

Поздравляем, вы успешно использовали SQL Server Integration Services для загрузки данных в Azure Synapse Analytics.

Связанное содержимое

• Инструменты для устранения неполадок в разработке пакетов
• Развертывание проектов и пакетов служб интеграции данных (SSIS)