Начало работы с Azure Synapse Link для SQL Server 2022

2024-07-31

В этой статье описано пошаговое руководство по началу работы с Azure Synapse Link для SQL Server 2022. Общие сведения см. в статье Azure Synapse Link для SQL Server 2022.

Предварительные требования

Перед началом работы см. Создание новой рабочей области Azure Synapse, чтобы получить Azure Synapse Link для SQL. В этом руководстве описано, как создать Azure Synapse Link для SQL в общедоступной сети. В этой статье предполагается, что вы выбрали отключить управляемую виртуальную сеть и разрешить подключения со всех IP-адресов при создании рабочей области Azure Synapse. Если вы хотите настроить Azure Synapse Link для SQL Server 2022 с сетевой безопасностью, см. также статью "Настройка Azure Synapse Link для SQL Server 2022 с сетевой безопасностью".
Создайте учетную запись Azure Data Lake Storage 2-го поколения, которая отличается от учетной записи, создаваемой с помощью рабочей области Azure Synapse Analytics. Эта учетная запись будет использоваться в качестве зоны приземления для размещения данных, отправленных SQL Server 2022. Дополнительные сведения см. в статье "Создание учетной записи Azure Data Lake Storage 2-го поколения".
Убедитесь, что в базе данных SQL Server 2022 создан главный ключ.
```
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<a new password>'
```

Создание целевого выделенного пула AZURE Synapse SQL

Откройте Synapse Studio.
Откройте центр управления, перейдите в пулы SQL и нажмите кнопку "Создать".
Введите уникальное имя пула, используйте параметры по умолчанию и создайте выделенный пул.
В центре данных в разделе "Рабочая область" новая база данных SQL Azure Synapse должна быть указана в разделе "Базы данных". В новой базе данных SQL Azure Synapse выберите новый скрипт SQL, а затем выберите пустой скрипт.
Чтобы создать главный ключ для целевой базы данных SQL Azure Synapse, вставьте следующий скрипт и нажмите кнопку "Выполнить".
```
CREATE MASTER KEY
```

Создание связанной службы для исходной базы данных SQL Server 2022

Нажмите кнопку "Управление концентратором" и выберите "Связанные службы".
Нажмите кнопку "Создать", выберите SQL Server и нажмите кнопку "Продолжить".
В поле "Имя" введите имя связанной службы SQL Server 2022.

Примечание.

Поддерживается только служба "Linked Service" в устаревших версиях.
При выборе среды выполнения интеграции выберите локальную среду выполнения интеграции. Если в рабочей области Azure Synapse нет доступной локальной среды выполнения интеграции, создайте ее.
(Необязательно) Чтобы создать локальную среду выполнения интеграции для подключения к исходному SQL Server 2022, выполните следующие действия:

a. Выберите Создать.

b. Выберите Самостоятельный хостинг, и затем выберите Продолжить.

с. В поле "Имя" введите имя локальной среды выполнения интеграции и нажмите кнопку "Создать".

Локальная среда выполнения интеграции теперь доступна в рабочей области Azure Synapse.

д. Следуйте инструкциям, чтобы скачать, установить и использовать ключ для регистрации агента среды выполнения интеграции на компьютере Windows, который имеет прямой доступ к экземпляру SQL Server 2022. Дополнительные сведения см. в статье "Создание локальной среды выполнения интеграции" Фабрика данных Azure и Azure Synapse.

д) Выберите Закрыть.

f. Перейдите на страницу мониторинга и убедитесь, что локальная среда выполнения интеграции запущена, выбрав "Обновить ", чтобы получить последнее состояние среды выполнения интеграции.
Продолжайте вводить оставшиеся сведения для связанной службы, включая имя SQL Server, имя базы данных, тип проверки подлинности, имя пользователя и пароль для подключения к экземпляру SQL Server 2022.

Примечание.

Для этого подключения рекомендуется включить шифрование. Для этого добавьте свойство Encrypt со значением true как дополнительное свойство подключения. Задайте свойству Trust Server Certificate значение true или false в зависимости от конфигурации сервера. Дополнительные сведения см. в разделе "Включение зашифрованных подключений к ядру СУБД".
Выберите "Проверить подключение", чтобы убедиться, что локальная среда выполнения интеграции может получить доступ к экземпляру SQL Server.
Нажмите кнопку создания.

Новая связанная служба будет подключена к экземпляру SQL Server 2022, доступному в рабочей области.

Примечание.

Связанная служба, созданная здесь, не предназначена для Azure Synapse Link для SQL. Его можно использовать любым пользователем рабочей области, у которого есть соответствующие разрешения. Получите время, чтобы понять область действия пользователей, которые могут иметь доступ к этой связанной службе и ее учетным данным. Дополнительные сведения о разрешениях в рабочих областях Azure Synapse см. в обзоре управления доступом к рабочей области Azure Synapse — Azure Synapse Analytics.

Создайте связанную службу для подключения к вашей посадочной зоне на Azure Data Lake Storage второго поколения

Перейдите к созданной учетной записи Azure Data Lake Storage 2-го поколения, выберите контроль доступа (IAM), нажмите кнопку "Добавить", а затем выберите "Добавить назначение ролей".
Выберите сотрудник по работе с данными хранилища BLOB-объектов для выбранной роли, выберите управляемое удостоверение, а затем в разделе [Участники] выберите рабочую область Azure Synapse. Добавление этого назначения роли может занять несколько минут.

Примечание.

Убедитесь, что вы предоставили разрешения управляемого удостоверения рабочей области Azure Synapse учетной записи хранения Azure Data Lake Storage Gen2, которая используется в качестве зоны высадки. Дополнительную информацию см. в разделе Предоставление разрешений управляемому удостоверению в рабочей области Azure Synapse — Azure Synapse Analytics.
Откройте центр управления в рабочей области Azure Synapse и перейдите в связанные службы.
Нажмите кнопку "Создать", а затем выберите Azure Data Lake Storage 2-го поколения.
Выполните следующие действия.

a. В поле "Имя" введите имя связанной службы для вашей зоны приземления.

b. Для метода аутентификации введите Управляемое удостоверение.

с. Выберите имя учетной записи хранения, которая уже создана.
Выберите "Проверить подключение", чтобы убедиться, что вы можете получить доступ к учетной записи Azure Data Lake Storage 2-го поколения.
Нажмите кнопку создания.

Новая связанная служба будет подключена к учетной записи Azure Data Lake Storage 2-го поколения.

Примечание.

Связанная служба, созданная здесь, не предназначена для Azure Synapse Link для SQL. Его можно использовать любым пользователем рабочей области, у которого есть соответствующие разрешения. Получите время, чтобы понять область действия пользователей, которые могут иметь доступ к этой связанной службе и ее учетным данным. Дополнительные сведения о разрешениях в рабочих областях Azure Synapse см. в обзоре управления доступом к рабочей области Azure Synapse — Azure Synapse Analytics.

Создание подключения к Azure Synapse Link

В Synapse Studio откройте центр интеграции .
На панели "Интеграция" выберите знак плюса (+), а затем выберите "Связать подключение".
Введите исходную базу данных:

a. Для типа источника выберите SQL Server.

б, Для вашей исходной связанной службы выберите службу, которая подключается к экземпляру SQL Server 2022.

с. Для названий таблиц выберите имена из экземпляра SQL Server для репликации в пул Azure Synapse SQL.

д. Выберите Продолжить.
В выделенных пулах SQL Synapse выберите имя целевой базы данных.
Выберите Продолжить.
Введите параметры подключения ссылки:

a. В имя соединения Link введите название.

b. В поле "Число ядер" для вычисления соединения связи введите число ядер. С помощью этих ядер данные будут перемещаться из источника в целевой объект. Рекомендуется начать с небольшого числа и увеличить количество по мере необходимости.

с. Для связанной службы выберите службу, которая будет подключаться к вашей целевой зоне.

д. Введите имя контейнера Azure Data Lake Storage 2-го поколения или имя контейнера/папки в качестве пути к папке зоны приземления для промежуточного хранения данных. Сначала необходимо создать контейнер.

д) Введите токен общей подписи для Azure Data Lake Storage Gen2. Маркер необходим для того, чтобы канал изменений SQL имел доступ к зоне посадки. Если у вашей учетной записи Azure Data Lake Storage 2-го поколения нет токена подписи общего доступа, его можно создать, выбрав "Создать маркер".

f. Нажмите ОК.

Примечание.

Количество ядер, которые вы выбираете здесь, выделяется службе приема для обработки загрузки и изменения данных. Они не влияют на конфигурацию выделенного пула SQL. Если вы не можете подключиться к зоне высадки с помощью созданного маркера SAS по причине ограничения вашего хранилища, можно также попытаться использовать маркер делегирования SAS для подключения к зоне высадки.
При открытии нового подключения Azure Synapse Link теперь можно обновить имя целевой таблицы, тип распространения и тип структуры.
Примечание.
- Рекомендуется использовать таблицу кучи для типа структуры, если ваши данные содержат varchar(max), nvarchar(max) и varbinary(max).
- Убедитесь, что схема в выделенном пуле Azure Synapse SQL уже создана перед началом подключения к ссылке. Azure Synapse Link для SQL автоматически создаст таблицы в вашей схеме в пуле SQL Azure Synapse.
В раскрывающемся списке "Действие для существующей целевой таблицы" выберите вариант, наиболее подходящий для вашего сценария, если таблица уже существует в назначении.
- Удаление и повторное создание таблицы: существующая целевая таблица будет удалена и воссоздана.
- Сбой при наличии данных в таблице: если целевая таблица содержит данные, подключение для данной таблицы завершится ошибкой.
- Слияние с существующими данными: данные будут объединены в существующую таблицу.
Примечание.

Если вы хотите объединить несколько источников в одно место назначения, выбрав "Объединить с существующими данными", убедитесь, что источники содержат разные данные, чтобы избежать конфликтов и непредвиденных результатов.
Укажите, следует ли включить согласованность транзакций в таблицах.
- Если этот параметр включен, транзакция по нескольким таблицам в исходной базе данных всегда реплицируется в целевую базу данных в одной транзакции. Но это приведет к повышению затрат на общую пропускную способность репликации.
- Если этот параметр отключен, каждая таблица будет реплицировать изменения в рамках своей собственной транзакции в место назначения, используя параллельные подключения, что повышает общую пропускную способность репликации.
Примечание.

Если вы хотите обеспечить согласованность транзакций между таблицами, убедитесь, что в выделенном пуле SQL Synapse установлен уровень изоляции транзакций READ COMMITTED SNAPSHOT ISOLATION.
Выберите Опубликовать все, чтобы сохранить новое соединение с службой.

Запуск подключения к Azure Synapse Link

Нажмите кнопку "Пуск", а затем подождите несколько минут, пока данные будут реплицированы.

Примечание.

Подключение с использованием связи начинается с полной начальной загрузки из вашей исходной базы данных, а затем продолжается до добавления потоков изменений через функцию канала изменений в SQL Server 2022. Дополнительные сведения см. в статье Канал изменений Azure Synapse Link для SQL.

Следите за Azure Synapse Link для SQL Server 2022

Вы можете отслеживать состояние подключения Azure Synapse Link, просмотреть, какие таблицы изначально копируются (моментальные снимки) и увидеть, какие таблицы находятся в режиме непрерывной репликации (репликация).

Перейдите в центр мониторинга рабочей области Azure Synapse и выберите Связи соединений.
Откройте запущенное подключение по ссылке и просмотрите состояние каждой таблицы.
Выберите команду Обновить в представлении мониторинга для подключения, чтобы отслеживать обновления состояния.

Запрос реплицированных данных

Подождите несколько минут, а затем убедитесь, что целевая база данных имеет ожидаемую таблицу и данные. Просмотрите данные, доступные в хранилище назначения выделенного пула SQL Azure Synapse. Теперь вы можете изучить реплицированные таблицы в целевом выделенном пуле SQL Azure Synapse.

В центре данных в разделе "Рабочая область" откройте целевую базу данных.
В разделе "Таблицы" щелкните правой кнопкой мыши одну из целевых таблиц.
Выберите новый скрипт SQL и выберите верхние 100 строк.
Выполните этот запрос, чтобы просмотреть реплицированные данные в целевом пуле Azure Synapse SQL.
Вы также можете запросить целевую базу данных с помощью Microsoft SQL Server Management Studio (SSMS) или других средств. Используйте выделенную конечную точку SQL для рабочей области в качестве имени сервера. Это имя обычно <workspacename>.sql.azuresynapse.net. Добавьте Database=databasename@poolname в качестве дополнительного параметра строки подключения при подключении с помощью SSMS или других инструментов.

Добавление или удаление таблицы в существующем подключении Azure Synapse Link

Чтобы добавить или удалить таблицы в Synapse Studio, сделайте следующее:

В рабочей области Azure Synapse откройте центр интеграции .
Выберите соединение со ссылкой, которое нужно изменить, а затем откройте его.
Выполните одно из приведенных ниже действий.
- Чтобы добавить таблицу, выберите "Создать таблицу".
- Чтобы удалить таблицу, щелкните значок корзины рядом с ним.
Примечание.

Вы можете добавлять или удалять таблицы, когда подключение активно.

Остановка подключения к Azure Synapse Link

Чтобы остановить подключение Azure Synapse Link в Synapse Studio, сделайте следующее:

В рабочей области Azure Synapse откройте центр интеграции .
Выберите соединение со ссылкой, которое нужно изменить, а затем откройте его.
Нажмите кнопку Остановить, чтобы остановить подключение по каналу. Репликация данных будет прекращена.
Примечание.
- Если вы перезапустите подключение ссылки после его остановки, соединение начнется с полной начальной загрузки из вашей исходной базы данных, и инкрементальные потоки изменений будут применяться.
- Если вы выберете "Объединить с существующими данными" в качестве действия в существующей целевой таблице, при остановке подключения к ссылке и перезапуске ее удаление записей в источнике в течение этого периода не будет удалено в назначении. В таком случае, чтобы обеспечить согласованность данных, рекомендуется использовать приостановку и возобновление вместо остановки и запуска или очистку целевых таблиц перед перезапуском соединения связи.

Обновите токен общей подписи доступа для зоны посадки

Токен подписанного URL-адреса для совместного доступа необходим для SQL ленты изменений, чтобы получить доступ к целевой зоне и загрузить данные туда. Он имеет дату окончания срока действия, поэтому необходимо повернуть маркер до этой даты. В противном случае Azure Synapse Link не сможет реплицировать данные из экземпляра SQL Server в выделенный пул Azure Synapse SQL.

В рабочей области Azure Synapse откройте центр интеграции .
Выберите соединение со ссылкой, которое нужно изменить, а затем откройте его.
Выберите Повернуть токен.
Чтобы получить новый токен общедоступной подписи, выберите «Создать автоматически» или «Ввести вручную», а затем нажмите «ОК».

Примечание.

Если вы не можете подключиться к зоне высадки с помощью созданного маркера SAS по причине ограничения вашего хранилища, можно также попытаться использовать маркер делегирования SAS для подключения к зоне высадки.

Следующие шаги

Если вы используете базу данных, отличной от SQL Server 2022, см. следующие статьи: