AzCopy

AzCopy — это мощная программа командной строки, предназначенная для упрощения передачи данных между учетными записями хранения Azure. Так как Microsoft OneLake поддерживает те же API, пакеты SDK и инструменты, что и служба хранилища Azure, вы также можете использовать AzCopy для загрузки данных в OneLake и из нее. В этой статье рассказано, как использовать AzCopy с OneLake, от копирования данных между артефактами до загрузки или скачивания данных.

Зачем использовать AzCopy и OneLake?

AzCopy оптимизирован для масштабных операций с данными и перемещения больших объемов данных. При копировании данных между учетными записями хранения (включая OneLake), данные перемещаются непосредственно с сервера хранилища на сервер хранения, что позволяет минимизировать узкие места производительности. AzCopy также является простым и надежным с встроенными механизмами для обработки прерываний сети и повторных попыток. С помощью AzCopy легко отправлять данные в OneLake или загружать данные из существующих источников непосредственно в элементы в Fabric!

Доступ к доверенной рабочей области и AzCopy

Доступ к доверенной рабочей области позволяет безопасно получать доступ к учетным записям хранения Azure с поддержкой брандмауэра, настраивая правило экземпляра ресурса в учетной записи хранения Azure. Это правило позволяет определенной рабочей области Fabric получить доступ к брандмауэру учетной записи хранения из выбора интерфейсов Fabric, таких как сочетания клавиш, конвейеры и AzCopy. Настроив доверенный доступ к рабочей области, AzCopy может копировать данные из учетной записи хранилища Azure с поддержкой брандмауэра в OneLake, не влияя на защиту брандмауэра. Дополнительные сведения см. в разделе "Доступ к доверенной рабочей области".

Getting Started

Если вы не знакомы с AzCopy, вы можете узнать, как скачать и приступить к работе с AzCopy начните работу с AzCopy.

При использовании AzCopy с OneLake есть несколько ключевых моментов, которые следует помнить:

1. Добавьте "fabric.microsoft.com" в качестве доверенного домена с помощью параметра --trusted-microsoft-suffixes.
2. Выберите подписку вашей исходной учетной записи хранения Azure при входе с использованием идентификатора Microsoft Entra, так как OneLake заботится только об арендаторе.
3. Используйте двойные кавычки при использовании AzCopy в командной строке и одиночных кавычках при использовании PowerShell.

В примерах этой статьи также предполагается, что Microsoft Entra ID имеет соответствующие разрешения для доступа как к исходным, так и к целевым местам.

Наконец, вам потребуется по крайней мере один источник и назначение для перемещения данных — примеры на этой странице используют два лакехауса Fabric и одну учетную запись Azure Data Lake Storage.

Пример. Копирование данных между рабочими областями Fabric

Используйте этот пример, чтобы скопировать файл из «lakehouse» из одной рабочей области в другую рабочую область с помощью команды azcopy copy. Не забудьте сначала пройти проверку подлинности, выполнив первую команду azcopy login .

Syntax

azcopy copy "https://onelake.dfs.fabric.microsoft.com/<source-workspace-name>/<source-item-name>/Files/<source-file-path>" "https://onelake.dfs.fabric.microsoft.com/<destination-workspace-name>/<destination-item-name>/Files/<destination-file-path>" --trusted-microsoft-suffixes "fabric.microsoft.com" 

Операция копирования синхронна, поэтому при возврате команды все файлы копируются.

Пример: Копирование данных из ADLS в OneLake с использованием SAS (маркер доступа общего пользования)

Сигнатура общего доступа (SAS) обеспечивает краткосрочный, делегированный доступ к службе хранилища Azure и OneLake, и является отличным вариантом предоставления средств или пользователей временного доступа к хранилищу для однократной отправки или скачивания. SAS также является отличным вариантом, если учетная запись хранения Azure находится в другом клиенте, отличном от вашего OneLake, так как авторизация Entra не будет работать, если клиенты отличаются.

В этом примере используется уникальный маркер SAS для проверки подлинности как в службе хранилища Azure, так и в OneLake. Дополнительные сведения о создании и использовании маркеров SAS с помощью службы хранилища Azure и OneLake см. на следующих страницах:

• Как создать параметр общей подписи доступа OneLake (SAS)
• Предоставление ограниченного доступа к ресурсам хранилища Azure с помощью подписанных URL-адресов (SAS)

azcopy copy "https://<account-name>.blob.core.windows.net/<source-container-name>/<source-file-path>?<blob-sas-token>" "https://onelake.dfs.fabric.microsoft.com/<destination-workspace-name>/<destination-item-name>/Files/<destination-file-path>?<onelake-sas-token>" --trusted-microsoft-suffixes "fabric.microsoft.com" --s2s-preserve-access-tier=false

Limitations

Так как OneLake является управляемым озером данных, некоторые операции не поддерживаются в AzCopy. Например, нельзя использовать AzCopy для перемещения или копирования целых элементов или рабочих областей. Вместо этого создайте новый элемент в целевом расположении с помощью интерфейса Fabric (например, портала), а затем используйте AzCopy для перемещения содержимого существующего элемента в новый элемент.

Операции между арендаторами

При попытке выполнять операции непосредственно между двумя клиентами Fabric необходимо использовать внешний общий доступ к данным. Это означает, что в настоящее время нельзя использовать AzCopy для непосредственной загрузки данных между двумя клиентами Fabric, так как это приводит к прямой операции между клиентами. Другие методы загрузки данных, например скачивание данных локально или в кластер Spark, а затем повторное отправка данных в новый клиент будет работать.

Связанный контент

• Копирование BLOB-объектов между учетными записями хранения Azure с помощью AzCopy