Настройка подключения Azure Data Lake Storage 2-го поколения

В этой статье описаны действия по созданию подключения Azure Date Lake Storage 2-го поколения для конвейеров и потока данных 2-го поколения в Microsoft Fabric.

Поддерживаемые типы аутентификации

Соединитель Azure Date Lake Storage 2-го поколения поддерживает следующие типы проверки подлинности для копирования и потока данных 2-го поколения соответственно.

Настройте ваше подключение для Dataflow Gen2

Вы можете подключить Dataflow 2-го поколения к Azure Data Lake Storage 2-го поколения в Microsoft Fabric с помощью соединителей Power Query. Выполните следующие действия, чтобы создать подключение:

1. Проверьте возможности, ограничения и рекомендации , чтобы убедиться, что ваш сценарий поддерживается.
2. Полные предварительные требования для Azure Data Lake Storage 2-го поколения.
3. Перейдите к разделу "Получить данные".
4. Подключитесь к Azure Data Lake Storage 2-го поколения.

Возможности

• Импорт
• Представление файловой системы
• Представление папки CDM

Необходимые условия

• Подписка Azure. Перейдите к получению бесплатной пробной версии Azure.

• Учетная запись хранения с иерархическим пространством имен. Чтобы создать ее, выполните инструкции по созданию учетной записи хранения. В этой статье предполагается, что вы создали учетную запись хранения с именем myadlsg2.

• Убедитесь, что вам предоставлена одна из следующих ролей для учетной записи хранения: читатель данных BLOB, сотрудник данных BLOB или владелец данных BLOB.

• Пример файла данных с именем Drivers.txt , расположенного в учетной записи хранения. Этот пример можно скачать из репозитория Azure Data Lake Git, а затем отправить этот файл в учетную запись хранения.

Получение данных

Чтобы получить данные в фабрике данных, выполните приведенные действия.

1. В левой части Фабрики данных выберите Рабочие области.

2. В рабочей области Data Factory выберите Новый>Dataflow Gen2, чтобы создать новый поток данных.

   

3. В Power Query выберите Получить данные на ленте или выберите Получить данные из другого источника в текущем представлении.

   

4. На странице Выбор источника данных используйте поиска для поиска имени соединителя или выберите просмотреть дополнительные в правой части соединителя, чтобы просмотреть список всех соединителей, доступных в службе Power BI.

   

5. Если вы решили просмотреть дополнительные соединители, вы по-прежнему можете использовать поиск по имени соединителя или выбрать категорию, чтобы просмотреть список соединителей, связанных с этой категорией.

   

Подключение к Azure Data Lake Storage 2-го поколения

1. Выберите параметр Azure Data Lake Storage 2-го поколения в интерфейсе получения данных. Различные приложения имеют различные способы получения данных в Power Query Online. Дополнительные сведения о том, как получить доступ к возможности получения данных в Power Query Online из вашего приложения, смотрите в разделе Где получить данные.

   

2. В разделе "Подключение к источнику данных" введите URL-адрес учетной записи Azure Data Lake Storage 2-го поколения. Обратитесь к ограничениям и соображениям, чтобы определить URL-адрес, который следует использовать.

   

3. Выберите, следует ли использовать представление файловой системы или представление папки Common Data Model.

4. При необходимости выберите локальный шлюз данных в шлюзе данных.

5. Выберите вход, чтобы войти в учетную запись Azure Data Lake Storage 2-го поколения. Вы перенаправляетесь на страницу входа вашей организации. Следуйте инструкциям по входу в учетную запись.

6. После успешного входа нажмите кнопку "Далее".

7. На странице "Выбор данных " отображаются все файлы в url-адресе, который вы указали. Проверьте сведения и выберите "Преобразовать данные ", чтобы преобразовать данные в Power Query.

   

Ограничения и рекомендации

• Подключения для доступа к доверенной рабочей области работают только в сочетаниях клавиш OneLake и конвейерах.
• Подключения для доступа к доверенной рабочей области не могут быть созданы из интерфейса управления шлюзами и подключениями .
• Существующие подключения, работающие для доступа к доверенной рабочей области, не могут быть изменены в интерфейсе управления шлюзами и подключениями .
• Подключения к учетным записям хранения с поддержкой брандмауэра имеют состояние "Автономный " в разделе "Управление подключениями и шлюзами".
• Проверка состояния подключения с использованием удостоверения рабочей области в качестве метода аутентификации не поддерживается.

Настройка подключений для доступа к доверенной рабочей области

1. Настройте удостоверение рабочей области в рабочей области, где будет использоваться подключение. Дополнительные сведения см. в разделе "Идентификация рабочей области".

2. Предоставьте идентификатору рабочей области, учетной записи организации или сервисному принципалу доступ к учетной записи хранения. Дополнительные сведения см. в статье "Создание ярлыка OneLake для учетной записи хранения с доступом к доверенной рабочей области"

3. Настройте правило экземпляра ресурса. Дополнительные сведения см. в разделе «Правило экземпляра ресурса».

4. Выполните действия, описанные в разделе "Настройка подключения ", чтобы создать подключение.

Настройка подключения для конвейера

В следующей таблице содержится сводка свойств, необходимых для подключения конвейера:

Чтобы настроить подключение в конвейере, выполните следующие действия.

1. В заголовке страницы в службе Интеграция данных выберите "Параметры>управления подключениями и шлюзами"

   

2. Выберите "Создать" в верхней части ленты, чтобы добавить новый источник данных.

   

   В левой части страницы отображается панель "Создать подключение ".

   

3. В области "Создать подключение" выберите Cloud и укажите следующие поля:

   

   • Имя подключения: укажите имя подключения.
   • Тип подключения: выберите тип подключения.
   • Сервер: введите имя сервера Azure Data Lake Storage 2-го поколения. Например, https://contosoadlscdm.dfs.core.windows.net. Укажите имя сервера Azure Data Lake Storage 2-го поколения. Перейдите к интерфейсу учетной записи Azure Data Lake Storage Gen2, перейдите к разделу "Конечные точки" и получите доступ к Azure Data Lake Storage Gen2.
   • Полный путь. Введите полный путь к имени контейнера Azure Data Lake Storage 2-го поколения.

4. В разделе "Проверка подлинности" выберите проверку подлинности из раскрывающегося списка и заполните соответствующую конфигурацию. Соединитель Azure Data Lake Storage 2-го поколения поддерживает следующие типы проверки подлинности:

   • Ключ
   • Учетная запись организации
   • Подписанное полномочие на доступ
   • Принципал службы
   • Идентификатор рабочей области

   

5. При необходимости задайте уровень конфиденциальности, который вы хотите применить. Допустимые значения: Организационная, Конфиденциальная и Публичная. Дополнительные сведения см. в документации Power Query о уровнях конфиденциальности.

6. Нажмите кнопку создания. Создание успешно протестировано и сохранено, если все учетные данные верны. Если это не правильно, создание завершается ошибкой.

Настройка подключения в любом элементе Fabric

1. В любом элементе Fabric выберите параметр Azure Data Lake Storage 2-го поколения в выборе "Получить данные", а затем нажмите кнопку "Подключить".

   

2. Вы можете выбрать источник данных, созданный на предыдущих шагах, или создать новое подключение, выбрав Azure Data Lake Storage 2-го поколения.

3. В разделе "Подключение к источнику данных" введите URL-адрес учетной записи Azure Data Lake Storage 2-го поколения. Ознакомьтесь с ограничениями , чтобы определить используемый URL-адрес.

4. Выберите, следует ли использовать представление файловой системы или представление папки Common Data Model.

5. При необходимости выберите локальный шлюз данных в Шлюз данных (поддерживается только в Dataflow Gen1, Dataflow Gen2 и семантических моделях).

6. Выберите вход, чтобы войти в учетную запись Azure Data Lake Storage 2-го поколения. Вы перенаправляетесь на страницу входа вашей организации. Следуйте инструкциям по входу в учетную запись.

7. После успешного входа нажмите кнопку "Далее".

Проверка подлинности

Соединитель Azure Data Lake Storage 2-го поколения поддерживает следующие типы проверки подлинности:

• Ключ
• Учетная запись организации
• Подписанное полномочие на доступ
• Принципал службы
• Идентификатор рабочей области

Проверка подлинности с использованием ключа

Ключ учетной записи: укажите ключ учетной записи для Azure Data Lake Storage 2-го поколения. Перейдите к интерфейсу учетной записи Azure Data Lake Storage 2-го поколения, перейдите к разделу "Ключ доступа" и получите ключ учетной записи.

Проверка подлинности учетной записи организации

Откройте команду "Изменить учетные данные". Откроется интерфейс входа. Введите свою учетную запись и пароль для входа в свою учетную запись. После входа вы вернетесь на страницу "Создать подключение ".

Предоставьте учетной записи организации соответствующее разрешение. Примеры работы разрешений в Azure Data Lake Storage 2-го поколения см. в списках управления доступом в файлах и каталогах.

• Как источник, в Storage Explorer предоставьте по крайней мере разрешение на выполнение для всех вышестоящих папок и файловой системы, а также разрешение на чтение для файлов, которые нужно копировать. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Модуль чтения данных BLOB-объектов хранилища.
• В качестве назначения в Storage Explorer предоставьте по крайней мере разрешение Execute для всех родительских папок и файловой системы, а также разрешение Write для целевой папки. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Участник для данных BLOB-объектов хранилища.

Аутентификация с помощью подписей для общего доступа (SAS)

Токен общего доступа SAS: укажите токен общего доступа для вашего контейнера Azure Data Lake Storage Gen2.

Если у вас нет маркера SAS, перейдите на общую подпись доступа в интерфейсе учетной записи Azure Data Lake Storage Gen2. В разделе "Разрешенные типы ресурсов" выберите "Контейнер", а затем выберите "Создать SAS" и строка подключения. Маркер SAS можно получить из генерируемого содержимого, которое отображается. Подписанный URL-адрес — это универсальный код ресурса (URI), который в своих параметрах запроса содержит все сведения, необходимые для доступа к ресурсу хранилища с прохождением аутентификации. Для доступа к ресурсам хранилища с помощью подписанной строки доступа (SAS), клиенту нужно лишь передать SAS в соответствующий конструктор или метод. Дополнительные сведения о подписанных URL-адресах см. в сигнатурах общего доступа. Общие сведения о модели подписанных URL-адресов.

Аутентификация субъекта-службы

• Идентификатор клиента: укажите сведения о клиенте (доменное имя или идентификатор клиента), в котором находится ваше приложение. Эти сведения можно получить, наведя указатель мыши на правый верхний угол страницы портала Azure.
• Идентификатор сервисного принципала: укажите идентификатор приложения (клиента).
• Ключ служебного принципала: укажите ключ вашего приложения.

Чтобы использовать проверку подлинности субъекта-службы, выполните следующие действия.

1. Зарегистрируйте приложение в системе Microsoft Entra ID, следуя шагам в разделе Регистрация вашего приложения в арендаторе Microsoft Entra. Запишите эти значения, которые используются для определения подключения:

   • Идентификатор клиента
   • Идентификатор приложения
   • ключ приложения.

2. Предоставьте правильное разрешение субъекту-службе. Примеры работы разрешений в Azure Data Lake Storage 2-го поколения см. в списках управления доступом в файлах и каталогах.

   • Как источник, в Storage Explorer предоставьте по крайней мере разрешение на выполнение для всех вышестоящих папок и файловой системы, а также разрешение на чтение для файлов, которые нужно копировать. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Модуль чтения данных BLOB-объектов хранилища.
   • В качестве назначения в Storage Explorer предоставьте по крайней мере разрешение Execute для всех родительских папок и файловой системы, а также разрешение Write для целевой папки. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Участник для данных BLOB-объектов хранилища.

   Примечание.

   Если вы используете пользовательский интерфейс для создания и роль 'Чтение/участник данных BLOB-хранилища' не назначена для главного объекта службы в IAM, при выполнении тестового подключения или просмотра/навигации папок выберите Проверить подключение к пути к файлу или Обзор из указанного пути, а затем укажите путь с разрешением Чтение + Выполнение, чтобы продолжить.

Проверка аутентификации идентификации рабочей области

Идентификация рабочей области: выберите идентификацию рабочей области из раскрывающегося списка методов аутентификации. Автоматически управляемое удостоверение рабочей области Fabric — это представитель службы, который может быть связан с рабочей областью Fabric. Рабочие области Fabric с удостоверением рабочей области могут безопасно считывать или записывать в учетные записи Azure Data Lake Storage Gen2 с помощью шорткатов OneLake и конвейеров. При выборе этого параметра в соединителе убедитесь, что рабочая область имеет удостоверение рабочей области и что удостоверение имеет возможность читать или записывать данные в нужную учетную запись Azure Data Lake Storage 2-го поколения. Дополнительные сведения см. в разделе "Удостоверение рабочей области"

Связанный контент

• Дополнительные сведения об этом соединителе см. в документации по соединителю Azure Data Lake Storage 2-го поколения.
• Настройка Azure Data Lake Storage второго поколения в процессе копирования
• Доступ к доверенной рабочей области
• Идентификация рабочей области