Используйте URI Azure Data Lake Storage (ABFS)

Драйвер Hadoop Filesystem, совместимый с Azure Data Lake Storage, использует идентификатор схемы abfs (Azure Blob File System). Как и другие драйверы файловой системы Hadoop, драйвер ABFS использует формат URI для адресации файлов и каталогов в учётной записи, для которой включён Data Lake Storage.

Синтаксис URI ABFS для Azure Data Lake Storage

Драйвер файловой системы Azure Blob работает с конечным пунктом Data Lake Storage для учетной записи, даже если для этой учетной записи не включено иерархическое пространство имен. Если у учетной записи хранения нет иерархического пространства имен, используйте следующий сокращенный синтаксис URI:

abfs[s]1://<file_system>2@<account_name>3.dfs.core.windows.net/<path>4/<file_name>5

  1. Идентификатор схемы: в качестве идентификатора схемы используется протокол abfs. Если добавить s в конце (abfss), драйвер клиента ABFS Hadoop всегда использует протокол TLS независимо от выбранного метода проверки подлинности. Если вы выбираете OAuth в качестве проверки подлинности, драйвер клиента всегда использует TLS, даже если вы указываете abfs вместо abfss того, что OAuth используется исключительно на уровне TLS. Наконец, если вы решите использовать старый метод с использованием ключа учетной записи хранения, драйвер клиента интерпретирует abfs как указание на то, что вы не хотите использовать TLS.

  2. File system (Файловая система) — указывает на родительское расположение, в котором хранятся все файлы и папки. Это размещение аналогично контейнерам в службе BLOB-объектов служба хранилища Azure.

  3. Имя учетной записи: имя, которое вы присваиваете своей учетной записи хранения при создании.

  4. Paths: представление структуры каталогов, в котором в качестве разделителя используется прямая косая черта (/).

  5. File Name (Имя файла) — содержит имя конкретного файла. Этот параметр необязателен, если вы обращаетесь к каталогу.

Если у учетной записи, для которой требуется адрес, есть иерархическое пространство имен, используйте следующий сокращенный синтаксис URI:

/<path>1/<file_name>2

  1. Path: представление структуры каталогов с разделением косой чертой (/).

  2. File Name (Имя файла) — содержит имя конкретного файла.

Следующие шаги

  • Last updated on