FileDataset Класс

Создайте datacacheConsumptionConfig, сопоставленную с datacache_store и набором данных.

as_cache(datacache_store)

Параметры

Возвращаемое значение

Создайте datasetConsumptionConfig с заданным для скачивания режимом.

В отправленном запуске файлы в наборе данных будут загружены в локальный путь к целевому объекту вычислений. Расположение скачивания можно получить из значений аргументов и поля input_datasets контекста выполнения. Мы автоматически создадим входное имя. Если вы хотите указать пользовательское имя ввода, вызовите метод as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

Параметры

Комментарии

При создании набора данных из пути к одному файлу расположение скачивания будет путь к одному скачанном файлу. В противном случае расположение скачивания будет путь к заключающей папке для всех скачанных файлов.

Если path_on_compute начинается с /, он будет рассматриваться как абсолютный путь. Если он не начинается с /, он будет рассматриваться как относительный путь относительно рабочего каталога. Если вы указали абсолютный путь, убедитесь, что задание имеет разрешение на запись в этот каталог.

Задайте для режима hdfs.

В отправленном запуске synapse файлы в наборах данных будут преобразованы в локальный путь к целевому объекту вычислений. Путь hdfs можно получить из значений аргументов и переменных среды ос.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

Комментарии

При создании набора данных из пути к одному файлу путь hdfs будет путь к одному файлу. В противном случае путь hdfs будет путь к заключающей папке для всех подключенных файлов.

Создайте datasetConsumptionConfig с установленным режимом подключения.

В отправленном запуске файлы в наборах данных будут подключены к локальному пути к целевому объекту вычислений. Точку подключения можно получить из значений аргументов и поля input_datasets контекста выполнения. Мы автоматически создадим входное имя. Если вы хотите указать пользовательское имя ввода, вызовите метод as_named_input.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

Параметры

Комментарии

При создании набора данных из пути к одному файлу точка подключения будет путь к одному подключенному файлу. В противном случае точка подключения будет путь к заключающей папке для всех подключенных файлов.

Если path_on_compute начинается с /, он будет рассматриваться как абсолютный путь. Если он не начинается с /, он будет рассматриваться как относительный путь относительно рабочего каталога. Если вы указали абсолютный путь, убедитесь, что задание имеет разрешение на запись в этот каталог.

Скачайте потоки файлов, определенные набором данных как локальные файлы.

download(target_path=None, overwrite=False, ignore_not_found=False)

Параметры

Возвращаемое значение

Комментарии

Если target_path начинается с /, он будет рассматриваться как абсолютный путь. Если он не начинается с /, он будет рассматриваться как относительный путь относительно текущего рабочего каталога.

Получите выражение метаданных файла, указав имя столбца метаданных.

Поддерживаемые столбцы метаданных файла: Size, LastModifiedTime, CreationTime, Extension и CanSeek

file_metadata(col)

Параметры

Возвращаемое значение

Выполняет фильтрацию данных, оставляя только те записи, которые соответствуют указанному выражению.

filter(expression)

Параметры

Возвращаемое значение

Комментарии

Выражения запускаются путем индексирования набора данных с именем столбца. Они поддерживают различные функции и операторы и могут объединяться с помощью логических операторов. Результирующее выражение будет неявно вычисляться для каждой записи при возникновении извлечения данных, а не в том месте, где оно определено.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

Гидратирует набор данных в запрошенные реплики, указанные в datacache_store.

hydrate(datacache_store, replica_count=None)

Параметры

Возвращаемое значение

Создайте диспетчер контекстов для подключения потоков файлов, определенных набором данных как локальные файлы.

mount(mount_point=None, **kwargs)

Параметры

Возвращаемое значение

Комментарии

Для управления жизненным циклом подключения будет возвращен диспетчер контекста. Чтобы подключиться, необходимо ввести диспетчер контекстов и отключить выход из диспетчера контекста.

Подключение поддерживается только в операционных системах Unix или им подобных с установленной библиотекой libfuse с собственным пакетом. Если вы работаете внутри контейнера Docker, контейнер Docker должен быть запущен с флагом -privileged или запущен с -cap-add SYS_ADMIN –device /dev/fuse.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

Если target_path начинается с /, он будет рассматриваться как абсолютный путь. Если он не начинается с /, он будет рассматриваться как относительный путь относительно текущего рабочего каталога.

Разделение потоков файлов в наборе данных на две части случайным образом и приблизительно по процентам, указанным.

Первый возвращаемый набор данных содержит приблизительно percentage общее количество ссылок на файлы, а второй набор данных содержит оставшиеся ссылки на файлы.

random_split(percentage, seed=None)

Параметры

Возвращаемое значение

Пропустите потоки файлов из верхней части набора данных указанным числом.

skip(count)

Параметры

Возвращаемое значение

Пример файловых потоков из верхней части набора данных по указанному числу.

take(count)

Параметры

Возвращаемое значение

Выборка случайных потоков файлов в наборе данных приблизительно по заданной вероятности.

take_sample(probability, seed=None)

Параметры

Возвращаемое значение

Получите список путей к файлам для каждого потока файлов, определенного набором данных.

to_path()

Возвращаемое значение

Комментарии

Пути к файлам — это относительные пути для локальных файлов, когда потоки файлов скачиваются или подключены.

Общий префикс будет удален из путей к файлам в зависимости от того, как был указан источник данных для создания набора данных. Рассмотрим пример.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']