Datastore Класс

Получение хранилища данных по имени. Это то же самое, что вызов конструктора.

static get(workspace, datastore_name)

Параметры

Возвращаемое значение

Получите хранилище данных по умолчанию для рабочей области.

static get_default(workspace)

Параметры

Возвращаемое значение

Зарегистрируйте контейнер BLOB-объектов Azure в хранилище данных.

Поддерживаются доступ к данным на основе учетных данных (GA) и на основе удостоверений (предварительная версия), можно выбрать использование маркера SAS или ключа учетной записи хранения. Если учетные данные не сохраняются в хранилище данных, маркер AAD пользователей будет использоваться в записной книжке или локальной программе Python, если он напрямую вызывает одну из этих функций: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files удостоверение целевого объекта вычислений будет использоваться в заданиях, отправленных Experiment.submit для проверки подлинности доступа к данным. Дополнительные сведения см. здесь.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

Инициализация нового хранилища данных Озера данных Azure.

Доступ к данным на основе учетных данных (GA) и на основе удостоверений (предварительная версия) поддерживается. Вы можете зарегистрировать хранилище данных в субъекте-службе для доступа к данным на основе учетных данных. Если учетные данные не сохраняются в хранилище данных, маркер AAD пользователей будет использоваться в записной книжке или локальной программе Python, если он напрямую вызывает одну из этих функций: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files удостоверение целевого объекта вычислений будет использоваться в заданиях, отправленных Experiment.submit для проверки подлинности доступа к данным. Дополнительные сведения см. здесь.

Ниже приведен пример регистрации Azure Data Lake 1-го поколения в качестве хранилища данных.

   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

Инициализация нового хранилища данных Azure Data Lake 2-го поколения.

Доступ к данным на основе учетных данных (GA) и на основе удостоверений (предварительная версия) поддерживается. Вы можете зарегистрировать хранилище данных в субъекте-службе для доступа к данным на основе учетных данных. Если учетные данные не сохраняются в хранилище данных, маркер AAD пользователей будет использоваться в записной книжке или локальной программе Python, если он напрямую вызывает одну из этих функций: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files удостоверение целевого объекта вычислений будет использоваться в заданиях, отправленных Experiment.submit для проверки подлинности доступа к данным. Дополнительные сведения см. здесь.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

Зарегистрируйте общую папку Azure в хранилище данных.

Вы можете использовать маркер SAS или ключ учетной записи хранения.

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

Инициализация нового хранилища данных Azure MySQL.

Хранилище данных MySQL можно использовать только для создания DataReference в качестве входных и выходных данных в DataTransferStep в конвейерах машинного обучения Azure. Дополнительные сведения см. здесь.

Ниже приведен пример регистрации базы данных Azure MySQL в качестве хранилища данных.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

Инициализировать новое хранилище данных Azure PostgreSQL.

Ниже приведен пример регистрации базы данных Azure PostgreSQL в качестве хранилища данных.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

Инициализировать новое хранилище данных базы данных SQL Azure.

Поддерживаются доступ к данным на основе учетных данных (GA) и на основе удостоверений (предварительная версия), вы можете использовать субъект-службу или имя пользователя и пароль. Если учетные данные не сохраняются в хранилище данных, маркер AAD пользователей будет использоваться в записной книжке или локальной программе Python, если он напрямую вызывает одну из этих функций: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files удостоверение целевого объекта вычислений будет использоваться в заданиях, отправленных Experiment.submit для проверки подлинности доступа к данным. Дополнительные сведения см. здесь.

Ниже приведен пример регистрации базы данных SQL Azure в качестве хранилища данных.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

Инициализация нового хранилища данных Databricks File System (DBFS).

Хранилище данных DBFS можно использовать только для создания DataReference в качестве входных данных и PipelineData в качестве выходных данных в DatabricksStep в конвейерах машинного обучения Azure. Дополнительные сведения см. здесь.

static register_dbfs(workspace, datastore_name)

Параметры

Возвращаемое значение

Комментарии

Если вы подключаете хранилище из другого региона, чем регион рабочей области, это может привести к увеличению задержки и дополнительным затратам на использование сети.

Инициализация нового хранилища данных HDFS.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

Параметры

Задайте хранилище данных по умолчанию.

set_as_default()

Параметры

Отменяет регистрацию хранилища данных. Базовая служба хранилища не будет удалена.

unregister()