Зеркальное определение каталога Azure Databricks Unity

В этой статье представлена разбивка структуры определения для зеркальных элементов каталога Azure Databricks Unity.

Части определения

В этой таблице перечислены части определения.

Путь к части определения тип Обязательно Описание
definition.json ContentDetails правда Описание параметров зеркального отображения элемента
.platform PlatformDetails (JSON) неправда Описание общих сведений об элементе

ContentDetails

Описывает содержимое полезных данных.

Имя Тип Обязательно Описание
$schema Струна правда URL-адрес спецификации схемы.
имяКаталога Струна правда Имя каталога Azure databricks.
databricksWorkspaceConnectionId Гид правда Идентификатор подключения рабочей области Azure databricks.
autoSync Автосинхронная синхронизация неправда Описывает режим синхронизации. Допустимые значения: Enabled и Disabled.
зеркальное отображениеMode Зеркальное отображениеMode правда Описывает режим зеркального отображения с возможными значениями: Full и Partial.
storageConnectionId Гид неправда Идентификатор подключения к хранилищу ADLS 2-го поколения.
mirrorConfiguration MirrorConfiguration Репликация метаданных из исходной системы. Например, используйте этот параметр для зеркального отображения определенной схемы или определенной таблицы.

Автосинхронная синхронизация

Имя Описание
Включен Включена автоматическая синхронизация.
Нетрудоспособный Автоматическая синхронизация отключена.

Зеркальное отображениеMode

Имя Описание
Полный Реплицирует все объекты в каталоге, за исключением явным образом исключенных схем и таблиц. По умолчанию используется полная синхронизация, если исключения не заданы.
Частично Зеркально отображаются только выбранные схемы и таблицы. По умолчанию ничего не синхронизируется.

Описание содержимого MirrorConfiguration

Имя Тип Описание
схемы схема[] Список схем для зеркального отображения, каждый из которых содержит определенные конфигурации.

Описание содержимого схемы

Имя Тип Обязательно Описание
имя Струна правда Имя схемы относительно родительского каталога.
зеркальное отображениеMode SchemaMirroringMode правда Описывает режим зеркального отображения. Допустимые значения: FullExclude и Partial.
Таблицы Таблица[] неправда Список таблиц в схеме для зеркального отображения.

SchemaMirroringMode

Имя Описание
Полный Зеркальное отображение всего внутри схемы, за исключением специально исключенных таблиц. Все синхронизировано по умолчанию, если исключение не предусмотрено.
Частично Зеркально отображаются только выбранные таблицы.
Исключить Исключает выбранные схемы из зеркального отображения. Этот параметр доступен только в том случае, если для режима зеркального отображения каталога задано Fullзначение .

Описание содержимого таблицы

Имя Тип Обязательно Описание
имя Струна правда Имя таблицы относительно родительской схемы.
зеркальное отображениеMode TableMirroringMode правда Описывает режим зеркального отображения. Допустимые значения: Full и Exclude.

TableMirroringMode

Имя Описание
Полный Зеркальное отображение всей таблицы.
Исключить Исключает выбранные таблицы из зеркального отображения. Этот параметр доступен только в том случае, если для режима зеркального отображения схемы задано Fullзначение .

Пример ContentDetails 1

Пример зеркального отображения частичного каталога, где определенные схемы в каталоге зеркально отражаются.

{
    "$schema": "https://developer.microsoft.com/json-schemas/fabric/item/mirroredAzureDatabricksCatalog/definition/mirroredAzureDatabricksCatalogDefinition/1.0.0/schema.json",
    "catalogName": "catalogName",
    "databricksWorkspaceConnectionId": "4eb6b767-e786-45ed-b7cf-d25023e52222",
    "autoSync": "Enabled",
    "mirroringMode": "Partial",
    "mirrorConfiguration": {
      "schemas": [
        {
          "name": "schema_3",
          "mirroringMode": "Full"
        },
        {
          "name": "schema_2",
          "mirroringMode": "Full"
        }
      ]
    }
}

Пример ContentDetails 2

Пример зеркального отображения частичного каталога, полностью зеркального отображения определенных схем при исключении определенных таблиц в них.

{
    "$schema": "https://developer.microsoft.com/json-schemas/fabric/item/mirroredAzureDatabricksCatalog/definition/mirroredAzureDatabricksCatalogDefinition/1.0.0/schema.json",
    "catalogName": "catalogName",
    "databricksWorkspaceConnectionId": "4eb6b767-e786-45ed-b7cf-d25023e52222",
    "autoSync": "Enabled",
    "mirroringMode": "Partial",
    "mirrorConfiguration": {
      "schemas": [
        {
          "name": "schema_3",
          "mirroringMode": "Full",
          "tables": [
            {
              "name": "table_1",
              "mirroringMode": "Exclude"
            }
          ]
        },
        {
          "name": "schema_2",
          "mirroringMode": "Full",
          "tables": [
            {
              "name": "table_2",
              "mirroringMode": "Exclude"
            }
          ]
        }
      ]
    }
}

Пример ContentDetails 3

Пример зеркального отображения частичного каталога, где определенные таблицы в выбранной схеме зеркально отражаются.

{
    "$schema": "https://developer.microsoft.com/json-schemas/fabric/item/mirroredAzureDatabricksCatalog/definition/mirroredAzureDatabricksCatalogDefinition/1.0.0/schema.json",
    "catalogName": "catalogName",
    "databricksWorkspaceConnectionId": "4eb6b767-e786-45ed-b7cf-d25023e52222",
    "autoSync": "Disabled",
    "mirroringMode": "Partial",
    "mirrorConfiguration": {
      "schemas": [
        {
          "name": "schema_3",
          "mirroringMode": "Partial",
          "tables": [
            {
              "name": "table_1",
              "mirroringMode": "Full"
            }
          ]
        },
        {
          "name": "schema_2",
          "mirroringMode": "Partial",
          "tables": [
            {
              "name": "table_2",
              "mirroringMode": "Full"
            }
          ]
        }
      ]
    }
}

Пример ContentDetails 4

Пример полного зеркального отображения, где весь каталог зеркально отображается.

{
	"$schema": "https://developer.microsoft.com/json-schemas/fabric/item/mirroredAzureDatabricksCatalog/definition/mirroredAzureDatabricksCatalogDefinition/1.0.0/schema.json",
    "catalogName": "catalogName",
    "databricksWorkspaceConnectionId": "5eb6b767-e786-45ed-b7ef-d25023e52211",
    "autoSync": "Enabled",
    "mirroringMode": "Full"
}

Пример ContentDetails 5

Пример полного зеркального отображения каталога с определенными схемами, исключенными из каталога.


{
	"$schema": "https://developer.microsoft.com/json-schemas/fabric/item/mirroredAzureDatabricksCatalog/definition/mirroredAzureDatabricksCatalogDefinition/1.0.0/schema.json",
    "CatalogName": "catalogName",
    "databricksWorkspaceConnectionId": "5eb6b767-e786-45ed-b7ef-d25023e52211",
    "autoSync": "Disabled",
    "mirroringMode": "Full",
    "mirrorConfiguration": {
      "schemas": [
        {
          "name": "schema_3",
          "mirroringMode": "Exclude"
        },
        {
          "name": "schema_2",
          "mirroringMode": "Exclude"
        }
      ]
    }
}

Пример ContentDetails 6

Пример зеркального отображения частичного каталога, где определенные таблицы в выбранной схеме зеркально отражаются, а таблицы из других схем исключаются.

{
	"$schema": "https://developer.microsoft.com/json-schemas/fabric/item/mirroredAzureDatabricksCatalog/definition/mirroredAzureDatabricksCatalogDefinition/1.0.0/schema.json",
    "catalogName": "catalogName",
    "databricksWorkspaceConnectionId": "4eb6b767-e786-45ed-b7cf-d25023e52222",
    "autoSync": "Disabled",
    "mirroringMode": "Partial",
    "mirrorConfiguration": {
      "schemas": [
        {
          "name": "schema_3",
          "mirroringMode": "Partial",
          "tables": [
            {
              "name": "table_1",
              "mirroringMode": "Full"
            }
          ]
        },
        {
          "name": "schema_2",
          "mirroringMode": "Full",
          "tables": [
            {
              "name": "table_2",
              "mirroringMode": "Exclude"
            }
          ]
        }
      ]
    }
}