Копирование данных из Cassandra с помощью Фабрики данных Azure или Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как с помощью действия копирования в конвейере Фабрики данных Azure или Azure Synapse Analytics копировать данные из базы данных Cassandra. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Соединитель Cassandra предназначен для поддержки следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников/приемников, см. в таблице Поддерживаемые хранилища данных.

В частности, этот соединитель Cassandra поддерживает:

• Cassandra версии 3.x.x и 4.x.x для версии 2.0.
• Cassandra версии 2.x и 3.x для версии 1.0.
• Копирование данных с использованием базовой или анонимной проверки подлинности.

Предварительные условия

Если хранилище данных размещено в локальной сети, виртуальной сети Azure или виртуальном частном облаке Amazon, для подключения к нему нужно настроить локальную среду выполнения интеграции.

Если же хранилище данных представляет собой управляемую облачную службу данных, можно использовать Azure Integration Runtime. Если доступ предоставляется только по IP-адресам, утвержденным в правилах брандмауэра, вы можете добавить IP-адреса Azure Integration Runtime в список разрешений.

Вы также можете использовать функцию среды выполнения интеграции в управляемой виртуальной сети в Фабрике данных Azure для доступа к локальной сети без установки и настройки локальной среды выполнения интеграции.

Дополнительные сведения о вариантах и механизмах обеспечения сетевой безопасности, поддерживаемых Фабрикой данных, см. в статье Стратегии получения доступа к данным.

Среда выполнения интеграции предоставляет встроенный драйвер Cassandra, поэтому при копировании данных из Cassandra вам не потребуется устанавливать драйвер вручную.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы для Cassandra с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для Cassandra в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск по запросу Cassandra и выберите соединитель Cassandra.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, специфичных для соединителя Cassandra.

Свойства связанного сервиса

Для связанной службы Cassandra поддерживаются следующие свойства:

Пример: версия 2.0

{
    "name": "CassandraLinkedService",
    "properties": {
        "type": "Cassandra",
        "version": "2.0", 
        "typeProperties": {
            "host": "<host>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: версия 1.0

{
    "name": "CassandraLinkedService",
    "properties": {
        "type": "Cassandra",
        "typeProperties": {
            "host": "<host>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. Этот раздел содержит список свойств, поддерживаемых набором данных Cassandra.

Чтобы скопировать данные из Cassandra, установите для свойства type набора данных значение CassandraTable. Поддерживаются следующие свойства:

Пример:

{
    "name": "CassandraDataset",
    "properties": {
        "type": "CassandraTable",
        "typeProperties": {
            "keySpace": "<keyspace name>",
            "tableName": "<table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Cassandra linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, доступных для определения действий, см. в статье Конвейеры. Этот раздел содержит список свойств, поддерживаемых источником Cassandra.

Cassandra в качестве источника

Если вы используете версию 2.0 для копирования данных из Cassandra, задайте тип источника в действии копирования в CassandraSource. В разделе source операции копирования поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyFromCassandra",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Cassandra input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "CassandraSource",
                "query": "select id, firstname, lastname from mykeyspace.mytable",
                "consistencyLevel": "one"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Если вы используете версию 1.0 для копирования данных из Cassandra, задайте тип источника в действии копирования как CassandraSource. В разделе source операции копирования поддерживаются следующие свойства:

Сопоставление типов данных для Cassandra

При копировании данных из Cassandra используются следующие сопоставления типов данных Cassandra с промежуточными типами данных, используемыми службой для внутренних целей. Дополнительные сведения о том, как действие копирования сопоставляет исходную схему и сопоставление типов данных с приемником, см. в разделе Схемы и сопоставление типов данных.

Работа с коллекциями при использовании версии 2.0

При использовании версии 2.0 для копирования данных из базы данных Cassandra виртуальные таблицы для типов коллекций не создаются. Исходную таблицу можно скопировать в приемник в исходном типе в формате JSON.

Пример

Пример таблицы ExampleTable в базе данных Cassandra содержит следующие столбцы: столбец первичного ключа pk_int (целое число), текстовый столбец value, столбец списка, столбец отображения и столбец множества (названный StringSet).

Данные можно считывать непосредственно из исходной таблицы, а значения столбцов сохраняются в исходном формате JSON, как показано в следующей таблице:

Работа с коллекциями с помощью виртуальной таблицы при использовании версии 1.0

В службе используется встроенный драйвер ODBC, который позволяет подключаться к базе данных Cassandra и копировать из нее данные. Для типов коллекций, включая отображения, наборы и списки, драйвер ренормализует данные в соответствующие виртуальные таблицы. В частности, если таблица содержит столбцы коллекции, драйвер создает следующие виртуальные таблицы.

• Базовая таблица, в которой содержатся те же данные, что и в исходной таблице, кроме столбцов коллекции. Название основной таблицы совпадает с названием реальной таблицы, которую она представляет.
• Виртуальная таблица для каждого столбца коллекции, раскрывающая вложенные данные. Виртуальные таблицы, представляющие коллекции, именуются с использованием имени исходной таблицы, разделителя "vt" и имени столбца.

Виртуальные таблицы ссылаются на данные в исходной таблице, что позволяет драйверу подключаться к денормализованным данным. Дополнительные сведения см. в разделе "Пример". Доступ к содержимому коллекций Cassandra можно получить при помощи отправки запроса и соединения виртуальных таблиц.

Пример

Пример таблицы ExampleTable в базе данных Cassandra содержит следующие столбцы: столбец первичного ключа pk_int (целое число), текстовый столбец value, столбец списка, столбец отображения и столбец множества (названный StringSet).

Для представления такой одной таблицы драйвер создает несколько виртуальных таблиц. Столбцы внешнего ключа в виртуальных таблицах ссылаются на столбцы первичного ключа в исходных таблицах и указывают, какая строка исходной таблицы соответствует строке виртуальной таблицы.

Первая виртуальная таблица, базовая таблица с названием "ExampleTable", представлена в следующей таблице:

Базовая таблица содержит те же данные, что и исходная таблица базы данных, за исключением коллекций, которые опущены в этой таблице и раскрыты в других виртуальных таблицах.

Ниже приведены виртуальные таблицы, в которых ренормализированы данные из столбцов "Список", "Сопоставление" и StringSet. Столбцы, имена которых заканчиваются на _index или _key, указывают на позицию данных в исходном списке или отображении. Столбцы, имена которых заканчиваются на _value, содержат развернутые данные из коллекции.

Таблица "ExampleTable_vt_List":

Таблица ExampleTable_vt_Map:

Таблица ExampleTable_vt_StringSet:

Свойства операции поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление соединителя Cassandra

Ниже приведены действия, которые помогут обновить соединитель Cassandra:

1. На странице "Изменить связанную службу " выберите версию 2.0 и настройте связанную службу, указав свойства связанной службы.

2. В версии 2.0 query источник операции копирования поддерживает только запрос CQL, а не запрос SQL-92. Дополнительные сведения см. в Cassandra как источник.

3. Сопоставление типов данных для версии 2.0 отличается от сопоставления типов данных для версии 1.0. Чтобы узнать о последнем обновлении сопоставления типов данных, см. в разделе Сопоставление типов данных для Cassandra.

Различия между Cassandra версии 2.0 и версией 1.0

Соединитель Cassandra версии 2.0 предлагает новые функциональные возможности и совместим с большинством функций версии 1.0. В таблице ниже показаны различия функций между версией 2.0 и версией 1.0.

Связанный контент

Список хранилищ данных, поддерживаемых в качестве источников и приемников для действия копирования, см. в Поддерживаемые хранилища данных.