Изменение режимов канала в Azure Cosmos DB

В режиме последней версии можно легко обрабатывать как в режиме реального времени, так и исторические изменения элементов в контейнере с возможностью вернуться к изменениям с самого начала контейнера.

Ниже приведены сценарии, которые хорошо подходят для этого режима:

• Миграция всего контейнера в дополнительное расположение.

• Возможность повторной обработки изменений с самого начала контейнера.

• Обработка в режиме реального времени изменений в элементах контейнера, возникающих в результате операций создания и обновления.

• Рабочие нагрузки, для которых не требуется фиксировать удаления или промежуточные изменения между чтениями.

Все версии и удаление режима канала изменений позволяют создавать новые сценарии для канала изменений и упрощать другие. Вы можете считывать каждое изменение, которое произошло с элементами (даже в случаях, когда несколько изменений произошло между чтением канала изменений), определить тип операции обработки изменений и получить изменения, которые приводят к удалению.

Ниже приведены некоторые распространенные сценарии, в которых этот режим включает и улучшает следующие возможности.

• Передача данных в реальном времени между двумя расположениями без использования мягкого удаления.

• Срабатывание логики на основе инкрементных изменений, если ожидается несколько операций изменения для заданного элемента между опросами канала изменений.

• Активация оповещений об операциях удаления, например в сценариях аудита.

• Возможность по-разному обрабатывать создание, обновление и удаление элементов в зависимости от типа операции.

• Лента изменений включает операции вставки и обновления, которые применяются к элементам в контейнере.

• Этот режим канала изменений не регистрирует удаления. Вы можете зафиксировать удаление, установив флаг "мягкого удаления" в элементах вместо их непосредственного удаления. Например, можно добавить атрибут в элемент, называемый deleted со значением true, а затем задать время жизни (TTL) для элемента. Поток изменений регистрирует это как обновление, и элемент автоматически удаляется при истечении срока действия TTL. Кроме того, можно задать конечный срок действия элементов с помощью функции TTL. С этим решением необходимо обрабатывать изменения в более короткий промежуток времени, чем период истечения срока жизни TTL.

• В поток изменений включается только последнее изменение конкретного элемента. Промежуточные изменения могут быть недоступны.

• Когда элемент удаляется, он больше недоступен в канале изменений.

• Изменения могут быть синхронизированы в любой момент времени, и не существует фиксированного периода хранения данных, для которого доступны изменения.

• Возможность фильтрации канала изменений для просмотра только операций определенного типа не предусмотрена. Одним из возможных вариантов является добавление "мягкого маркера" на элемент для обновлений и фильтрации на основе маркера при обработке элементов в потоке изменений.

• Начальная точка чтения канала изменений может быть с начала контейнера, с определенного момента времени, с текущего момента или с определенной контрольной точки. Точность времени начала составляет примерно пять секунд.

• Поток изменений включает операции вставки, обновления и удаления, выполненные для элементов в контейнере. Удаление из срока действия TTL также фиксируется.

• Метаданные предоставляются для определения типа изменения, включая наличие удаления из-за истечения срока действия TTL.

• Элементы в канале изменений упорядочены по времени их последнего изменения. Удаления с истечением TTL не гарантировано появление в ленте сразу после истечения времени действия элемента. Они появляются при удалении предмета из контейнера.

• Все изменения, произошедшие в окне хранения для непрерывного резервного копирования в учетной записи, можно считывать. Попытка считывать изменения, произошедшие за пределами периода хранения, приводит к ошибке. Например, если контейнер был создан восемь дней назад, а период хранения непрерывного периода резервного копирования — семь дней, вы можете прочитать только изменения за последние семь дней.

• Отправной точкой ленты изменений может быть "сейчас" или начиная с определенной контрольной точки в сроки хранения. Вы не можете считывать изменения с начала контейнера или с определенной точки во времени с помощью этого режима.

Вы можете использовать следующие способы потребления изменений из канала изменений в режиме последней версии:

Анализ объекта ответа

В последнем режиме версии объект ответа по умолчанию представляет собой массив измененных элементов. Каждый элемент содержит стандартные метаданные для любого элемента Azure Cosmos DB, включая _etag и _tsс добавлением нового свойства _lsn.

Формат _etag является внутренним и не должен зависеть от него, так как он может изменяться в любое время. _ts — это изменение или метка времени создания. Для хронологического сравнения можно использовать _ts . _lsn — это пакетный идентификатор, добавляемый только для канала изменений, представляющий идентификатор транзакции. Многие элементы могут иметь одинаковые _lsn.

ETag на FeedResponse отличается от того, что _etag отображается на предмете. _etag — это внутренний идентификатор, который используется для управления параллелизмом. Свойство _etag представляет версию элемента, а свойство ETag используется для упорядочивания веб-канала.

Во время предварительного этапа для чтения канала изменений доступны следующие методы для каждого клиентского SDK:

Начало работы

Чтобы приступить к работе со всеми версиями и удалением режима канала изменений, перейдите на страницу "Компоненты " в учетной записи Azure Cosmos DB. Выберите и включите функцию "Все версии и удаление в режиме канала изменений (предварительная версия)". Перед включением функции необходимо настроить непрерывные резервные копии для учетной записи Azure Cosmos DB. Процесс включения может занять до 30 минут, и в течение этого времени другие изменения не могут быть внесены в учетную запись.

Или же, включите все версии и режим удаления с помощью REST API, добавив "enableAllVersionsAndDeletesChangeFeed" : true в properties в учетной записи. Это свойство доступно в предварительной версии API или более поздней версии 2024-12-01-preview .

Анализ объекта ответа

Объект ответа — это массив элементов, представляющих каждое изменение. Различные свойства будут заполнены в зависимости от типа изменения. В настоящее время нет способа получить предыдущую версию элементов для операций замены или удаления.

• Создание операций

  {
    "current": {
      <The current version of the item that changed. All the properties of your item will appear here.>
    },
    "metadata": {
      "operationType": "create",
      "lsn": <A number that represents the batch ID. Many items can have the same lsn.>,
      "crts": <A number that represents the Conflict Resolved Timestamp. It has the same format as _ts.>
    }
  }
  

• Операции по замене

  {
    "current": {
      <The current version of the item that changed. All the properties of your item will appear here.>
    },
    "metadata": {
      "operationType": "replace",
      "lsn": <A number that represents the batch ID. Many items can have the same lsn.>,
      "crts": <A number that represents the Conflict Resolved Timestamp. It has the same format as _ts.>,
      "previousImageLSN" : <A number that represents the batch ID of the change prior to this one.>,
    }
  }
  

• Удаление операций

  {
    "metadata": {
      "operationType": "delete",
      "lsn": <A number that represents the batch ID. Many items can have the same lsn.>,
      "crts": <A number that represents the Conflict Resolved Timestamp. It has the same format as _ts.>,
      "previousImageLSN" : <A number that represents the batch ID of the change prior to this one.>,
      "timeToLiveExpired" : <'true' if it was deleted due to a TTL expiration.>,
      "id": "<Id of the deleted item.>",
      "partitionKey": {
        "<Partition key property name>": "<Partition key property value>"
      }
    }
  }
  

Ограничения

• Поддерживается для Azure Cosmos DB с учётными записями NoSQL. Другие типы учетных записей Azure Cosmos DB не поддерживаются.

• Для использования этого режима канала изменений требуются непрерывные резервные копии. Ознакомьтесь с ограничениями использования непрерывных резервных копий.

• Чтение изменений в контейнере, который существовал до включения непрерывных резервных копий в учетной записи, не поддерживается.

• Возможность начать чтение канала изменений с самого начала или выбрать время начала на основе предыдущей метки времени в настоящее время не поддерживается. Вы можете начать с "сейчас" или с предыдущего маркера аренды или продолжения.

• Получение предыдущей версии элементов, которые были удалены или обновлены, в настоящее время недоступно.

• Учетные записи, которые включили объединение секций , не поддерживаются.