условие ошибки STATE_REPARTITION_INVALID_CHECKPOINT

SQLSTATE: 55019

Указанное местоположение контрольной точки "<checkpointLocation>" находится в недопустимом состоянии.

ПОСЛЕДНЯЯ_ПАРТИЯ_ОСТАВЛЕНА_ПЕРЕРАСПРЕДЕЛЕНИЕ

Последний идентификатор пакета <lastBatchId> является пакетом повторного разделения с <lastBatchShufflePartitions> секциями перетасовки и не завершился успешно.

Теперь вы запрашиваете повторное разделение <numPartitions> для перетасовки секций.

Повторите попытку с таким же количеством секций перетасовки, что и предыдущая попытка.

После успешного завершения можно повторно разделить на другое число секций перетасовки.

ПОСЛЕДНИЙ_ПАКЕТ_НЕ_УДАЛОСЬ

Последний идентификатор <lastBatchId> пакета не завершился успешно. Перед перераспределением убедитесь, что запрос потоковой передачи успешно завершён.

При использовании триггера ProcessingTime вместо этого можно использовать триггер AvailableNow, который обеспечит успешное завершение запроса.

Если вы хотите пропустить эту проверку, задайте для параметра enforceExactlyOnceSink значение false.

Но это может вызвать дублирование выходных записей из неудавшейся партии при использовании приемников, обеспечивающих выполнение операций ровно один раз.

Отсутствует метаданные последовательности смещения (MISSING_OFFSET_SEQ_METADATA)

Метаданные OffsetSeq (v<version>) отсутствуют для идентификатора <batchId> пакета. Убедитесь, что контрольная точка находится в поддерживаемой версии Spark (Spark 4.0+) или DBR 14.3+.

НЕ НАЙДЕН ПАКЕТ

По адресу контрольной точки не зарегистрирован ни один микробатч. Перед перераспределением убедитесь, что потоковый запрос успешно завершил по крайней мере один микробатч.

NO_COMMITTED_BATCH

Нет зафиксированного микробатча. Перед перераспределением убедитесь, что потоковый запрос успешно завершил по крайней мере один микробатч.

OFFSET_SEQ_NOT_FOUND

Запись последовательности смещения для идентификатора <batchId> пакета не найдена. Возможно, задано очень низкое значение.

Конфигурация "spark.sql.streaming.minBatchesToRetain" во время выполнения потокового запроса или если вы удалили файлы в расположении контрольной точки.

ЧИСЛО_ПЕРЕМЕШИВАНИЙ_УЖЕ_СОВПАДАЕТ

Число разделов перемешивания в последнем зафиксированном пакете (id=<batchId>) совпадает с запрашиваемыми <numPartitions> разделами.

Таким образом, уже имеется запрошенное количество разделов, поэтому никаких действий не требуется.

UNSUPPORTED_COMMIT_METADATA_VERSION

Неподдерживаемая версия метаданных коммита <version>. Убедитесь, что контрольная точка находится в поддерживаемой версии Spark (Spark 4.0+) или DBR 14.3+.

UNSUPPORTED_OFFSET_SEQ_VERSION

Неподдерживаемая версия последовательности смещения <version>. Убедитесь, что контрольная точка находится в поддерживаемой версии Spark (Spark 4.0+) или DBR 14.3+.

НЕПОДДЕРЖИВАЕМЫЙ_ПРОВАЙДЕР

<provider> не поддерживается

НЕПОДДЕРЖИВАЕМЫЙ СОСТОЯНИЕ-ОПЕРАТОР

Неподдерживаемый оператор с отслеживанием состояния <operatorName>. Используйте контрольную точку с поддерживаемыми операторами с отслеживанием состояния.

НЕПОДДЕРЖИВАЕМОЕ_ПРЕОБРАЗОВАНИЕ_С_ТИПОМ_ПЕРЕМЕННОЙ_СОСТОЯНИЯ

Неподдерживаемый тип <variableType> переменной transformWithState (TTL_Enabled: <ttlEnabled>, ColFamilyName: <colFamilyName>).

Используйте контрольную точку с преобразованием, поддерживающим типы переменных состояния.