Ошибки данных в Azure Stream Analytics

Ошибки в данных возникают, когда Azure Stream Analytics обрабатывает ваши потоковые данные. Эти ошибки чаще всего возникают во время десериализации, сериализации и операций записи данных. При возникновении ошибок данных Stream Analytics записывает подробные сведения и примеры событий в журналы ресурсов. Включите диагностические логи в вашей работе, чтобы получить эти дополнительные данные. В некоторых случаях портальные уведомления также предоставляют сводку этой информации.

В этой статье описаны различные типы ошибок ввода и вывода данных, их причины и соответствующие детали в журнале ресурсов.

Схема журналов ресурсов

Чтобы увидеть схему журналов ресурсов, см. раздел «Устранение неполадок Azure Stream Analytics с использованием логов диагностики». Следующий код JSON — это пример значения для поля Свойства журнала ресурсов для ошибки данных.

{
    "Source": "InputTelemetryData",
    "Type": "DataError",
    "DataErrorType": "InputDeserializerError.InvalidData",
    "BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "Message": "Input Message Id: https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt Error: JSON input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "ExampleEvents": "[\"1,2\\\\u000d\\\\u000a3,4\\\\u000d\\\\u000a5,6\"]",
    "FromTimestamp": "2019-03-22T22:34:18.5664937Z",
    "ToTimestamp": "2019-03-22T22:34:18.5965248Z",
    "EventCount": 1
}

Ошибки входных данных

Ошибка десериализатора ввода. Недопустимый тип сжатия

  • Причина: выбранный вами тип сжатия входа не совпадает с данными.
  • Уведомление на портале предусмотрено: Да
  • Уровень ведения журнала ресурса: Предупреждение
  • Влияние: Stream Analytics удаляет сообщения с ошибками десериализации, включая некорректный тип сжатия, из входных данных.
  • Детали журнала:
    • Идентификатор входного сообщения. Для Центры событий Azure идентификатором являются PartitionId, Offset и Sequence Number.

Сообщение об ошибке

"BriefMessage": "Unable to decompress events from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please ensure compression setting fits the data being processed."

InputDeserializerError.НеверныйЗаголовок

  • Причина: недопустимый заголовок входных данных. Например, в CSV-файле есть столбцы с повторяющимися именами.
  • Уведомление на портале предоставлено: Да
  • Уровень журнала ресурса: Предупреждение
  • Воздействие: Сообщения с ошибками десериализации, включая некорректный заголовок, удаляются из входа.
  • Детали журнала:
    • Идентификатор входного сообщения.
    • Фактический полезный объём данных — до нескольких килобайт.

Сообщение об ошибке

"BriefMessage": "Invalid CSV Header for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please make sure there are no duplicate field names."

ОшибкаДесериализацииВвода.ОтсутствующиеКолонки

  • Причина: Входные столбцы, которые вы определяете с помощью CREATE TABLE или через TIMESTAMP BY, не существуют.
  • Предусмотрено уведомление через портал: да
  • Уровень ведения журнала ресурса: Предупреждение
  • Влияние: события с отсутствующими столбцами удаляются из входных данных.
  • Детали журнала:
    • Идентификатор входного сообщения.
    • Имена отсутствующих столбцов.
    • Фактический полезный объём данных — до нескольких килобайт.

Сообщения об ошибках

"BriefMessage": "Could not deserialize the input event(s) from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Missing fields specified in query or in create table. Fields expected:ColumnA Fields found:ColumnB"

InputDeserializerError.Ошибка преобразования типа

  • Причина: Stream Analytics не может преобразовать входные данные в тип, указанный вами в операторе CREATE TABLE.
  • Предусмотрено уведомление через портал: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: Stream Analytics удаляет события с ошибкой конверсии типа из входных данных.
  • Детали журнала:
    • Идентификатор входного сообщения.
    • Имя столбца и ожидаемый тип.

Сообщения об ошибках

"BriefMessage": "Could not deserialize the input event(s) from resource '''https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Unable to convert column: dateColumn to expected type."

Ошибка десериализации ввода: недопустимые данные (InputDeserializerError.InvalidData)

  • Причина: Входные данные находятся в неправильном формате. Например, входные данные не являются корректным JSON.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: Stream Analytics отбрасывает все события в сообщении после обнаружения ошибки недопустимых данных.
  • Детали журнала:
    • Идентификатор входного сообщения.
    • Фактический полезный объём данных — до нескольких килобайт.

Сообщения об ошибках

"BriefMessage": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

"Message": "JSON input stream should either be an array of objects or line separated objects. Found token type: String"

НедопустимаяМеткаВремениВвода

  • Причина: значение выражения TIMESTAMP BY не может быть преобразовано в тип DateTime.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: события с недопустимой входной меткой времени удаляются из входных данных.
  • Детали журнала:
    • Идентификатор входного сообщения.
    • Сообщение об ошибке.
    • Фактический полезный объём данных — до нескольких килобайт.

Сообщение об ошибке

"BriefMessage": "Unable to get timestamp for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' due to error 'Cannot convert string to datetime'"

НедействительныйКлючВременнойМеткиДанных

  • Причина: значение TIMESTAMP BY OVER timestampColumn равно NULL.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: события с недопустимым ключом входной метки времени удаляются из входных данных.
  • Детали журнала:
    • Фактическая полезная нагрузка — до нескольких килобайт.

Сообщение об ошибке

"BriefMessage": "Unable to get value of TIMESTAMP BY OVER COLUMN"

Событие позднего ввода

  • Причина: Разница между временем подачи заявки и временем прибытия превышает допустимый интервал опоздания.
  • Уведомление на портале: нет
  • Уровень ведения журнала ресурсов: информация
  • Влияние: события позднего поступления входных данных обрабатываются в соответствии со значением параметра "Handle other events" (Обрабатывать другие события) в разделе "Упорядочение событий" в конфигурации задания. Для получения дополнительной информации см. раздел «Политики управления временем».
  • Детали журнала:
    • Время применения и время прибытия.
    • Фактический полезный объём данных — до нескольких килобайт.

Сообщение об ошибке

"BriefMessage": "Input event with application timestamp '2019-01-01' and arrival time '2019-01-02' was sent later than configured tolerance."

EarlyInputEvent

  • Причина: Разница между временем подачи заявки и временем прибытия превышает пять минут.
  • Уведомление на портале: нет
  • Уровень ведения журнала ресурсов: информация
  • Влияние: события раннего поступления входных данных обрабатываются в соответствии со значением параметра "Handle other events" (Обрабатывать другие события) в разделе "Упорядочение событий" в конфигурации задания. Для получения дополнительной информации см. раздел «Политики управления временем».
  • Детали журнала:
    • Время заявки и время поступления.
    • Фактический полезный объём данных — до нескольких килобайт.

Сообщение об ошибке

"BriefMessage": "Input event arrival time '2019-01-01' is earlier than input event application timestamp '2019-01-02' by more than 5 minutes."

Событие вне очереди

  • Причина: Событие выходит за пределы заданного допустимого окна нарушения порядка.
  • Уведомление через портал предоставлено: нет
  • Уровень ведения журнала ресурсов: информация
  • Влияние: Задание обрабатывает события, поступающие не по порядку, в соответствии с параметром Обработка других событий в разделе «Порядок событий» конфигурации задания. Для получения дополнительной информации см. раздел «Политики управления временем».
  • Детали журнала:
    • Фактический полезный объём данных — до нескольких килобайт.

Сообщение об ошибке

"Message": "Out of order event(s) received."

Ошибки выходных данных

Azure Stream Analytics выявляет ошибки выходных данных с запросом ввода-вывода или без него в приемнике вывода в зависимости от конфигурации. Например, Stream Analytics может обнаружить отсутствие обязательного столбца, например, PartitionKey, при использовании Azure Table в качестве выходных данных без выполнения запроса ввода-вывода. В то же время для обнаружения нарушений ограничений в выходных данных SQL потребуется запрос ввода-вывода.

Stream Analytics может обнаружить некоторые ошибки данных только после обращения к приёмнику выходных данных, что может замедлить обработку. Чтобы решить эту проблему, измените конфигурацию работы или запрос, вызывающий ошибку данных.

ОшибкаПреобразованияДанных:ОтсутствуетНеобходимыйСтолбец

  • Причина: обязательный столбец выходных данных не существует. Например, столбец, определенный как PartitionKey таблицы Azure, не существует.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: Настройка политики выходных данных обрабатывает все ошибки преобразования выводных данных, включая отсутствующие требуемые столбцы.
  • Детали журнала:
    • Имя столбца и либо идентификатор записи, либо её часть.

Сообщение об ошибке

"Message": "The output record does not contain primary key property: [deviceId] Ensure the query output contains the column [deviceId] with a unique non-empty string less than '255' characters."

ОшибкаПреобразованияВыходныхДанных.ИмяСтолбцаНедопустимо

  • Причина: значение столбца не соответствует выходным данным. Например, имя столбца не является допустимым столбцом таблицы Azure.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: все ошибки преобразования выходных данных, включая недопустимые имена столбцов, обрабатываются в соответствии со значением параметра Output Data Policy (Политика выходных данных).
  • Детали журнала:
    • Имя столбца и либо идентификатор записи, либо часть записи.

Сообщение об ошибке

"Message": "Invalid property name #deviceIdValue. Please refer MSDN for Azure table property naming convention."

OutputDataConversionError.TypeConversionError

  • Причина: столбец в выходных данных не может быть преобразован к допустимому типу. Например, значение столбца несовместимо с ограничениями или типами, заданными в таблице SQL.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: все ошибки преобразования выходных данных, включая ошибки преобразования типов, обрабатываются в соответствии со значением параметра Output Data Policy (Политика выходных данных).
  • Детали журнала:
    • Имя столбца.
    • Идентификатор записи или её часть.

Сообщение об ошибке

"Message": "The column [id] value null or its type is invalid. Ensure to provide a unique non-empty string less than '255' characters."

ОшибкаПреобразованияВыходныхДанных.ЗаписьПревысилаОграничениеРазмеров

  • Причина: значение сообщения больше, чем поддерживаемый размер выходных данных. Например, размер записи превышает 1 МБ для выходных данных концентратора событий.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: все ошибки преобразования выходных данных, включая превышение допустимого размера записи, обрабатываются в соответствии со значением параметра Output Data Policy (Политика выходных данных).
  • Детали журнала:
    • Либо идентификатор записи, либо часть записи.

Сообщение об ошибке

"BriefMessage": "Single output event exceeds the maximum message size limit allowed (262144 bytes) by Event Hub."

ОшибкаКонверсииВыходныхДанных.ОшибкаПовторенияКлюча

  • Причина: запись уже содержит столбец с тем же именем, что и столбец системы. Например, Azure Cosmos DB выводит столбец с названием ID, когда столбец ID находится в другом столбце.
  • Уведомление через портал предоставлено: Да
  • Уровень журнала ресурсов: Предупреждение
  • Влияние: все ошибки преобразования выходных данных, включая дублирующиеся ключ, обрабатываются в соответствии со значением параметра Output Data Policy (Политика выходных данных).
  • Детали журнала:
    • Имя столбца.
    • Либо идентификатор записи, либо часть записи.

Сообщение об ошибке

"BriefMessage": "Column 'devicePartitionKey' is being mapped to multiple columns."

Следующие шаги

  • Last updated on