Устранение распространенных ошибок и предупреждений индексатора в поиске ИИ Azure

В этой статье содержатся сведения и решения распространенных ошибок и предупреждений, которые могут возникнуть во время индексирования и обогащения ИИ в службе поиска ИИ Azure.

Индексирование останавливается, когда число ошибок превышает maxFailedItems. Чтобы разрешить индексаторам пропускать неудачные документы, настройте maxFailedItemsandmaxFailedItemsPerBatch.

Предупреждения не останавливают индексирование, но указывают на условия, которые могут привести к непредвиденным результатам. Предпринимать ли действия, зависит от данных и вашей ситуации.

Где можно найти определенные ошибки индексатора?

Чтобы проверить состояние индексатора и определить ошибки:

1. Перейдите в службу поиска на портале Azure.

2. Слева разверните Управление Поиском>Индексаторы и выберите индексатор.

3. В разделе "Журнал выполнения" выберите состояние. Все статусы, включая «Success», содержат сведения о выполнении.

4. Если возникла ошибка, наведите указатель мыши на сообщение об ошибке. Область отображается справа от экрана, где отображаются подробные сведения об ошибке.

Временные ошибки

По различным причинам, например временные прерывания сетевого взаимодействия, истечение времени ожидания для длительных процессов или конкретные нюансы документа, обычно возникают временные ошибки или предупреждения при запусках индексатора. Однако эти ошибки являются временными и должны быть разрешены при последующих запусках индексатора.

Чтобы эффективно управлять этими ошибками, рекомендуется поместить индексатор в расписание, например, для выполнения каждые пять минут, где следующий запуск начинается пять минут после завершения первого запуска, придерживаясь максимального предела времени выполнения службы. Регулярно запланированные запуски помогают устранить временные ошибки или предупреждения.

Если ошибка сохраняется в течение нескольких циклов индексатора, скорее всего, это не временная проблема. В таких случаях ознакомьтесь со списком ниже для потенциальных решений.

Свойства ошибки

Error: Could not read document

Индексатор не смог прочитать документ из источника данных. Это может произойти из-за следующего:

Error: Could not extract content or metadata from your document

Индексатор на основе источника данных BLOB-объектов не смог извлечь содержимое или метаданные из документа (например, PDF-файл). Это может произойти из-за следующего:

Error: Could not parse document

Индексатор считывает документ из источника данных, но возникла проблема с преобразованием содержимого документа в указанную схему сопоставления полей. Это может произойти из-за следующего:

Error: Could not map output field 'xyz' to search index due to deserialization problem while applying mapping function 'abc'

Сопоставление выходных данных может завершиться ошибкой, так как выходные данные имеют неправильный формат для используемой функции сопоставления. Например, применение Base64Encode функции сопоставления к двоичным данным приведет к возникновению этой ошибки. Чтобы устранить проблему, повторно выполните индексатор без указания функции сопоставления или убедитесь, что функция сопоставления совместима с типом данных выходного поля. Дополнительные сведения см. в разделе "Сопоставление полей вывода ".

Error: Could not execute skill

Индексатор не смог запустить навык в наборе навыков.

Error: Could not execute skill because the Web API request failed

Сбой выполнения навыка из-за сбоя вызова веб-API. Как правило, этот класс сбоев возникает при использовании пользовательских навыков, в этом случае необходимо выполнить отладку пользовательского кода для устранения проблемы. Если вместо этого сбой связан со встроенным навыком, обратитесь к сообщению об ошибке для устранения проблемы.

При отладке этой проблемы обязательно обратите внимание на предупреждения ввода навыка для этого навыка. Конечная точка веб-API может не срабатывать, так как индексатор передает неожиданные данные на вход.

Error: Could not execute skill because Web API skill response is invalid

Сбой выполнения навыка, так как вызов веб-API вернул недопустимый ответ. Как правило, этот класс сбоев возникает при использовании пользовательских навыков, в этом случае необходимо выполнить отладку пользовательского кода для устранения проблемы. Если вместо этого сбой связан со встроенным навыком, отправьте запрос в службу поддержки , чтобы получить помощь.

Error: Type of value has a mismatch with column type. Couldn't store in 'xyz' column. Expected type is 'abc'

Если источник данных имеет поле с другим типом данных, чем поле, которое вы пытаетесь сопоставить в индексе, может возникнуть эта ошибка. Проверьте типы данных поля источника данных и убедитесь, что они сопоставлены правильно с типами данных индекса.

Error: Skill did not execute within the time limit

Существует два случая, в которых может возникнуть это сообщение об ошибке, каждое из которых должно обрабатываться по-разному. Следуйте приведенным ниже инструкциям в зависимости от того, какой навык вернул эту ошибку.

Интегрированные навыки Foundry Tools

Многие встроенные когнитивные навыки, такие как распознавание речи, распознавание сущностей или OCR, поддерживаются конечной точкой API средств Foundry. Иногда возникают переходные проблемы с этими конечными точками, и время ожидания запроса истекает. Для переходных проблем нужно просто подождать и попробовать снова. В качестве устранения неполадок рекомендуется настроить индексатор для запуска по расписанию. Запланированное индексирование продолжается с того места, на котором оно остановилось. Если временные проблемы устранены, индексирование и обработка когнитивных навыков должны продолжаться в следующем запланированном запуске.

Если вы продолжаете видеть эту ошибку в том же документе для встроенного когнитивного навыка, отправьте запрос в службу поддержки , чтобы получить помощь, так как это не ожидается.

Пользовательские навыки

При возникновении ошибки времени ожидания с пользовательским навыком можно попробовать несколько действий. Сначала проверьте ваш пользовательский навык и убедитесь, что он не застрял в бесконечном цикле и всегда возвращает результаты стабильно. После подтверждения возврата результата проверьте длительность выполнения. Если вы явно не задали timeout значение для определения пользовательского навыка, значение по умолчанию timeout составляет 30 секунд. Если 30 секунд недостаточно для выполнения навыка, можно указать более высокое timeout значение в определении пользовательского навыка. Ниже приведен пример пользовательского определения навыка, в котором время ожидания равно 90 секундам:

  {
        "@odata.type": "#Microsoft.Skills.Custom.WebApiSkill",
        "uri": "<your custom skill uri>",
        "batchSize": 1,
        "timeout": "PT90S",
        "context": "/document",
        "inputs": [
          {
            "name": "input",
            "source": "/document/content"
          }
        ],
        "outputs": [
          {
            "name": "output",
            "targetName": "output"
          }
        ]
      }

Максимальное значение, которое можно задать для timeout параметра, составляет 230 секунд. Если ваш пользовательский навык не может последовательно выполняться в течение 230 секунд, можно рассмотреть возможность уменьшения batchSize вашего пользовательского навыка, чтобы сократить количество документов, обрабатываемых за одно выполнение. Если у вас уже установлено значение batchSize на 1, вам нужно переписать навык, чтобы он мог выполняться менее чем за 230 секунд, или разделить его на несколько пользовательских навыков таким образом, чтобы время выполнения любого из них не превышало 230 секунд. Ознакомьтесь с документацией по настройке навыков для получения дополнительной информации.

Error: Could not 'MergeOrUpload' | 'Delete' document to the search index

Документ был прочитан и обработан, но индексатор не мог добавить его в индекс поиска. Это может произойти из-за следующего:

Error: Could not index document because some of the document's data was not valid

Документ был прочитан и обработан индексатором, но из-за несоответствия в конфигурации полей индекса и данных, извлеченных и обработанных индексатором, он не может быть добавлен в индекс поиска. Это может произойти из-за следующего:

Во всех этих случаях ознакомьтесь с поддерживаемыми типами данных и картой типов данных для индексаторов , чтобы убедиться, что схема индекса правильно создана и настроена соответствующая сопоставление полей индексатора. Сообщение об ошибке содержит сведения, которые помогут отслеживать источник несоответствия.

Error: Integrated change tracking policy cannot be used because table has a composite primary key

Это относится к таблицам SQL и обычно происходит, когда ключ определяется как составной ключ или, когда таблица определила уникальный кластеризованный индекс (как в индексе SQL, а не в индексе поиска Azure). Основной причиной является изменение ключевого атрибута в качестве составного первичного ключа в уникальном кластеризованном индексе. В этом случае убедитесь, что в таблице SQL нет уникального кластеризованного индекса или вы сопоставляете ключевое поле с полем, которое гарантированно не имеет повторяющихся значений.

Error: Could not process document within indexer max run time

Эта ошибка возникает, когда индексатор не может завершить обработку одного документа из источника данных в течение допустимого времени выполнения. Максимальное время выполнения меньше, если используются наборы навыков. При возникновении этой ошибки, если для maxFailedItems задано значение, отличное от 0, индексатор пропускает этот документ в последующих запусках, чтобы процесс индексирования мог продолжаться. Если вы не можете позволить пропустить какой-либо документ или если вы постоянно видите эту ошибку, рассмотрите возможность разделения документов на более мелкие части, чтобы частичный прогресс можно было сделать в рамках одного запуска индексатора.

Error: Could not project document

Эта ошибка возникает, когда индексатор пытается проецировать данные в хранилище знаний и произошел сбой при попытке. Этот сбой может быть постоянным и устранимым или временным, связанным с приемником выходных данных проекции, в этом случае может потребоваться подождать и повторить попытку для устранения. Ниже приведен набор известных состояний сбоя и возможных резолюций.

Error: The cognitive service for skill '<skill-name>' has been throttled

Ошибка выполнения навыка из-за ограничения вызова средств Foundry. Как правило, этот класс сбоев возникает, когда слишком много навыков выполняются параллельно. Если вы используете клиентскую библиотеку Microsoft.Search.Documents для запуска индексатора, можно использовать searchIndexingBufferedSender , чтобы получить автоматическую повторную попытку на неудачных шагах. В противном случае можно переинициализировать и повторно запустить индексатор.

Error: Expected IndexAction metadata

Ошибка "Ожидаемые метаданные IndexAction" означает, когда индексатор попытался прочитать документ, чтобы определить, какие действия следует предпринять, он не обнаружил соответствующих метаданных в документе. Как правило, эта ошибка возникает, когда кэш аннотаций добавляется или удаляется без сброса индексирования. Чтобы устранить эту проблему, необходимо сбросить и повторно запустить индексатор.

Warning: Skill input was invalid

Отсутствовал входной параметр для навыка, он имел неверный тип либо был недопустим. Может появиться следующая информация:

• Could not execute skill

• Skill executed but may have unexpected results

Когнитивные навыки имеют необходимые входные данные и необязательные входные данные. Например, навык извлечения ключевой фразы имеет два обязательных входных данных text, languageCodeа необязательные входные данные отсутствуют. Входные данные пользовательского навыка считаются необязательными.

Если отсутствуют необходимые входные параметры или если входные параметры не соответствуют правильному типу, навык пропускается и генерирует предупреждение. Пропущенные навыки не создают выходные данные. Если последующие навыки используют выходные данные пропущенного навыка, они могут генерировать другие предупреждения.

Если необязательные входные данные отсутствуют, навык по-прежнему выполняется, но может привести к непредвиденным выходным данным из-за отсутствия входных данных.

В обоих случаях это предупреждение связано со структурой ваших данных. Например, если у вас есть документ, содержащий сведения о людях с полями firstName, middleNameи lastNameу вас могут быть некоторые документы, для которых нет записи middleName. Если вы передаете middleName в качестве входных данных навыку в процессе, ожидается, что эти входные данные иногда могут отсутствовать. Необходимо оценить данные и сценарий, чтобы определить, требуется ли какое-либо действие в результате этого предупреждения.

Если вы хотите указать значение по умолчанию для отсутствующих входных данных, можно использовать условный навык для создания значения по умолчанию, а затем использовать выходные данные условного навыка в качестве входных данных навыка.

{
    "@odata.type": "#Microsoft.Skills.Util.ConditionalSkill",
    "context": "/document",
    "inputs": [
        { "name": "condition", "source": "= $(/document/language) == null" },
        { "name": "whenTrue", "source": "= 'en'" },
        { "name": "whenFalse", "source": "= $(/document/language)" }
    ],
    "outputs": [ { "name": "output", "targetName": "languageWithDefault" } ]
}

Warning: Skill input 'languageCode' has the following language codes 'X,Y,Z', at least one of which is invalid.

Одно или несколько значений, передаваемых в необязательные languageCode входные данные нижестоящего навыка, не поддерживаются. Это может произойти, если вы передаете выходные данные LanguageDetectionSkill в последующие навыки, и выходные данные состоят из большего количества языков, чем поддерживается в этих следующих навыках.

Обратите внимание, что вы также можете получить предупреждение, аналогичное этому, если недопустимый countryHint вход передается в LanguageDetectionSkill. Если это произойдет, убедитесь, что поле, которое вы используете из источника данных для ввода, содержит допустимые двухбуквенные коды стран ISO 3166-1 ALPHA-2. Если некоторые из них допустимы, а некоторые — нет, следуйте приведённым ниже рекомендациям, но замените languageCode на countryHint и defaultLanguageCode на defaultCountryHint, чтобы соответствовало вашему варианту использования.

Если вы знаете, что весь набор данных на одном языке, вы должны удалить навык обнаружения языка, входные данные навыка и вместо этого использовать параметр навыка languageCode, если поддерживается этот язык для этого навыка.

Если вы знаете, что набор данных содержит несколько языков, и вам нужны ОпределениеЯзыкаSkill и входные данные, попробуйте добавить languageCode для фильтрации текста с языками, которые не поддерживаются, перед передачей текста в следующий навык. Ниже приведен пример того, как это может выглядеть для EntityRecognitionSkill:

{
    "@odata.type": "#Microsoft.Skills.Util.ConditionalSkill",
    "context": "/document",
    "inputs": [
        { "name": "condition", "source": "= $(/document/language) == 'de' || $(/document/language) == 'en' || $(/document/language) == 'es' || $(/document/language) == 'fr' || $(/document/language) == 'it'" },
        { "name": "whenTrue", "source": "/document/content" },
        { "name": "whenFalse", "source": "= null" }
    ],
    "outputs": [ { "name": "output", "targetName": "supportedByEntityRecognitionSkill" } ]
}

Ниже приведены некоторые ссылки на поддерживаемые языки для каждого из навыков, которые могут создать это сообщение об ошибке:

• Поддерживаемые языки EntityRecognitionSkill
• Поддерживаемые языки EntityLinkingSkill
• Поддерживаемые языки KeyPhraseExtractionSkill
• Поддерживаемые языки LanguageDetectionSkill
• Поддерживаемые языки PIIDetectionSkill
• Поддерживаемые языки SentimentSkill
• Поддерживаемые языки переводчика
• Языки, поддерживаемые SplitSkill:da, de, en, es, fi, fr, it, ko, pt

Warning: Skill input was truncated

Когнитивные навыки ограничивают длину текста, который можно анализировать одновременно. Если входной текст превышает предел, он усечен перед его обогащением. Навык выполняется, но не по всем вашим данным.

В приведенном ниже примере LanguageDetectionSkill поле ввода может вызвать это предупреждение, если введенные данные превышают допустимое количество символов. Ограничения входных данных можно найти в справочной документации по навыкам.

 {
    "@odata.type": "#Microsoft.Skills.Text.LanguageDetectionSkill",
    "inputs": [
      {
        "name": "text",
        "source": "/document/text"
      }
    ],
    "outputs": [...]
  }

Если вы хотите убедиться, что весь текст анализируется, рассмотрите возможность использования навыка Split.

Warning: Web API skill response contains warnings

Индексатор выполнил навык в наборе навыков, но ответ на запрос веб-API указывает на наличие предупреждений. Изучите предупреждения, чтобы понять, как они влияют на ваши данные, и требуется ли предпринять дополнительные действия.

Warning: The current indexer configuration does not support incremental progress

Это предупреждение возникает только для источников данных Azure Cosmos DB.

Пошаговое прогрессирование во время индексирования гарантирует, что если выполнение индексатора прерывается из-за временных сбоев или ограничения времени выполнения, индексатор сможет продолжить с того места, где остановился, при следующем запуске, вместо того чтобы переиндексировать всю коллекцию с нуля. Это особенно важно при индексировании больших коллекций.

Возможность возобновления незавершенного задания индексирования определяется наличием документов, упорядоченных столбцом _ts . Индексатор использует метку времени, чтобы определить, какой документ будет выбран далее. Если столбец _ts отсутствует или если индексатор не может определить, упорядочен ли по нему настраиваемый запрос, индексатор начинает с самого начала, и вы увидите это предупреждение.

Это поведение можно переопределить, чтобы обеспечить пошаговый прогресс и подавить это предупреждение, используя конфигурационное свойство assumeOrderByHighWaterMarkColumn.

Дополнительные сведения см. в разделе "Инкрементальный прогресс" и пользовательские запросы.

Warning: Some data was lost during projection. Row 'X' in table 'Y' has string property 'Z' which was too long.

Служба хранилища таблиц имеет ограничения на то, как могут быть свойства крупных сущностей. Строки могут содержать 32 000 символов или меньше. Если строка со строковым свойством длиннее 32 000 символов проецируется, сохраняются только первые 32 000 символов. Чтобы обойти эту проблему, избегайте проецирования строк со строковыми свойствами дольше 32 000 символов.

Warning: Truncated extracted text to X characters

Индексаторы ограничивают, сколько текста можно извлечь из любого документа. Это ограничение зависит от ценовой категории: 32 000 символов для уровня "Бесплатный", 64 000 для "Базовый", 4 млн для "Стандартный", 8 млн для "Стандартный" S2 и 16 млн для Standard S3. Текст, который был усечен, не будет индексирован. Чтобы избежать этого предупреждения, попробуйте разорвать документы с большим количеством текста в несколько небольших документов.

Дополнительные сведения см. в разделе "Ограничения индексатора".

Warning: Could not map output field 'X' to search index

Сопоставления полей выходных данных, ссылающиеся на несуществующие или пустые данные, будут создавать предупреждения для каждого документа и приводят к пустому полю индекса. Чтобы обойти эту проблему, дважды проверьте пути источников для сопоставления выходных полей на наличие возможных опечаток, или установите значение по умолчанию с помощью условного навыка. Дополнительные сведения см. в разделе "Сопоставление полей вывода ".

Warning: The data change detection policy is configured to use key column 'X'

Политики обнаружения изменений данных имеют определенные требования к столбцам, которые они используют для обнаружения изменений. Одним из этих требований является то, что этот столбец обновляется каждый раз при изменении исходного элемента. Другое требование заключается в том, что новое значение для этого столбца больше предыдущего значения. Ключевые столбцы не соответствуют этому требованию, так как они не изменяются при каждом обновлении. Чтобы обойти эту проблему, выберите другой столбец для политики обнаружения изменений.

Warning: Document text appears to be UTF-16 encoded, but is missing a byte order mark

Режимы синтаксического анализа индексатора должны знать, как кодируется текст перед анализом. Наиболее распространенными способами кодирования текста являются UTF-16 и UTF-8. UTF-8 — это кодировка переменной длины, в которой каждый символ составляет от 1 байта до 4 байтов. UTF-16 — это кодировка фиксированной длины, в которой каждый символ составляет 2 байта. UTF-16 имеет два разных варианта, big endian и little endian. Кодировка текста определяется byte order markрядом байтов перед текстом.

Если знак порядка байтов отсутствует, предполагается, что текст закодирован как UTF-8.

Чтобы обойти это предупреждение, определите кодировку текста для этого большого двоичного объекта и добавьте соответствующий знак порядка байтов.

Warning: Azure Cosmos DB collection 'X' has a Lazy indexing policy. Some data may be lost

Коллекции с политиками отложенного индексирования не могут быть последовательно запрашиваемы, из-за чего индексатор пропускает данные. Чтобы обойти это предупреждение, измените политику индексирования на согласованную.

Warning: The document contains very long words (longer than 64 characters). These words may result in truncated and/or unreliable model predictions.

Это предупреждение передается из языковой службы Foundry Tools. В некоторых случаях это предупреждение безопасно игнорировать, например если длинная строка является просто длинным URL-адресом. Помните, что если слово больше 64 символов, оно усечено до 64 символов, что может повлиять на прогнозы модели.

Error: Cannot write more bytes to the buffer than the configured maximum buffer size

Индексаторы имеют ограничения на размер документа. Убедитесь, что документы в источнике данных меньше поддерживаемого ограничения размера, как описано для уровня служб.

Error: Failed to compare value 'X' of type M to value 'Y' of type N.

Эта ошибка обычно возникает в индексаторах Azure SQL, когда тип исходного столбца, используемого для dataChangeDetectionPolicy, не соответствует ожиданиям индексатора, особенно если convertHighWaterMarkToRowVersion включен.

Например, если столбец, используемый для обнаружения изменений, имеет тип datetime, но индексатор ожидает тип rowversion, так как convertHighWaterMarkToRowVersion включен, несоответствие приведет к ошибке.

Проверьте тип данных для столбца High Water Mark в источнике и обновите конфигурацию индексатора соответствующим образом. После проверки и обновления сбросить и повторно запустить индексатор для обработки значений столбцов.

Error: Access denied to Virtual Network/Firewall rules

Эта ошибка обычно возникает из-за одной из следующих ситуаций:

• Ограничения брандмауэра для ресурсов Azure, необходимых индексатору, в зависимости от конфигурации. Эти ресурсы могут включать в себя источник данных, учетную запись хранения Azure (используемую для сеансов отладки, добавочного обогащения или хранилища знаний), функцию Azure (используемую для пользовательских навыков веб-API) или развертывания Microsoft Foundry, используемые во время обогащения ИИ.
• Конфигурации частных конечных точек, которые блокируют доступ от индексатора к этим ресурсам.

Убедитесь, что индексатор имеет доступ к компонентам установки, просматривая конфигурации ресурсов, чтобы убедиться, что они разрешают трафик ко всем необходимым службам:

• Параметры ограничения брандмауэра и IP-адресов
• Настройка совместной приватной ссылки

Error: Credentials provided in the connection string are invalid or have expired

Эта ошибка возникает, когда индексатор поиска Azure ИИ не может пройти проверку подлинности с помощью предоставленной строки подключения или имеет проблемы с доступом к учетной записи хранения для проверки учетных данных.

Error: Invalid AAD tenant

Это сообщение может отображаться, если индексатор SharePoint в Microsoft 365 не может пройти проверку подлинности в клиенте Microsoft Entra, которому принадлежит сайт SharePoint. TenantId не является обязательным в строке подключения к источнику данных SharePoint, но любое указанное вами значение должно быть идентификатором клиента Microsoft Entra (GUID) для этого сайта. Этот клиент не обязательно является Microsoft Entra клиентом, связанным со службой поиска.

Чтобы устранить ошибку, используйте следующее руководство.

• Для межклиентского подключения SharePoint укажите идентификатор клиента Microsoft Entra для сайта SharePoint в качестве TenantId в строке подключения.
• Для подключения в пределах того же клиента Microsoft Entra либо укажите идентификатор клиента сайта SharePoint, либо включите управляемый идентификатор службы поиска, назначаемый системой. При опущении TenantIdиндексатор использует клиент ресурсов Microsoft Entra, связанный с этим удостоверением.
• Если ни явно заданный TenantId, ни тенант ресурса недоступны, индексатор сообщает: Ensure service managed identity is enabled for your service, or TenantId is specified in your строка подключения.

Неправильно сформированное значение, которое не является ИДЕНТИФИКАТОРом GUID, может привести к сбою при создании или обновлении источника данных. Корректно сформированный идентификатор для неправильного арендатора Microsoft Entra может пройти проверку источника данных, но завершиться ошибкой при аутентификации индексатора. В случае сбоев выполнения перейдите в службу поиска на портале Azure, выберите Управление поиском>Индексаторы, выберите индексатор и просмотрите сведения о его истории выполнения и состоянии.

Сведения о форматах строк подключения и инструкции по поиску идентификатора клиента Microsoft Entra для сайта SharePoint см. в разделе Настройка SharePoint в индексаторе Microsoft 365.

Error: Error detecting index schema from data source

Интерфейс портала Azure, используемый для настройки индексатора, не смог получить сведения о схеме из источника данных. Это может произойти из-за временных проблем с подключением или ограничений конфигурации сети, которые препятствуют доступу к источнику поиска ИИ Azure.