Индексирование BLOB-объектов и JSON-файлов в поиске Azure AI

Область применения: индексаторы BLOB-объектов, индексаторы файлов

Для индексирования объектов BLOB в Azure Cognitive Search в этой статье показано, как задать свойства для объектов BLOB или файлов, состоящих из документов JSON. JSON-файлы в Хранилище BLOB-объектов Azure или Файлы Azure обычно предполагают любую из следующих форм:

• отдельный документ JSON;
• документ JSON, содержащий массив корректно сформированных JSON-элементов.
• JSON-документ, содержащий несколько сущностей, разделенных символом новой строки.

Индексатор BLOB предоставляет parsingMode параметр для оптимизации выходных данных поискового документа на основе структуры JSON. Режимы синтаксического анализа состоят из следующих параметров:

Для настройки jsonArray и jsonLines следует ознакомиться с разделом Индексирование больших двоичных объектов для получения нескольких поисковых документов, чтобы понять, как индексатор BLOB-объектов обрабатывает неоднозначность ключа документа для нескольких документов поиска, полученных из одного большого двоичного объекта.

В определении индексатора можно использовать сопоставление полей для выбора свойств исходного документа JSON, применяемых для заполнения целевого индекса поиска. Например, при использовании режима синтаксического анализа jsonArray, если массив существует как свойство нижнего уровня, можно задать свойство "documentRoot", указывающее, где массив помещается в двоичный большой объект.

В следующих разделах каждый из этих режимов описан подробнее. Если вы не знакомы с клиентами и понятиями индексатора, см. статью "Создание индексатора поиска". Кроме того, следует ознакомиться с подробными сведениями о базовой конфигурации индексатора BLOB-объектов, которая здесь не приводится.

Индексация отдельных JSON-документов (по одному на каждый Blob)

По умолчанию индексаторы BLOB-объектов анализируют большие двоичные объекты JSON как один блок текста, то есть один документ поиска создается для каждого большого двоичного объекта в контейнере. Если документ JSON структурирован, то документ поиска может отражать эту структуру, а его отдельные элементы могут быть представлены в виде отдельных полей. Например, предположим, что в Хранилище BLOB-объектов Azure имеется следующий документ JSON:

{
    "article" : {
        "text" : "A hopefully useful article explaining how to parse JSON blobs",
        "datePublished" : "2020-04-13",
        "tags" : [ "search", "storage", "howto" ]    
    }
}

Индексатор BLOB-объектов анализирует документ JSON и выдает один поисковый документ, загружая индекс и сопоставляя "text", "datePublished" и "Tags" из источника с полями целевого индекса, имена и тип которых совпадают. Если имеется индекс с полями "text", "datePublished и "tags", индексатор больших двоичных объектов может определить правильное сопоставление без наличия сопоставления полей в запросе.

Хотя поведение по умолчанию предусматривает один поисковый документ на каждый JSON-объект, установка режима синтаксического анализа json изменяет внутренние сопоставления полей для содержимого, продвигая поля внутри content в фактические поля в индексе поиска. Пример определения индексатора для режима анализа json может выглядеть следующим образом:

POST https://[service name].search.windows.net/indexers?api-version=2026-04-01
Content-Type: application/json
api-key: [admin key]

{
    "name" : "my-json-indexer",
    "dataSourceName" : "my-blob-datasource",
    "targetIndexName" : "my-target-index",
    "parameters" : { "configuration" : { "parsingMode" : "json" } }
}

Пример JSON (JSON-файлы с данными для одного отеля)

Набор данных документов JSON для отеля в GitHub удобен для тестирования анализа JSON, когда каждый большой двоичный объект представляет структурированный JSON-файл. Файлы данных можно загрузить в Blob-хранилище и использовать мастер импорта, чтобы быстро оценить, как это содержимое преобразуется в отдельные документы поиска.

Набор данных состоит из пяти блоков данных, каждый из которых содержит документ для отеля с коллекцией адресов и коллекцией комнат. Индексатор BLOB выявляет обе коллекции и отображает структуру входных данных в схеме индекса.

Анализ массивов JSON

В качестве альтернативы можно использовать функцию массивов JSON. Эту функцию удобно использовать, если большие двоичные объекты содержат объекты JSON с правильным форматом и вы хотите представить каждый элемент в виде отдельного документа поиска. При использовании jsonArrays приведенный ниже большой двоичный объект JSON порождает три отдельных документа, каждый из которых содержит поля "id" и "text".

[
    { "id" : "1", "text" : "example 1" },
    { "id" : "2", "text" : "example 2" },
    { "id" : "3", "text" : "example 3" }
]

Свойство parameters в индексаторе содержит значения режима анализа. Для массива JSON определение индексатора должно выглядеть, как в следующем примере.

POST https://[service name].search.windows.net/indexers?api-version=2026-04-01
Content-Type: application/json
api-key: [admin key]

{
    "name" : "my-json-indexer",
    "dataSourceName" : "my-blob-datasource",
    "targetIndexName" : "my-target-index",
    "parameters" : { "configuration" : { "parsingMode" : "jsonArray" } }
}

Пример jsonArrays

Набор данных JSON Нью-Йоркской филармонии на GitHub полезен для тестирования парсинга массивов JSON. Вы можете загрузить файлы данных в хранилище Blob и использовать мастер импорта, чтобы быстро оценить, как это содержимое анализируется в отдельные документы поиска.

Набор данных состоит из восьми блобов, каждый из которых содержит массив сущностей JSON, всего 100 сущностей. Сущности различаются тем, какие поля заполнены, но конечный результат — это один документ поиска для каждой сущности из всех массивов и всех блобов.

Анализ вложенных массивов JSON

Для массивов JSON, имеющих вложенные элементы, можно задать documentRoot, чтобы указать, что они содержат многоуровневую структуру. Например, если ваши объекты типа BLOB выглядят следующим образом:

{
    "level1" : {
        "level2" : [
            { "id" : "1", "text" : "Use the documentRoot property" },
            { "id" : "2", "text" : "to pluck the array you want to index" },
            { "id" : "3", "text" : "even if it's nested inside the document" }  
        ]
    }
}

Используйте эту конфигурацию для индексации массива, содержащегося в свойстве level2:

{
    "name" : "my-json-array-indexer",
    ... other indexer properties
    "parameters" : { "configuration" : { "parsingMode" : "jsonArray", "documentRoot" : "/level1/level2" } }
}

Анализ сущностей JSON, разделенных символами новой строки

Если ваш объект Blob содержит несколько сущностей JSON, разделенных символом новой строки и требуется, чтобы каждый элемент становился отдельным документом для поиска, используйте jsonLines.

{ "id" : "1", "text" : "example 1" }
{ "id" : "2", "text" : "example 2" }
{ "id" : "3", "text" : "example 3" }

Для строчного документа JSON определение индексатора должно выглядеть, как в примере ниже.

POST https://[service name].search.windows.net/indexers?api-version=2026-04-01
Content-Type: application/json
api-key: [admin key]

{
    "name" : "my-json-indexer",
    "dataSourceName" : "my-blob-datasource",
    "targetIndexName" : "my-target-index",
    "parameters" : { "configuration" : { "parsingMode" : "jsonLines" } }
}

Сопоставление полей JSON с полями поиска

Сопоставления полей связывают исходное поле с целевым полем в ситуациях, когда имена полей и типы не идентичны. Однако сопоставления полей также можно использовать для сопоставления частей документа JSON и их извлечения в поля верхнего уровня в документе поиска.

Следующий пример иллюстрирует этот сценарий. Дополнительные сведения о сопоставлениях полей см. в разделе сопоставления полей.

{
    "article" : {
        "text" : "A hopefully useful article explaining how to parse JSON blobs",
        "datePublished" : "2016-04-13"
        "tags" : [ "search", "storage", "howto" ]    
    }
}

Допустим, что у вас есть индекс поиска со следующими полями: text типа Edm.String, date типа Edm.DateTimeOffset и tags типа Collection(Edm.String). Обратите внимание на несоответствие между полем "datePublished" в источнике и полем date в индексе. Чтобы сопоставить JSON с необходимой формой, используйте следующие сопоставления полей:

"fieldMappings" : [
    { "sourceFieldName" : "/article/text", "targetFieldName" : "text" },
    { "sourceFieldName" : "/article/datePublished", "targetFieldName" : "date" },
    { "sourceFieldName" : "/article/tags", "targetFieldName" : "tags" }
    ]

Исходные поля указываются в нотации указателя JSON. Начинайте с косой черты для обозначения корня вашего документа JSON, затем выберите нужное свойство (на любом уровне вложенности) с помощью пути, разделенного косой чертой.

Также можно ссылаться на отдельные элементы массива, используя отсчитываемый от нуля индекс. Например, чтобы выбрать первый элемент массива "tags" из приведенного выше примера, используйте следующее сопоставление полей:

{ "sourceFieldName" : "/article/tags/0", "targetFieldName" : "firstTag" }

Дальнейшие шаги

• Настройка индексаторов BLOB-объектов
• Определение сопоставлений полей
• Общие сведения об индексаторах
• Как индексировать большие двоичные объекты CSV с помощью индексатора BLOB-объектов
• Учебник: поиск полуструктурированных данных в хранилище Azure Blob