Обнаружение объектов

В этой статье описывается функция обнаружения объектов. Обнаружение объектов похоже на тегирование, но API возвращает координаты ограничивающей прямоугольной рамки (в пикселях) для каждого найденного в изображении объекта. Например, если изображение содержит собаку, кота и человека, операция обнаружения объектов перечисляет эти объекты с их координатами на изображении.

Эту функциональность можно использовать, чтобы обрабатывать отношения между объектами на изображении. Кроме того, она позволяет определить, присутствуют ли на изображении несколько экземпляров одного объекта.

Между таксономией тегов и таксономией обнаружения объектов не существует формальных связей. На концептуальном уровне функция обнаружения объектов находит только объекты и живые существа, в то время как функция тега также может включать контекстные термины, такие как помещение, которые нельзя локализовать с ограничивающими прямоугольниками.

Попробуйте возможности обнаружения объектов быстро и легко в браузере с помощью Azure AI Vision Studio.

Следующий ответ JSON показывает, что API анализа изображений возвращает при обнаружении объектов в примерном изображении.

{
   "objects":[
      {
         "rectangle":{
            "x":730,
            "y":66,
            "w":135,
            "h":85
         },
         "object":"kitchen appliance",
         "confidence":0.501
      },
      {
         "rectangle":{
            "x":523,
            "y":377,
            "w":185,
            "h":46
         },
         "object":"computer keyboard",
         "confidence":0.51
      },
      {
         "rectangle":{
            "x":471,
            "y":218,
            "w":289,
            "h":226
         },
         "object":"Laptop",
         "confidence":0.85,
         "parent":{
            "object":"computer",
            "confidence":0.851
         }
      },
      {
         "rectangle":{
            "x":654,
            "y":0,
            "w":584,
            "h":473
         },
         "object":"person",
         "confidence":0.855
      }
   ],
   "requestId":"25018882-a494-4e64-8196-f627a35c1135",
   "metadata":{
      "height":473,
      "width":1260,
      "format":"Jpeg"
   },
   "modelVersion":"2021-05-01"
}

Важно учесть ограничения функции обнаружения объектов, чтобы избежать влияния (или уменьшить его) ложных отрицательных результатов (пропущенных объектов) и ограниченных сведений.

• Объекты обычно не обнаруживаются, если они небольшие (менее 5% изображения).
• Объекты обычно не обнаруживаются, если они расположены тесно вместе (например, стопка тарелок).
• Объекты не отличаются по брендам или продуктам (например, различные типы сода на полке магазина). Тем не менее можно получить сведения о торговых марках на изображении с помощью функции обнаружения торговых марок.

Функция обнаружения объектов является частью API анализа изображений. Вы можете вызывать этот API с помощью собственного пакета SDK или с помощью вызовов REST. Включите Objects в visualFeatures параметр запроса. Затем, когда вы получите полный ответ JSON, проанализируйте строку, чтобы получить содержимое раздела объектов.

• Быстрый старт: анализ изображений