Алгоритмы Поиска по картинкам Яндекса научились одновременно анализировать изображение и текст на странице, чтобы еще точнее понимать, что именно ищет человек. Новая технология позволяет улучшить результаты в тех случаях, когда текст в описании картинки противоречит самому изображению. Это особенно полезно на запросах о конкретных вещах — например, о модели дивана, телефона или автомобиля, где в описаниях часто путают похожие модели.
Обновление особенно заметно при поиске товаров, автомобилей, техники, одежды, мебели и других объектов, которые внешне похожи друг на друга. Например, если на странице опубликована фотография одной модели телефона, а в тексте упоминается другая, поиск с большей вероятностью распознает, какая модель изображена на самом деле.
Раньше Поиск анализировал изображение и текст отдельно. Теперь он оценивает их вместе, поэтому лучше справляется со случаями, когда описание на странице неточное или не соответствует изображению. После внедрения новой технологии количество релевантных изображений в верхней части поисковой выдачи заметно выросло. Это означает, что пользователи чаще находят нужное изображение без дополнительных запросов.
В основе обновления — новая мультимодальная технология. Чтобы совместный анализ изображения и текста не влиял на скорость поиска, инженеры Яндекса сначала обучили большую модель, а затем создали на ее основе несколько компактных моделей для разных этапов обработки. Самые ресурсоемкие вычисления выполняются заранее, поэтому технология работает в реальном времени без увеличения времени ответа Поиска.