Поисковая выдача для разработчиков и ML-специалистов стала качественнее. Кроме того, «Яндекс» увеличил объем информации в сниппетах. Например, теперь увидеть ответ со Stack Overflow можно без перехода на сайт: прямо в поисковой выдаче будет отображаться сам вопрос, лучший ответ на него и другие полезные комментарии.
В 2020 году российская компания запустила технологию анализа текста на основе нейросетей-трансформеров: они позволили «Яндексу» лучше оценивать смысловую связь между запросами и содержанием документов в интернете. Технология получила название YATI.
Теперь разработчики усовершенствовали поиск с помощью CS YATI — новая нейросеть учитывает в полтора раза больше информации со страниц, чем ее предыдущая версия.
Обновленная модель научилась предсказывать клики квалифицированных IT-специалистов — для этого разработчики пропустили через алгоритм терабайты документов о программировании и историю поиска экспертов. Благодаря такому обучению CS YATI способна выдавать наиболее релевантные ответы на запросы «айтишников».
«Известно, что львиная доля программистских запросов — это запросы на английском языке. CS YATI обучалась в основном на англоязычных источниках. Мы не просто усовершенствовали поиск для программистов: в процессе мы ещё и улучшили поиск по англоязычным источникам», — рассказал Алексей Гусаков, руководитель управления машинного интеллекта и исследований.
Кроме того, «Яндекс» доработал свои сниппеты — анонсы сайтов, которые отображаются в результатах поиска. Теперь программисту не нужно заходить на сам сайт с ответом на свой вопрос, например, на Stack Overflow. Прямо в поисковой выдаче он сможет увидеть сам запрос, лучший ответ на него и другие полезные комментарии. Также было улучшено отображение сниппетов для GitHub и NPM: в них появилась дополнительная информация.