Анализ работ, опубликованных за 3 года на конференции RecSys, показал — только 10% объясняют смысл фильтрации датасета, ни одна не объясняет выбранный порог.
Ученые из Института AIRI обнаружили отсутствие единой методологии для определения порогов «холодного старта». Понимать, сколько взаимодействий должно быть у объекта, чтобы считать его «холодным» или «теплым» особенно важно для научных исследований и работы онлайн-сервисов.
Эффект «холодного старта» — это ситуация, когда в системе рекомендаций появляется новый пользователь или товар с недостаточным количеством взаимодействий для надежного прогнозирования. Обычно такие объекты исключают заранее по порогу 5 взаимодействий на пользователя и товар (5-core фильтрация). Однако лишь 10% авторов статей на конференции RecSys за последние три года обосновывают необходимость фильтрации, не объясняя выбор порога.
Ошибочный порог может дорого стоить. Низкий порог приводит к большому количеству «шума», ухудшая качество рекомендаций. Высокий порог отсеивает важные данные, и алгоритмы теряют значимые взаимосвязи, что снижает точность метрик.
Ученые сделали первые шаги к автоматическому определению порога «холодного старта». Для пользователей порог определяли по резкому улучшению качества рекомендаций после определенной длины истории запросов. Для товаров анализировали подвыборки данных с разной частотой взаимодействий, чтобы выявить минимальное число взаимодействий для скачка метрик, указывающего на накопление достаточной информации.
Специалисты проверили популярные рекомендательные алгоритмы (SASRec, PureSVD, ItemKNN, EASER) на четырех датасетах: рейтинги фильмов (movielens-1m), отзывы о косметике (Amazon Beauty), искусство (Behance) и оценки пива (BeerAdvocate). Это позволило оценить подход независимо от архитектуры системы. Выяснилось, что оптимальный порог «размораживания» варьируется в зависимости от задачи и модели. Например, последовательные модели SASRec требуют в три раза больше взаимодействий для одного и того же датасета, чем классические алгоритмы.
«Мы показали, что произвольный и нефиксированный выбор порога «холодного старта» может радикально изменить выводы исследования — прозрачная методология необходима для корректного обучения и сравнения рекомендательных алгоритмов».
Никита Сухоруков, научный сотрудник группы «Технологии персонализации» Института AIRI
Таким образом, при проектировании и тестировании рекомендательных систем важно четко обосновывать выбор порогов фильтрации, и проводить обучение и тест на данных, отфильтрованных с использованием одного и того же параметра для сравниваемых моделей. Это единственная гарантия честной оценки качества работы алгоритма и воспроизводимости результатов.