Исследователи из «Яндекса», Сколтеха и ГУАП представили самый большой в мире открытый набор данных PackEat для обучения систем компьютерного зрения в ретейле. Датасет содержит свыше 100 тысяч изображений фруктов и овощей из реальных магазинов.
Исследователи представили самый большой в мире открытый набор данных для систем компьютерного зрения в розничной торговле. PackEat создан инженером «Яндекса», специалистами Центра искусственного интеллекта Сколтеха и Санкт-Петербургского государственного университета аэрокосмического приборостроения. Он предназначен для обучения алгоритмов, используемых в умных кассах и системах учета магазинов.
Датасет содержит фотографии фруктов и овощей — 34 вида и 65 сортов. Все изображения собраны в реальных магазинах с разных точек обзора, что позволяет учитывать различные условия: продукты в полиэтиленовых пакетах, пересекающиеся объекты и неоднородный фон. Всего в набор вошло более 100 тысяч снимков, на которых запечатлено свыше 370 тысяч отдельных объектов. Примерно 9 тысяч изображений имеют детальную разметку с указанием количества объектов и общего веса упаковки.
Набор данных предназначен для решения ключевых задач: точного различения видов и сортов продуктов, выделения каждого объекта, даже когда они накладываются друг на друга, и автоматического подсчета количества товара. Автоматизация таких процессов рассматривается как способ решения проблемы ручной идентификации весовых товаров, которая может приводить к ошибкам. Согласно исследованиям, нейросети на основе подобных данных могут достигать точности распознавания до 92%.
Датасет опубликован в открытом доступе. Статья с его описанием размещена в журнале Scientific Data, изображения — на платформе Zenodo, а код и примеры моделей — на Kaggle. Это позволяет разработчикам и исследователям использовать материалы в своих проектах.
Ключевую роль в работе над датасетом сыграли Сергей Нестерук из Yandex Cloud, который руководит командой безопасности искусственного интеллекта, и Светлана Илларионова, возглавляющая группу «Компьютерное зрение для обработки данных» в Центре ИИ Сколтеха. Оба исследователя имеют публикации и опыт в области компьютерного зрения и прикладных задач.