Новая российская разработка с точностью 80% распознает опасные действия сотрудников, такие как курение или использование телефона на рабочем месте, и уже помогла в три раза сократить количество проверок на предприятии в Пермском крае.
Ученые Университета ИТМО разработали программу для автоматического отслеживания действий, которые могут привести к чрезвычайным происшествиям на производстве. Речь идет, например, о курении, приеме алкоголя или пищи на рабочем месте, несанкционированном перемещении оборудования или доступе в запрещенные зоны. Также система помогает предупредить саботаж камер — когда объектив намеренно пачкают или закрывают, чтобы скрыть запрещенные действия.
Новая модель, получившая название ActionFormer, способна одновременно распознавать до десяти различных событий. Ее средняя точность составляет 80%, что выше, чем у многих открытых аналогов, таких как VideoMAE и Hiera, которые показывали результаты в 24% и 48% соответственно на тех же данных.
При этом разработка российских ученых является более легковесной и требует меньше вычислительных ресурсов благодаря использованию сверточной модели, которая анализирует не все изображение целиком, а только конкретные ключевые точки. Количество параметров в модели составляет 3,7 миллиона, что значительно меньше, чем у многих аналогов, таких как VideoMAE (22 млн параметров), Hiera (73 млн), Tarsier (10 млрд) и OpenVLA (7 млрд), которые требуют больше ресурсов.
Актуальность подобных систем подтверждается статистикой: по данным Социального фонда России, почти треть несчастных случаев на производстве происходит по личной неосторожности сотрудников. Существующие системы автоматического видеонаблюдения часто могут распознавать только статичные объекты, но не действия людей. Новая же разработка позволяет анализировать именно поведение.
«В будущем мы хотим обучить модель на большем числе действий. Следующая задача — адаптировать систему распознавания действий для носимых камер. Например, ее можно будет использовать в шахтах при проведении инструктажа — отслеживать, что бригада выполняет нужные действия и соблюдает правила безопасности: например, использует СИЗы, проводит работы в соответствии с инструкцией, безопасно спускается по лестнице».
Валерия Ефимова, руководитель проекта, кандидат технических наук, научный сотрудник лаборатории компьютерных технологий ИТМО
Алгоритм уже применяется на одном из крупных промышленных предприятий Пермского края. Его внедрение позволило в три раза сократить количество физических проверок и предотвратить ряд серьезных инцидентов. Код модели находится в открытом доступе, что позволяет другим пользователям самостоятельно обучать ее для распознавания новых действий при наличии собственных данных.