Специалисты Московского физико-технического института представили бортовой модуль обработки данных для беспилотных летательных аппаратов, который позволяет преобразовывать видеопоток в структурированную сцену с привязкой к координатам и хронологией наблюдений.
Разработка «Нейропарсер» ориентирована на задачи инспекции инфраструктуры, поисковых мероприятий и анализа последствий чрезвычайных ситуаций, где требуется не только обнаруживать объекты, но и отслеживать их состояние с течением времени.
В настоящее время беспилотные аппараты все чаще рассматриваются не просто как платформы для съемки, но и как вычислительные устройства, оснащенные нейросетевыми алгоритмами, тепловизорами и системами автономного управления. Несмотря на прогресс в этой области, существующие решения, как правило, эффективны в узких задачах, но не формируют полной картины наблюдаемой обстановки. Операторам зачастую приходится вручную анализировать видеоматериалы и сопоставлять объекты с координатами, что усложняет и замедляет работу.
Разработанный в МФТИ модуль предлагает иной подход: система ведет историю наблюдений по каждому обнаруженному объекту. Это позволяет получать ответы не только на вопрос о составе кадра, но и о длительности наблюдения, характере перемещений, точном местоположении и степени достоверности идентификации.
Как пояснил ведущий инженер, кандидат технических наук Иван Фаркатов, архитектура модуля рассматривает обработку информации как непрерывную последовательность этапов: выделение контуров, трекинг, повторная идентификация, привязка к местности и сохранение данных в памяти системы. Ценность решения заключается не в отдельных компонентах, а в их интеграции.
В основе устройства лежит модульная структура. Каждый блок отвечает за отдельную функцию: выделение объектов на изображении, распознавание их класса, отслеживание во времени, поиск заданного образца при изменении условий съемки и сопоставление с навигационными данными, поступающими от спутниковых и инерциальных систем. Расчет координат и пространственного положения объекта производится на основе навигационного контура БПЛА, тогда как нейросетевые алгоритмы сосредоточены на распознавании и сопровождении. По мнению разработчиков, такое разделение повышает надежность и делает результаты проверяемыми в реальных условиях.
Каждому объекту присваивается цифровой идентификатор, содержащий информацию о типе, маске на изображении, времени наблюдения, координатах и векторе признаков для последующего поиска. Это позволяет системе сопоставлять эталонное изображение цели с объектами в поле зрения в процессе полета. При достаточной степени совпадения объект фиксируется в сцене и включается в итоговый отчет.
Создатели модуля отмечают, что он не заменяет существующие алгоритмы, а интегрирует их в единую среду, что переводит беспилотник из роли пассивного регистратора в статус наблюдателя с пространственной памятью. В совокупности с другими разработками института в области технического зрения и навигации, система позволяет сократить интервал между выполнением полетного задания и принятием решения за счет автоматизированного анализа сцены.
В дальнейшем технология может быть востребована в мониторинге территорий, картографировании, оценке ущерба от аварий и в ряде специальных сценариев, где требуется идентифицировать конкретный объект по эталонному изображению. Основной задачей проекта является переход от разрозненных детекций к формированию единой геопривязанной сцены с накоплением данных о наблюдаемых объектах.
Читайте также: Аэротакси Archer успешно испытали на реальном маршруте.