Специалисты Санкт-Петербургского государственного университета промышленных технологий и дизайна разработали и запатентовали программу на базе ИИ для автоматического восстановления поврежденных архивных документов. Система работает со сканами материалов, на которых есть пятна, разрывы, выцветшие участки и другие дефекты, мешающие распознаванию текста.
Программа состоит из двух частей — визуального и лингвистического модулей. Сначала система анализирует изображение документа и разделяет его на отдельные элементы: заголовки, текст, изображения и таблицы. Затем она очищает изображение от дефектов, повышает контрастность, восстанавливает небольшие разрывы в буквах и отделяет текст от фона.
После обработки изображение передается системе оптического распознавания символов. На этом этапе программа переводит содержимое документа из изображения в текст. Затем подключается разработанная специалистами СПбГУПТД крупная языковая модель, которая восстанавливает структуру и смысл поврежденных фрагментов.
Особенно сложной задачей стало распознавание старых газет с несколькими колонками. Языковая модель анализирует расположение текстовых блоков на странице, определяет последовательность абзацев, объединяет заголовки и восстанавливает слова, разделенные повреждениями бумаги. Она также умеет корректно обрабатывать переносы слов по дефису.
«Модель была дообучена на подшивке газеты «Кадры стране» за 1968 год, которая выпускалась в Ленинградском институте текстильной и легкой промышленности им. С.М. Кирова (ныне — СПбГУПТД). Это позволило системе «выучить» характерные для той эпохи типографские особенности и распространенные артефакты печати. В результате модель обеспечивает значительно более высокую точность распознавания, включая корректную обработку специфической лексики, аббревиатур и орфографических норм того времени».
Никита Сиротенко, автор разработки, ассистент кафедры интеллектуальных систем и защиты информации СПбГУПТД
В рамках экспериментальной работы специалисты оцифровали архивные документы института за 1968 год. По замыслу разработчиков, программа должна помочь архивам и библиотекам автоматизировать обработку больших массивов исторических материалов.
В дальнейшем такую систему планируют использовать не только для архивов. Среди возможных применений разработчики называют восстановление поврежденных договоров, расписок, завещаний и писем в юриспруденции и криминалистике, а также обработку документов, пострадавших при пожарах и затоплениях.
Источник: Минобрнауки России
Читайте также:
В МФТИ назвали главных кандидатов на Нобелевскую премию 2026 года
В Новосибирске разработали приборы вакуумной микроэлектроники для работы в экстремальных условиях
Найден способ улучшить свойства углерода для аккумуляторных анодов