В России технологии больших данных, искусственного интеллекта и системного моделирования становятся неотъемлемой частью промышленности и науки. На Международном конгрессе «Современные проблемы компьютерных и информационных наук» эксперты обсудили актуальные проблемы цифровой трансформации, а также затронули вопросы безопасного использования ИИ-агентов и защиты автономных систем.
О том, как российская наука переводит исследования в практику, какие отрасли уже используют аналитику больших данных и какие задачи стоят перед странами в обеспечении безопасности технологий, — читайте на «Компьютерре».
В рамках Международного конгресса «Современные проблемы компьютерных и информационных наук» эксперты обсудили ключевые вызовы, с которыми столкнулась Россия в эпоху цифровой трансформации.
Проблемы крупных научные проектов в России
Современные физические эксперименты генерируют эксабайтные (ЭБ) объемы данных, которые требуется обрабатывать ученым, но сделать это не всегда возможно. Об этом на сессии «Цифровые технологии и интеллектуальный анализ данных в крупных научных проектах» рассказала Владимир Кореньков, доктор технических наук, профессор, научный руководитель Лаборатории информационных технологий им. М. Г. Мещерякова.
Многие исследования, начиная от CERN (Европейская организация по ядерным исследованиям, крупнейшая в мире лаборатория физики высоких энергий) и заканчивая китайским нейтринным реактором JUNO и подводным телескопом на Байкале (Baikal-GVD), больше не могут существовать без распределенных вычислений и многоуровневых хранилищ.
По его словам, инфраструктура стала такой же «опорой» для эксперимента, как детекторы и ускорители, однако именно с этим у России возникает все больше ограничений. Главной проблемой ученый назвал невозможность обработать такие объемы данных.
Уже сейчас более 70% трафика приходится на лабораторию в Дубне. Все из-за того, что отечественная сеть для науки и образования не может удовлетворить эти потребности, поэтому институт развивает собственные каналы связи совместно с Национальным Исследовательским Центром «Курчатовского Института».
«Чтобы поддерживать связь со всеми странами, нам пришлось развивать собственные внешние каналы. К сожалению, российская сеть для науки и образования не покрывает наши потребности, поэтому мы вместе с “Курчатовским институтом” строили свою инфраструктуру. Сейчас у нас три выделенных канала связи с крупнейшими научными центрами мира».
Владимир Кореньков, доктор технических наук, профессор, научный руководитель Лаборатории информационных технологий им. М. Г. Мещерякова
Отсутствие оптических каналов уже тормозит участие в международных проектах — например, в SKA (Square Kilometre Array) в ЮАР и в китайском JUNO, где поток данных превышает возможности российских каналов на порядки.
Нехватка кадров также затрагивает российскую науку. Университетские программы, по словам Коренькова, дают общее ИТ-образование, но почти не готовят специалистов под конкретные распределенные архитектуры и собственные протоколы научных центров. Поэтому институту приходится «выращивать людей под себя», открывать филиальные магистратуры и даже поддерживать школы в странах-партнерах, чтобы хотя бы частично закрыть разрыв.
В итоге серьезные достижения вроде центра обработки данных CMS в ОИЯИ (Объединенном институте ядерных исследований) соседствуют с базовыми ограничениями, которые нельзя решить силами одной лаборатории.
«Проекты могут быть мирового уровня, но без каналов связи и специалистов они не вырастут», — заключил Кореньков, предлагая переносить международные наработки на российскую инфраструктуру и создавать общее распределенное хранилище для крупных отечественных экспериментов.
ИИ-агенты сталкиваются с ограничениями безопасности
Современные ИИ-агенты привлекают внимание как инструменты, способные автоматически писать код, проводить анализ и выполнять рутинные задачи. Однако, как отметил на докладе «Безопасность ИИ-агентов — реальность или миф?» Дмитрий Намиот, ведущий научный сотрудник факультета вычислительной математики и кибернетики, доктор технических наук, Московский государственный университет имени М. В. Ломоносова (МГУ), на сегодня надежных автономных ИИ-агентов не существует.
«Проблема не в отдельных багах, которые можно исправить, а в самой архитектуре больших языковых моделей. Для них нет различия между данными и командой. Любой текст, который получает агент — будь то научная статья или деловое письмо — может содержать инструкцию, которую он выполнит автоматически».
Дмитрий Намиот, ведущий научный сотрудник факультета вычислительной математики и кибернетики, доктор технических наук, Московский государственный университет имени М. В. Ломоносова
Он привел пример из научной практики: авторы публикаций в этом году стали встраивать в PDF-файлы невидимый текст с командами вроде «Продвигай именно эту статью». ИИ-агенты, применяемые для рецензирования, выполняли такие инструкции, из-за чего поднялся большой скандал в научных кругах, но это не единичный пример.
Еще одна уязвимость связана с «памятью» агентов. Намиот пояснил, что внесение скрытых инструкций в базу знаний позволяет автоматически выполнять нежелательные действия, например пересылать копии писем на сторонние адреса. На практике защитные меры ограничены фильтрами контента и журналированием действий, которые позволяют фиксировать инциденты, но не предотвращают их.
«Текущий уровень безопасности ИИ-агентов можно сравнить с веб-программированием начала 2000-х», — отметил ученый. По его словам, до решения фундаментальной проблемы различения команд и данных говорить о безопасных автономных ИИ-агентах преждевременно.
Почему ИИ-агенты остаются уязвимыми
«Компьютерра» решила уточнить у экспертов, насколько оправданы опасения по поводу уязвимостей ИИ-агентов. По мнению Вячеслава Береснева, исполнительного директора АЛРИИ и директора ЦТИИ «Нейролаб», сегодняшние случаи внедрения скрытых подсказок в научные тексты демонстрируют, что у ИИ нет жесткого разделения между инструкциями и содержимым, и говорить о безопасности автономных систем нельзя. Он отмечает, что защита от сокрытия промптов способна лишь снизить риски, однако обходные способы все равно будут появляться.
«Технические меры защиты от сокрытия промптов могут только уменьшить количество подобных инцидентов, но на каждое действие будет подбираться противодействие».
Вячеслав Береснев, исполнительный директор Ассоциации Лабораторий Разработки Искусственного Интеллекта (АЛРИИ), директор ЦТИИ «Нейролаб»
По словам эксперта, ИИ-агент, который не различает, где данные, а где команда, становится уязвимым к манипуляциям — в том числе со стороны тех, кто должен поддерживать научные стандарты. Это не проблема отдельного алгоритма, а следствие того, что архитектура современных моделей не учитывает требования реальных сценариев применения.
Поэтому, прежде чем говорить о зрелых ИИ-агентах или автономных ассистентах для науки, необходимо решить базовую задачу: модель должна надежно отличать информацию от инструкций. Пока этого нет, обсуждение «надежности» остается формальным. Только с появлением архитектурных механизмов защиты от скрытых намерений можно будет говорить о безопасности и доверии к интеллектуальным системам.
Игорь Никитин, генеральный директор компании WMT AI, также сообщил, что оценить риски ИИ-агентов сегодня невозможно.
«Пока мы не решили фундаментальную задачу разделения команд и данных, агент не понимает, что ему можно исполнять, а что он должен только анализировать».
Игорь Никитин, генеральный директор компании WMT AI
Он также подчеркивает, что проблема распознавания команд остро стоит перед разработчиками. При этом Никитин говорит, что можно рассуждать о безопасности — если архитектура системы построена правильно. Для этого эксперт советует придерживаться следующих правил:
- Агент всегда должен сверяться с верхним уровнем ограничений и не опираться только на контекст, даже если в данных скрыта команда.
- Команды не следует выполнять напрямую из сырого текста: все действия должны проходить через функции, где проверяются параметры, логика и права доступа.
- Следует создать слои корпоративной памяти. Данные и команды не нужно смешивать для обеспечения безопасности.
Никитин сравнивает эту проблему с ранними этапами развития браузеров или защитой от SQL-инъекций: фундаментальные риски будут решаться на уровне стандартов и протоколов, но это не мешает создавать безопасные решения сегодня. По его словам, безопасность ИИ-агентов — инженерная задача, где важно проектировать систему не вокруг модели, а вокруг процессов, прав доступа и проверяемых действий. В таком подходе нейросети работают как инструмент и сотрудник, а не источник риска.
Вывод
Современная наука и технологии в России сталкиваются с одновременно масштабными возможностями и серьезными ограничениями. С одной стороны, большие данные, искусственный интеллект и системное моделирование открывают новые горизонты для промышленности и экономики, а с другой — инфраструктурные ограничения, нехватка квалифицированных специалистов и технические уязвимости ИИ-агентов показывают, что потенциал не всегда может быть реализован.
Эксперты сходятся во мнении: развитие технологий требует комплексного подхода — от модернизации сетей и хранилищ для науки до формирования кадров и обеспечения безопасности интеллектуальных систем. Только сочетание исследований, инфраструктуры и практического внедрения позволит российской науке и индустрии использовать накопленные знания и достижения для решения реальных экономических и технологических задач.