Специалисты из Cornell Tech разработали первого в мире генеративного ИИ-червя, который способен передаваться с одной системы на другую, при этом крадя данные или запуская вредоносное программное обеспечение.
Исследователи из Cornell Tech разработали генеративного ИИ-червя, который передвигается по сети, направляясь на ИИ-приложения, такие как Gemini Pro, ChatGPT 4.0 и LLaVA. Они назвали его «Morris II».
В своем отчете и на сайте исследователи демонстрируют, как ИИ-червь атакует ИИ-помощника через электронную почту, крадя данные и отправляя спам-сообщения, нарушая безопасность в ChatGPT и Gemini.
ИИ-червь основан на концепции состязательного самовоспроизводящегося приглашения. Оно запускает модель генеративного ИИ и заставляет систему выдавать набор последующих инструкций в своих ответах, аналогично традиционным атакам с переполнением буфера и SQL.
Для демонстрации работы червя исследователи создали систему электронной почты, которая могла обмениваться сообщениями с использованием генеративного ИИ, связываясь с ChatGPT, Gemini и LLaVA. Они использовали два метода — текстовое самовоспроизводящееся приглашение и внедрение его в файл изображения.
В одном из сценариев исследователи, выступая в роли злоумышленников, отправили электронное письмо с текстовым приглашением. Когда письмо было открыто, оно взломало службу GenAI и извлекло данные с почты. Второй метод представлял отправку изображения с вредоносной подсказкой, которая заставляла помощника пересылать спам-сообщения пользователям электронной почты.
Несмотря на то что исследование выявило недостатки в безопасности ChatGPT и Gemini, эксперты отмечают, что данное исследование является предостережением о недоработках в архитектурном дизайне систем искусственного интеллекта. Полученные выводы были переданы компаниям Google и OpenAI.