В США учитель физкультуры был арестован и обвинен в клонировании голоса директора школы с помощью ИИ. Он получил доступ к инструментам OpenAI и службам чата Microsoft Bing через школьные компьютеры, создал дипфейк и опубликовал аудиозапись с расистскими и антисемитскими комментариями. Она вызвала волну наполненных ненавистью сообщений, угрозу для семьи директора и многочисленные звонки от общественности.
Учитель физкультуры средней школы Пайксвилла подделал запись голоса директора с помощью искусственного интеллекта, чтобы отомстить за расследование неправильного использования школьных средств.
Дело Дажона Дариена
История началась с того, что в социальных сетях появилась аудиозапись того, как директор средней школы Пайксвилла Эрик Эйсверт отпускает расистские и антисемитские комментарии. Несмотря на то, что его отстранили от работы, появились вопросы о подлинности записи.
Эксперты по обнаружению дипфейков сообщили, что есть неопровержимые доказательства того, что голос создан искусственным интеллектом. Они отметили ровный тон, чистые фоновые звуки и отсутствие последовательных звуков дыхания или пауз. Специалисты также проверили аудиозапись с помощью других методов обнаружения ИИ и пришли к выводу, что она является подделкой.
После оперативных мероприятий было выяснено, что учитель физкультуры Дажон Дариен получил доступ к инструментам OpenAI и службам чата Microsoft Bing через школьные компьютеры, создал дипфейк голоса директора и опубликовал аудиозаписи через свой адрес электронной почты и связанный с ним номер телефона.
Полиция арестовала Дариена и заявила: «Считается, что мистер Дариен сделал запись, чтобы отомстить директору Эйсверту, который в то время проводил расследование неправильного использования школьных средств. Эйсверт установил, что Дариен внес платеж в школьную систему начисления заработной платы в обход надлежащих процедур».
Учитель физкультуры был освобожден после внесения залога в $5000, но ему были предъявлены обвинения за кражу из школьных фондов, нарушение работы школы, месть свидетелю и преследование.
«Аудиоклип имел серьезные последствия. Это не только привело к временному отстранению директора школы, но и вызвало волну наполненных ненавистью сообщений в социальных сетях и многочисленные звонки от общественности. Дипфейк нанес серьезный ущерб Эйсверту, его семье, учащимся и персоналу средней школы Пайксвилла».
Проблема голосовых дипфейков
Первые дипфейки, созданные при помощи искусственного интеллекта, появились всего в 2018 году, но уже успели завоевать значительную популярность.
«Эта история далеко не первая, когда применялись нейросети для искусственного создания чужого голоса в своих целях. Данный метод в практике ещё с 2018 года. Но с каждым годом этот метод атак с использованием социальной инженерии становится всё популярнее и проще для атакующего. Эта история отлично демонстрирует, как легко пошатнуть чужой статус резкими высказывания, лишить человека работы и настроить общество против него, хотя последний ничего мог и не совершать».
За последний год интерес к технологии клонирования голоса с использованием искусственного интеллекта вырос по мере того, как сервисы стали звучать более человечно. Так, политическая партия Имрана Хана, заключенного в тюрьму бывшего премьер-министра Пакистана, использовала ElevenLabs, чтобы воспроизвести его голос во время кампании. А две техасские организации были связаны с поддельным робозвонком, выдававшим себя за президента Джо Байдена и призывавшим людей не голосовать.
В этой напряженной обстановке OpenAI решила не открывать доступ к своей платформе для преобразования текста в голос с помощью ИИ, Voice Engine. Однако другие инструменты для генерации голоса с помощью ИИ широко доступны онлайн, и одной минуты записи чьего-либо голоса может быть достаточно, чтобы имитировать его с помощью инструмента.
В России голосовые дипфейки только начали развиваться. Александр Клевцов, эксперт по информационной безопасности ГК InfoWatch, сообщает, что с голосовыми дипфейками пользователи сталкиваются все чаще, и в будущем количество таких историй будет расти. Технология довольно трудоемкая, чтобы сделать качественный слепок голоса злоумышленникам нужна длительная запись – от 30 минут, но в социальных сетях их достаточно легко найти. Используют дипфейки чаще всего для социальной инженерии, в том числе для финансового мошенничества – представляются руководителями и требуют сотрудника срочно перевести деньги или родственниками и друзьями, якобы попавшими в беду. Не так давно похожая ситуация произошла с Сергеем Безруковым, которому якобы Константин Хабенский прислал голосовое сообщение с приглашением стать инвестором в проекте по строительству пансионата. Обман вовремя раскрылся и денег мошенники не получили.
«Главная задача злоумышленников – создать ситуацию максимального стресса, побудить действовать срочно и немедленно, чтобы у человека не было времени задуматься».
Александр Клевцов, эксперт по информационной безопасности ГК InfoWatch
Эксперт ГК InfoWatch дополняет: «В таких ситуациях основная рекомендация – если пользователь сталкивается с нетипичной просьбой срочно перевести деньги или что-то сделать, стоит сбросить звонок и перезвонить на настоящий номер начальника или друга, который просил о помощи. Как правило, уже на этом этапе мошенническая схема рассыпается. Для родственников можно придумать кодовое слово, которое знаете только вы и которым сможете подтвердить по телефону, что звонит реальный человек, а не мошенник».
По мнению старшего исследователя данных в «Лаборатории Касперского» Дмитрия Аникина, несмотря на развитие технологий, в том числе детектирующих подобный контент, основным способом защиты остаются развитие критического мышления и повышение цифровой грамотности.
«Мошеннические схемы с применением дипфейк-технологий становятся все более изощренными. Это обусловлено тем, что алгоритмы постепенно улучшаются, появляется все больше сервисов, позволяющих создавать такие подделки».
Дмитрий Аникин, старший исследователь данных в «Лаборатории Касперского»
Эксперт «Лаборатории Касперского» отмечает, что если мы говорим об аудио-дипфейках, стоит обращать внимание на неестественное отсутствие шума на фоне, роботизированность и неровность голоса, отсутствие эмоций и интонационных ударений. В случае с мошенническими схемами с применением видео-дифейков подделку может выдать неестественная плавность человека во время движения головы. Также стоит обращать внимание на тон и чрезмерную гладкость кожи, отсутствие блеска и отражений в глазах, внешний вид зубов. Сейчас технологии уже достигли такого уровня, что иногда на первый взгляд сложно сказать, сгенерированный перед вами контент или оригинальное видео. В любом случае важно сохранять бдительность и перепроверять информацию с помощью альтернативных источников.