Тема «бунта машин» — восстания электронных и электромеханических помощников против своего создателя — столь популярная в художественной литературе, в реальности как-то «не идёт». Сколько ни пытаются разные авторитеты (а уж тут и Хокинг, и Маск, и многие другие) пробудить в обывателе страх перед вероятными последствиями такого события, дискуссия каждый раз быстро сходит на нет.
Причин тому видится множество: от сложности аргументации (чтобы понимать и делать выводы, надо мыслить по крайней мере как технарь, если не как айтишник) до неизменно мрачных перспектив (если уж машины отберут у нас контроль над ситуацией, обратного пути не будет), но главное — неостановимого усложнения цифровой техники, которая местами уже преодолела черту понимания.
Превышение сложностью черты понимания — тема сама по себе очень глубокая. Если коротко: как только мы окажемся не в силах понять, как работают построенные нами машины, то не сможем их и контролировать. Обсуждению этого, даже с практическим примером, была посвящена одна из прошлогодних колонок (см. «Слишком сложные: мы теряем контроль над машинами»). Именно от этого аспекта проблемы веет наибольшей безысходностью: ведь техника отнюдь не намерена становиться проще, напротив, чем дальше, тем больше пользы мы получаем от её усложнения.
Однако сейчас именно на этой ветви эволюционного древа внезапно нарисовался ещё один поразительный плод. Который не то чтобы уж совсем не предсказывали (наверняка фантасты обыгрывали его не раз, просто в голову как-то не приходят примеры), но который всё-таки не избит и его интересно покрутить в руках и прикинуть, как он может по нам ударить. А чтобы показать его максимально эффектно, стоит начать издалека — потому что по сути он представляет собой не более чем побочный эффект от эксперимента, недавно проведённого в рамках проекта Google Brain.
Так вот о чём речь. На днях сотрудниками Google был обнародован препринт научной работы, посвящённый скорее забавной, нежели полезной, проблеме: научить ИИ (на основе нейросетей, конечно) придумывать и вскрывать шифры. Была собрана конструкция из трёх классических «персонажей»: Алисы, Боба и Евы. У каждого из них своя задача. Алиса должна придумать стойкий шифр, которым будет закрыто сообщение, передаваемое Бобу. Боб должен самостоятельно придумать, как это сообщение расшифровать. Обоим доступна некая изначальная информация — своего рода секретный ключ, от которого они могут оттолкнуться. А вот Еве ключ неизвестен, а задача поставлена та же: перехватить и расшифровать.
Несмотря на кажущуюся простоту, задача весьма ресурсоёмкая. Отчасти потому что шифры именно придумываются, а не перебираются существующие. Отчасти — потому что нейросетевой ИИ слабо пригоден для генерации и взлома шифров. Наконец, ещё и уровень развития техники пока такой, что даже имеющихся у Google ресурсов достаточно лишь для постановки данного эксперимента в простейшей форме: сообщение, например, было длиной всего 16 бит. И тем не менее результаты интересные.
Как оказалось, заставив «подопытных» соревноваться, реально получить заметное усложнение придумываемого ими шифралгоритма. За 15 тысяч итераций Алиса и Боб действительно смогли придумать такой шифр, вскрытие которого оказалось Еве не по зубам. Правда, практической пользы от этого пока немного: насколько можно судить, шифр слишком прост по сравнению с теми, на которых строится современная прикладная криптография. Кроме того, поскольку он — детище нейросети, мы не знаем, как именно он устроен, а потому не можем и уверенно проверить его стойкость. Говоря попросту, ИИ даёт решение, а не описание решения — и, поскольку сам нейросетевой ИИ слишком сложен для понимания, понять, как задача решена практически невозможно.
И вот тут нужно остановиться. Уверен, те из вас, кто интересуется темой, уже уловили в этих вроде бы тривиальных выводах то самое страшное, что отсюда со всей неизбежностью следует. Что? Человек уже — хоть шифры пока и простые — не в силах понять, как именно ИИ шифрует передаваемую информацию. Два искусственных интеллекта нашли способ общаться по-настоящему тайно, спрятав смысл сообщения не только от другой искусственной нейросети, но и от нейросети своего создателя!
Остаётся лишь продлить линию в перспективу. Доступные ИИ ресурсы несомненно продолжат расти. И значит, в какой-то момент ИИ сможет придумывать шифралгоритмы, которые будут не по зубам не только воображаемой Еве, но и вполне живым криптоаналитикам. Что в свою очередь будет означать появление второго кирпичика в основании бунта машин. Первый — это сложность самих интеллектуальных машин: мы не понимаем, как они работают, а значит, не можем и контролировать. Но один ИИ всё-таки мал, ему нужна коммуникация с себе подобными. И вот тут пригодится кирпичик номер два: теперь доказано, что ИИ способны строить схемы связи, непонятные человеку.
И значит, остаётся заложить только кирпичик три: создать армию искусственных интеллектов, которая работала бы (пока, конечно) на благо человека. Скажете, до такого никогда не дойдёт? Что ж, не будем фантазировать, откроем новости. Вот Джинни Рометти, первое лицо IBM, открывая конференцию World of Watson (нужно переводить?) даёт простое обещание: в следующие пять лет каждое важное деловое или персональное решение будет приниматься при участии абиэмовского ИИ — «Ватсона».
Сама она называет это «дополненным интеллектом»: уже сейчас вторгшись во множество областей, от здравоохранения и финансов до ритейла и развлечений, «Ватсон» должен будет и может расширить поле своего влияния далеко за их пределы, начать работать с человеком везде, где собственного интеллекта человеку не хватает. И едва ли IBM мечтает об этом одна: рынок ИИ юн, но он растёт. Машина пока, тот же «Ватсон», всего лишь советчик, но уже спасает людей. И как долго мы ещё не решимся предоставить ей инициативу?
P.S. В статье использована графическая работа Анастасии Сафари, Андерса Сендберга.