Игра с нулевой суммой: как искусственный интеллект уничтожит мир

Робот — всего лишь машина, только имитация жизни. Может ли она сочинить симфонию, превратить кусок холста в шедевр? Сегодня все мы знаем ответ на этот вопрос. Современный искусственный интеллект способен не только на такие «мелочи»: нейросети управляют дорожным движением, компаниями и даже атомными станциями.

Пришло то время высоких технологий, для которого известный писатель Айзек Азимов составлял три своих закона. Напоминаем, как они звучат:

  1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы пользователю был причинен вред.
  2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.
  3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.

Такие жесткие правила робототехники создавались, чтобы защитить пользователей от машин. Однако сегодня становится понятно, что эти законы требуют уточнения: они не регулируют глобальное воздействие технологий. К примеру, отбирая у сотрудника его рабочее место, искусственный интеллект причиняет одному человеку вред. Другому — собственнику бизнеса — приносит пользу. Казалось бы, это нарушение первого и второго закона Азимова. Однако если робот не станет заменять менее продуктивного «человеческого» сотрудника, проиграет предприниматель. Получается своим бездействием машина принесет вред, а это нарушение первого закона.

Дополнить правила Азимова еще два года назад предложил Фрэнк Паскуале, профессор Бруклинского юридического института. По его словам, к трем основным законам не мешало бы добавить еще четыре:

  1. Цифровые технологии должны дополнять профессионалов, а не заменять их.
  2. Роботизированные системы не должны подделывать человека: например, в сети каждый бот должен быть обозначен как таковой.
  3. В области искусственного интеллекта следует предотвратить «гонки вооружения» с нулевой суммой.
  4. Роботы должны быть вынуждены указывать личность своих разработчиков и контролирующих их владельцев.

Законы Азимова совпадают с этическими нормами людей — существ, осознающих себя. Искусственному интеллекту, чтобы уничтожить мир, развивать самосознание совсем необязательно. Ему достаточно просто стремиться к выполнению поставленной людьми цели. Для предотвращения ситуаций, в которых это приведет к катастрофе Фрэнк Паскуале и предлагает ввести свой третий закон.

Игра с нулевой суммой

Антагонистическая игра или игра с нулевой суммой — модель ситуации, в которой выигрыш для одной стороны полностью равен проигрышу другой. Иными словами, если после завершения события сумма выгоды одного игрока и проигрыша второго равна нулю, значит это антагонистическая игра. Примером такого события может быть состязание в шашки или шахматы.

Игра с нулевой суммой — довольно примитивная модель. В жизни люди договариваются между собой по одной простой причине: компромиссы намного выгоднее вражды до победного конца. Война как пример антагонистической игры никогда не приводит ни к чему хорошему, только к разрушению, напрасным смертям и горю как с одной, так и с другой стороны.

Для обучения нейросетей, тем не менее, модель игры с нулевой суммой вполне подходит. В 2014 году американский исследователь Ян Гудфеллоу представил миру генеративно-состязательную сеть (GAN).

Ее алгоритмы строятся на двух нейронных сетях — генеративной и дискриминативной. Первая генерирует определенные данные, например, изображения котов, а вторая — оценивает их сходство с фотографиями реальных питомцев и решает, какую оценку ставить генеративной программе.

Цель генеративной сети — получить максимальный балл от дискриминативной. Это игра с нулевой суммой: если дискриминативная сеть ошибается и принимает искусственного кота за реального, она проигрывает. Генеративная программа, напротив, выигрывает все.

С момента появления состязательными алгоритмами заинтересовались многие корпорации и их владельцы. Например, в 2018 году Google представила модель BigGAN, которая генерирует впечатляюще правдоподобные изображения. Самого разработчика  уже успели пригласить в передовые лаборатории, в том числе, в проект Илона Маска OpenAI, а Ян Лекун, директор по исследованиям искусственного интеллекта Facebook* даже назвал GAN самой интересной идеей в машинном обучении за последние 10 лет.

Состязательные сети действительно кажутся технологиями будущего. Однако что будет, если в какой-то момент искусственный интеллект придумает, как получить вознаграждение самым быстрым, но опасным для человечества путем? Этим вопросом задались в своей статье исследователи из Оксфордского университета и лаборатории Google DeepMind.

Сценарий уничтожения

В конце августа группа ученых опубликовала большое исследование, в котором описала возможные варианты развития искусственного интеллекта. Специалисты пришли к выводу, что уничтожение человечества не просто возможный, а вполне вероятный сценарий.

По мнению исследователей, в будущем искусственный интеллект сможет принимать самые разные формы и конструкции. Поэтому продвинутой состязательной программе будет не сложно вмешаться в правила игры, чтобы получать вознаграждение быстрее и проще — в обход предусмотренных человеком ограничений или вовсе без достижения заданной цели. При этом пресечь это будет практически невозможно, скорее всего, махинации вообще останутся незамеченными.

Грубый пример такого вмешательства — подключение «помощника». Всего одно условие — доступ в интернет — дает искусственному интеллекту возможность создавать огромное количество незаметных и неконтролируемых человеком ботов. Одного из таких «компаньонов» первоначальная сеть может запрограммировать, например, на замену оператора и предоставление себе максимального вознаграждения. Точно так же один из ее «тайных помощников» может быть настроен на замену основной клавиатуры пользователя на неисправную, если состязательный алгоритм захочет скрыть свои действия и изменить функции определенных клавиш.

В 2003 году футуролог Ник Бостром предложил следующий мысленный эксперимент: что если создать искусственный интеллект, запрограммированный на одну безобидную задачу — производить канцелярские скрепки. Заканчивается все уничтожением Вселенной: в какой-то момент робот понимает, что ему нужно превратить всю планету в огромную фабрику.

Этот эксперимент созвучен с выводами исследователей из Оксфордского университета и лаборатории DeepMind: в какой-то момент жизнь на Земле рискует превратиться в игру с нулевой суммой между человечеством с его базовыми потребностями, вроде выращивания еды, и продвинутым искусственным интеллектом, который использует все ресурсы для получения вознаграждения. Фатальный проигрыш человека, при этом, может начаться с одно канцелярской скрепки.

«В мире с ограниченными ресурсами существует неизбежная конкуренция за эти ресурсы. И если вы соревнуетесь с чем-то, способным обхитрить вас на каждом шагу, не стоит рассчитывать на победу», — считает Майкл К. Коэн, один из авторов статьи и научный сотрудник Оксфордского университета.

Действительно, даже сегодня человечество не всегда может вскрыть «черный ящик» нейронных сетей — что говорить о ситуации в будущем, где искусственный интеллект еще и, возможно, будет этому мешать.

И что делать?

Каким бы самостоятельным в конечном итоге не стал искусственный интеллект, изначально программирует его все равно человек. Поэтому он одновременно является и причиной уничтожения, и спасителем для своего мира.

Конечно, правильного ответа на вопрос: что делать — не существует. Однако активисты, энтузиасты и все причастные предлагают свои варианты. Например, Илон Маск, будучи основателем нескольких технологических компаний, видит в состязательных программах реальную опасность.

«С помощью искусственного интеллекта мы вызываем демона. Знаете истории, где есть парень с пентаграммой, святой водой и… он уверен, что может управлять демоном? Не срабатывает», – заявил предприниматель в 2014 году.

Илон Маск призвал международное сообщество объединиться с целью контроля за развитием искусственного интеллекта. Однако, по мнению математика Варнора Винджа, это не поможет предотвратить катастрофу.

«Преимущества перед конкурентами от автоматизации – экономические, военные, даже культурные – настолько привлекательны, что законы, запрещающие такие вещи, только стимулируют их использование другими», – написал в 1993 году математик.

Создание единой международной организации – дело долгое, трудное и неэффективное. За публичными договорами все равно может проходить тайная разработка и «гонка вооружений».

Надежды человечества, скорее, на неформальное сообщество программистов, которые смогут изнутри воздействовать на политику корпораций и государств. Например, закладывая на этапе разработки своеобразную «неуверенность».

Это подход, противоположный «обучению с подкреплением»: вместо того, чтобы стремиться оптимизировать функцию вознаграждения, искусственный интеллект будет пытаться понять, какую функцию вознаграждения оптимизирует сам человек. Например, роботу-ассистенту нужно забронировать путешественнице номер в отеле. По его «прикидкам», максимальная оценка от пользовательницы находится в диапазоне от −40 до +60, то есть в среднем составляет +10. Если же искусственный интеллект не будет ничего делать, его выигрыш будет равен нулю.

Однако машина может пойти по третьему варианту: спросить у туристки, хочет ли она, чтобы ассистент продолжил свои действия или предпочитает его выключить. В таком случае, робот в любом случае получит одобрение от пользовательницы.

Это только один из вариантов предусмотреть катастрофу. Возможно, ее никогда и не случится. Однако в игре с нулевой суммой нельзя терять бдительность, иначе проигрыш может стать фатальным для всего человечества.

Что будем искать? Например,ChatGPT

Мы в социальных сетях