Дискуссия об автономном летальном оружии (АЛО), более известном как «роботы-убийцы», с каждым днём привлекает новых людей. С одной стороны здесь — энтузиасты, производители оружия и, как ни странно, здравый смысл. Эти утверждают, что применение автоматических конструкций (в идеале, обладающих искусственным интеллектом, т.е. способных принимать решение по устранению человека без человека), так вот применение таковых для убийства есть всего лишь логическое продолжение методов дистанционного изничтожения себе подобных, восходящих ещё к палке и камню, миллионы лет назад взятых в лапы нашими пращурами. С другой — скептики, справедливо опасающиеся, что без моратория на производство и применение АЛО, мир окажется втянут в новую гонку вооружений: ведь автономное оружие явно претендует на роль третьего важнейшего изобретения в технологиях войны после пороха и атомной энергии.
Аргументов с той и другой стороны навалены уже вагон и тележка, а в настоящий момент обсуждается очередной: открытое письмо в пользу полного запрета АЛО, подписанное тысячами специалистов и ещё большим количеством сочувствующих, включая Элона Маска, Стивена Хокинга, Стива Возняка и прочих (Михаил Ваннах замечательно прошёлся по нему в «Боевом роботе как новой городской страшилке»).
И тем не менее, при всей глубине аргументации, дискуссия остаётся теоретической. Ей не хватает примеров из жизни, на которых можно было бы наглядно продемонстрировать плюсы или минусы применения «роботов-убийц». Правда, стопроцентно подходящих случаев пока и быть не может, ибо полноценного АЛО ещё не создано. Поэтому приходится включать воображение. Но даже в такой форме это уже шаг вперёд от чисто теоретических построений — и я предлагаю вашему вниманию один из таких примеров, совсем свежий случай, увы, со смертельным исходом (но в этом-то вся и соль!).
19 июля в каком-то американском городке, патрулируя вверенную ему территорию, служащий полиции Рэй Тенсинг застрелил 43-летнего чернокожего Самуэля Дюбозе. Понимаю, как вам надоели истории из американской провинции, но по крайней мере в случае с полицейским произволом гражданам США действительно есть чем гордиться. Волна подозрительных трагических инцидентов с участием стражей правопорядка быстро мобилизовала общество: полицейские обязаны использовать носимые камеры, а съёмки с них теперь предоставляются общественности по первому требованию, без помощи суда.
Так было и в случае с Тенсингом — и, в общем, именно носимой камере мы обязаны тем, что историю не удалось замолчать. Дело в том, что со слов самого Рэя и ещё одного полицейского, находившегося неподалёку, огонь был открыт обоснованно. Остановив Дюбозе по причине отсутствия переднего номера, Тенсинг потребовал права, а когда водитель вместо прав вручил ему бутылку спиртного и попытался смыться, зацепив автомобилем, страж порядка был вынужден открыть огонь. Один выстрел в голову, летальный исход.
Однако, когда запись с камеры Рэя обнародовали, всё оказалось не совсем так, как рассказывал он и коллеги. Водитель действительно не предъявил прав и попытался уехать, но зацепил полицейского только после того, как получил пулю, то есть уже не контролируя ситуацию. Естественно, разразился скандал, конечно, пресса окрестила случившееся «хладнокровным убийством», и даже прокурор успел назвать Тенсинга «самым тупым служакой на его памяти». Но я предлагаю не торопиться соглашаться с доминирующим мнением, а самим посмотреть ролик и составить представление о произошедшем. Вот он, пожертвуйте тремя минутами.
А, посмотрев, ответьте: было ли это спланированным убийством? Абсолютно очевидно, что нет. Спокойный тон разговора, неторопливые, размеренные манипуляции Тенсинга до стрельбы, всё говорит в пользу того, что перед нами рутинная проверка, на которую как минимум была причина. Но когда подозреваемый неожиданно завёл машину, Рэй запаниковал. И даже если это не было паникой, то как минимум — принятием решения в критической ситуации, что непросто даже для тренированного человека. Очевидно, что выстрел в голову был сделан в адреналиновом пылу — со всеми его неприятными побочными эффектами: туннельное зрение, ограниченное внимание, физическое напряжение. Тенсинг не собирался убивать, убийство случилось из-за несовершенства человеческого тела: физиологических трудностей, помешавших полицейскому отреагировать на ситуацию правильно.
А вот теперь подключите воображение. Представьте, что вместо или вместе с Тенсингом на патрулировании находился бы аппарат, классифицируемый как АЛО. То есть, например, человекоподобная машина с табельным оружием и правом на его применение. Алгоритм, определяющий возможность и правомерность открытия огня, линейный, но включает с десяток пунктов (вот для примера, стр.27; составлен он для войны, но с понятными оговорками применим и для мирного времени). Необходимо убедиться, что вам дан приказ на патрулирование, что индивид, которого вы собираетесь атаковать, не входит в список лиц, обладающих иммунитетом (в данном случае таким мог быть, к примеру, ребёнок), что открытие огня изменит ситуацию в лучшую сторону, оценить, представляет ли выбранный индивид угрозу для посторонних и не причинит ли посторонним вреда ваш огонь, оценить варианты целей и т.п.
Полицейский из плоти и крови действует по тому же самому алгоритму, разве что часть условий он выполняет интуитивно, над другими задумывается. Но при этом в его крови бушует адреналин, он плохо видит, слышит, понимает, скорость принятия и точность исполнения решений снижены. Таков усреднённый вывод из исследований о поведении в условиях стресса: человек плохо усваивает информации и — стадное прошлое! — когда только возможно, бездумно следует за «вожаком стаи».
А вот роботу стресс не грозит и лидер ему не нужен. Его быстродействие не пострадало, его сенсоры по-прежнему точны. Он холодно и быстро оценит ситуацию, наведёт ствол и произведёт выстрел, если сочтёт нужным. Вероятно, в вышеописанной ситуации он стрелял бы в ноги, а может быть и вообще по колесу: мы не знаем наверняка, ибо наш эксперимент мысленный. Но можно быть уверенным, что он среагировал бы правильней человека, то есть точнее следовал алгоритму.
Это один из главных козырей сторонников АЛО: машины-убийцы способны минимизировать причиняемый вред. Применительно к войне такой аргумент выглядит уловкой (правильней войну вообще не начинать), но в мирных условиях его трудно переоценить. А вопрос, конечно, в том, можно ли будет довести процент ложно-положительных срабатываний — вроде стрельбы по подростку с игрушечным пистолетом или домохозяйке с мясным ножом — хотя бы до свойственных человеку. ИИ тут несомненно понадобится. Но верить или не верить тем, кто говорит, что эта задача решаема, вам.