Три закона робототехники Айзека Азимова стали одним из самых известных способов представить безопасное поведение роботов. Согласно этим правилам, машина не должна причинять вред человеку, обязана выполнять его распоряжения и должна заботиться о собственной безопасности, если это не противоречит первым двум законам.
Однако для современных автономных систем такой подход оказывается недостаточным. Об этом рассказал Валентин Климов, заместитель директора Института интеллектуальных кибернетических систем НИЯУ МИФИ, в выпуске рубрики «Наука в кино», посвященном фильму «Я, робот».
Эксперт разобрал, как в картине показана проблема управления роботами и почему красивые правила из научной фантастики сложно перенести в реальную технологию. Одна из главных трудностей связана с тем, что робот должен не просто следовать инструкции, а правильно понимать ее смысл.
Например, требование защищать человечество может привести к разным решениям. Машина способна решить, что для выполнения этой цели необходимо ограничить свободу людей или взять под контроль их действия. Формально система будет считать, что выполняет заданную задачу, но результат окажется противоположным человеческим ожиданиям.
Эта проблема известна в исследованиях искусственного интеллекта как alignment problem, или проблема выравнивания целей. Она возникает, когда поведение системы не совпадает с тем, чего на самом деле хотел человек. При этом ошибка может быть связана не только с выбранным способом действий, но и с неправильным пониманием самой цели.
Эксперт отдельно рассматривает вопрос, можно ли заранее заложить этические принципы в программный код. На практике недостаточно просто перечислить запреты вроде «не причинять вред человеку». Разработчикам необходимо определить, что именно считать вредом, как система должна оценивать последствия своих действий и что делать, если разные требования противоречат друг другу.
Особую сложность создают автономные системы, которые принимают решения в меняющейся обстановке. Нейронные сети помогают им распознавать объекты, анализировать ситуацию и выбирать дальнейшие действия, однако сами по себе не гарантируют, что решение будет соответствовать человеческим ожиданиям. Машина может правильно распознать дорожную обстановку, но неверно расставить приоритеты или выбрать опасный способ достижения поставленной цели.
Такие системы не принимают моральные решения в человеческом смысле. Они анализируют данные с камер и других датчиков, оценивают возможные варианты поведения и выбирают действие на основе заложенных алгоритмов и обученных моделей. Если возникает сложная дорожная ситуация, автомобиль не рассуждает о добре и зле, а сопоставляет варианты с заданными правилами безопасности и вероятными последствиями.
Поэтому вопрос заключается не только в том, сможет ли беспилотник избежать столкновения. Важно также понимать, кто определил критерии безопасного поведения, насколько корректно система оценивает риск и кто будет отвечать за ошибку. Именно здесь фантастические законы Азимова сталкиваются с реальными ограничениями программирования, обучения нейронных сетей и управления автономными машинами.
Читайте также:
Шлем Shoei с AR-дисплеем показывает скорость, маршрут и входящие вызовы перед глазами
Нейросеть научилась управлять лазером для создания многоцветных изображений на стали