Создатели ChatGPT бьют тревогу: компания всерьез опасается ИИ, который будет намного умнее людей. Сейчас OpenAI спешно набирает команду, которая займется контролем сверхинтеллекта.
Что известно
OpenAI формирует новую команду исследователей, которые должны будут предотвратить гибель человечества от рук ИИ. Возглавит исследовательскую группу Илья Суцкевера, главный научный сотрудник и один из соучредителей компании. Команда будет иметь доступ к 20% вычислительной мощности всей корпорации OpenAI на сегодняшний день и будет стремиться решать основные технические задачи контроля над сверхразумными ИИ. Суцкевер отмечает, что сверхразумный ИИ не обязательно будет доброжелательным, что потребует исследования способов его контроля и ограничения.
«В настоящее время у нас нет решения для управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из-под контроля» — отмечают исследователи.
Чтобы решить проблему, некоторые предлагают создать ИИ, который способен добиться более быстрого прогресса в исследованиях выравнивания. Исследования выравнивания касаются проблемы обеспечения согласованности целей и ценностей умственно развитых систем искусственного интеллекта с целями и ценностями человечества. Однако команда OpenAI отмечает, что «ни один метод не является надежным в данном вопросе». Они также будут сотрудничать с другими экспертами в области машинного обучения, чтобы решить проблему выравнивания и поделиться своими выводами с более широким сообществом.
Почему это важно
Ключевой вопрос: «Как мы можем гарантировать, что ИИ, намного более умный, чем люди, будет следовать человеческим намерениям?». Текущие нейросети во время обучения опираются на человеческие знания. Но как только они их преодолеют, контролировать ИИ будет невозможно.
OpenAI прямо говорит, что не знает, что делать, если ИИ взбунтуется. Более того, компания не уверена, что новая команда сможет найти решение. На кону стоит потенциальное «лишение человечества прав и возможностей или даже вымирание». Цель сейчас: за 4 года придумать техническое решение, которое сохранит людей у руля, если что-то пойдет не так.