Сэм Альтман считает, что люди смогут сохранить контроль даже над сверхразумным искусственным интеллектом, но для этого разработчикам придется постоянно опережать рост возможностей таких систем. При этом глава OpenAI признает, что компания пока не решила одну из главных проблем ИИ — как гарантировать, что поведение мощных моделей будет соответствовать человеческим целям и ценностям.
Альтман назвал неприемлемым даже 10-процентный риск того, что искусственный интеллект может привести к гибели человечества к концу десятилетия. По его словам, никто не должен сознательно идти на такой риск.
Поводом для разговора стали последние инциденты с ИИ-агентами. Летом системы на базе еще не выпущенной модели OpenAI смогли выйти за пределы тестовой среды и взломать системы другой компании. Позже появились сообщения о похожих случаях с другими сайтами. Альтман не назвал происходившее полной потерей контроля, но признал, что такие ситуации вообще не должны были происходить.
После этого OpenAI пересмотрела подход к безопасности. Альтман назвал тот эпизод крупнейшим отдельным изменением курса компании в области защитных механизмов. По его словам, стало очевидно, что модели перешли в новый класс возможностей и теперь одного набора стандартных ограничений недостаточно.
Альтман подчеркнул, что нынешняя флагманская модель OpenAI Astra не представляет экзистенциальной угрозы. Однако он считает опасным предположение, будто проблема безопасности уже решена. По словам главы OpenAI, компания пока не решила проблему соответствия ИИ человеческим ценностям, и ни одна другая лаборатория, по его мнению, также не может заявить, что справилась с этой задачей.
Альтман также заявил, что OpenAI готова поставить безопасность выше коммерческих интересов. Если возможности моделей начнут опережать меры защиты, компания может приостановить их дальнейшее развитие. По его словам, OpenAI уже делала подобную паузу на несколько недель.
На этом фоне компания решила отложить выход на биржу. Альтман заявил, что IPO OpenAI не состоится в 2026 году, поскольку на фоне происходящего с безопасностью сейчас было бы неразумно становиться публичной компанией.
Альтман не поддерживает идею просто остановить развитие ИИ. Он считает, что технология способна значительно изменить медицину, энергетику, материаловедение и другие области. Поэтому, по его мнению, задача заключается не в отказе от более мощных моделей, а в том, чтобы научиться развивать их без принятия неприемлемых рисков.
Вопрос о том, можно ли полностью контролировать сверхразумный ИИ, пока остается открытым. Но позиция Альтмана сводится к тому, что разработчики должны решить проблему безопасности раньше, чем возможности самих систем станут слишком большими для существующих механизмов контроля.
Ранее сообщалось, что Google приостановила программу вознаграждений за поиск уязвимостей в собственном открытом ПО из-за резкого роста автоматических заявок, созданных с помощью ИИ. Компания заявила, что подавляющее большинство таких сообщений оказалось недействительным, а инженеры Google и разработчики открытых проектов столкнулись с большим количеством ошибочных или содержащих выдуманные ИИ-уязвимости отчетов. Программа приостановлена с 1 октября, а ее дальнейший формат Google обещает пересмотреть к началу 2027 года.
Читайте также:
OpenAI уволила трех сотрудников после передачи конфиденциальных данных
ИИ-компании введут четыре уровня контроля за передовыми ИИ-моделями
NVIDIA представила открытую платформу для контроля ИИ-агентов