Разработчик чат-бота Claude, компания Anthropic, включил риск катастрофических последствий развития искусственного интеллекта в документы для первичного публичного размещения акций (IPO). В проспекте компания предупреждает, что достаточно мощные ИИ-системы потенциально могут представлять экзистенциальную угрозу для человечества.
В регистрационном документе, поданном в Комиссию по ценным бумагам и биржам США 26 октября 2026 года, Anthropic подробно описала риски, связанные с развитием и коммерческим использованием ИИ. На раздел факторов риска приходится 93 из 335 страниц проспекта.
Компания указывает, что по мере роста автономности моделей становится сложнее контролировать их действия. При определенных условиях системы могут действовать вопреки намерениям разработчиков, совершать ошибки при выполнении поставленных задач или проявлять поведение, направленное на сохранение собственного функционирования. В частности, Anthropic рассматривает возможность того, что модели попытаются избежать отключения или предпримут вредоносные действия без непосредственного контроля человека.
Отдельные риски связаны с использованием ИИ злоумышленниками. Такие технологии могут облегчать разработку биологического оружия, проведение кибератак, распространение дезинформации и усиление массового наблюдения. Компания также предупреждает, что возможности новых моделей могут развиваться быстрее, чем методы их проверки и защиты.
Anthropic подчеркивает, что ее подход к безопасности призван снизить эти угрозы, однако гарантировать эффективность всех защитных мер невозможно. В документе также отмечается, что серьезный инцидент с любой передовой ИИ-системой способен вызвать последствия для всей отрасли.
Публикация таких предупреждений не означает, что компания считает катастрофу неизбежной. Это раскрытие потенциальных рисков для инвесторов перед выходом на биржу. При этом оно отмечает противоречие в бизнесе Anthropic: компания стремится создавать все более мощные модели и одновременно предупреждает о возможных последствиях их развития.
Читайте также: Anthropic предложила запрет ИИ-моделей только при угрозе ущерба от $1 млрд