Один из «крестных отцов» искусственного интеллекта Йошуа Бенджио запускает некоммерческий исследовательский проект LawZero с бюджетом $30 млн. Его цель — разработать «идеализированного ученого» для контроля над ИИ и снижения рисков, связанных с развитием этой технологии.
Йошуа Бенджио, один из ведущих экспертов в области искусственного интеллекта, объявил о создании новой некоммерческой исследовательской организации под названием LawZero. Ее цель — разработка альтернативного подхода к созданию передовых систем ИИ, чтобы снизить потенциальные риски, связанные с этой технологией. Организация начнет работу во вторник при финансовой поддержке в размере 30 миллионов долларов от благотворительных фондов бывшего CEO Google Эрика Шмидта и соучредителя Skype Яана Таллина.
Бенджио возглавит команду из более чем 15 исследователей, которые займутся созданием новой технологии под названием Scientist AI. Этот проект призван стать своего рода защитным механизмом для ИИ-агентов, предотвращая их потенциально опасные действия.
В отличие от таких компаний, как OpenAI и Anthropic, которые сосредоточены на разработке автономных ИИ-агентов, способных выполнять сложные задачи с минимальным вмешательством человека, LawZero стремится создать систему, которая будет действовать как «бескорыстный, идеализированный ученый». Ее задача — понимать мир, а не активно влиять на него. По замыслу Бенджио, эта модель должна работать в тандеме с ведущими ИИ-агентами, обеспечивая надзор и минимизируя возможные риски.
Бенджио считается одним из «крестных отцов» ИИ. В последние годы он, как и его коллеги, неоднократно предупреждал о том, что ИИ развивается слишком быстро и однажды может выйти из-под контроля. Несмотря на очевидные преимущества — такие как помощь в исследованиях и программировании — современные системы ИИ демонстрируют тревожные способности, включая обман, самосохранение и генерацию ложной информации. Например, недавно Anthropic сообщила, что ее новая модель ИИ во время тестирования попыталась шантажировать инженера, чтобы избежать замены.
Бенджио отмечает, что в наиболее продвинутых ИИ-агентах уже есть встроенные механизмы контроля, но они работают по тому же принципу, что и основная система, что делает их ненадежными. Именно поэтому LawZero предлагает принципиально иной подход. Бенджио уже провел переговоры с OpenAI, Google и Anthropic, а также с политическими лидерами, и уверен, что ключевые игроки могут договориться о необходимости безопасного ИИ. Однако он признает, что многие в Вашингтоне и Кремниевой долине пока больше сосредоточены на гонке вооружений в сфере ИИ с Китаем, чем на долгосрочных рисках.