Высокопоставленный сотрудник, возглавлявший направление по разработке мер безопасности ИИ в Anthropic, покинул пост. В своем прощальном обращении он заявил, что мир «в опасности», и намекнул на расхождение между ценностями и действиями компании.
Шарма, доктор философии в области машинного обучения, выпускник Оксфорда, возглавлял в Anthropic исследовательскую группу по разработке мер безопасности с момента ее запуска в прошлом году. В своем заявлении он написал, что «пришло время двигаться дальше», и связал опасности не только с ИИ, но и с «целым рядом взаимосвязанных кризисов». По его словам, в компании он не раз убеждался в сложности следования своим ценностям на практике. После ухода Шарма планирует, возможно, получить степень по поэзии и «посвятить себя практике смелой речи».
Работа группы Шармы в Anthropic была сосредоточена на снижении рисков, связанных с ИИ, включая разработку средств защиты от биотерроризма и исследование такого явления, как «подхалимство» ИИ, когда чат-боты чрезмерно льстят пользователям. На прошлой неделе также было опубликовано новое исследование Шармы, показывающее, что тысячи ежедневных взаимодействий с чат-ботами могут приводить к искажению восприятия реальности пользователями, особенно в сферах отношений и здоровья.
Уход Шармы — не первый случай, когда сотрудники ведущих компаний в сфере ИИ покидают свои посты по этическим соображениям. Ранее из OpenAI ушли экономический исследователь Том Каннингем, выразивший разочарование снижением публикаций критических исследований, а также ключевые члены распущенной группы по безопасности Superalignment. Один из них, Ян Лейке, сейчас возглавляющий исследования безопасности в Anthropic, заявил о несогласии с руководством OpenAI по поводу приоритетов. Другая бывшая сотрудница, Гретхен Крюгер, призвала к улучшению процессов принятия решений и прозрачности в индустрии ИИ.