В 1960 году Джозеф Ликлайдер, один из пионеров компьютерной эры, написал слова, которые тогда звучали как научная фантастика:
«Человеко-компьютерный симбиоз, вероятно, не является окончательной парадигмой сложных технологических систем. Вполне возможно, что со временем электронные или химические машины превзойдут человеческий мозг в большинстве функций, которые мы сейчас считаем исключительно его прерогативой».
66 лет спустя большие языковые модели сделали это высказывание из абстрактного вполне конкретным. Но вопрос тут не в том, могут ли машины превзойти человека. Скорее тревожит то, что происходит с самим человеком, когда он передает машине все больше своих мыслительных операций.
Именно этому посвящена новая работа группы исследователей «Большие языковые модели как когнитивный вирус». Ее авторы предлагают рассматривать распространение языковых моделей не как технический процесс, а как эпидемию, причем со всеми вытекающими последствиями: заражением, передачей, иммунитетом и необратимыми изменениями (что особенно тревожно).
Мнение редакции «Компьютерры»
Эта статья написана не про технологии (что выбивается из общей тенденции последних лет), а про людей. Авторы исследования разбирают, что происходит с нашими навыками, когда мы перестаем ими пользоваться. Сразу оговоримся, что они не утверждают, будто ИИ — это зло.
Язык как вирус: от метафоры к модели
Идея, что язык ведет себя как вирус, не нова. Еще в 1970-х Уильям Берроуз писал о «электронной революции», а Ричард Докинз ввел понятие «мема» — единицы культурной информации, которая распространяется от человека к человеку, как ген. Докинз же предложил термин «вирусы разума» — идеи, которые заражают мозг и заставляют его работать на себя.
Языковые модели, по утверждению авторов научной работы, — это следующий шаг в этой эволюции. Они не просто передают информацию, а активно участвуют в ее производстве, переформулировании и оценке.
Чтобы понять масштаб, авторы предлагают сравнить языковые модели с двумя технологическими предшественниками: компьютерными вирусами и языками программирования.
Компьютерные вирусы воспроизвели ключевые черты биологических. Это компактные информационные структуры, которые используют чужую машину и эволюционируют, чтобы избежать обнаружения. Они запустили гонку вооружений с антивирусами, повлияли на искусственную жизнь и сетевую науку, породили современную кибербезопасность.
Языки программирования распространялись по компьютерам, институтам и сообществам, став операционной основой цифровой революции.
Языковые модели сочетают аспекты обоих. Как языки программирования, они создают новый интерфейс между человеком и машиной. Как компьютерные вирусы, они распространяются через пользователей и цифровые экосистемы. Но их способность к когнитивной разгрузке беспрецедентна.
Мнение редакции «Компьютерры»
Ключевое слово здесь — «когнитивная разгрузка». Мы не считаем это завуалированным ругательством, так как это нормальная часть человеческой психики. Мы разгружаем память, записывая телефон куда-то себе. Мы разгружаем мозг, когда считаем на калькуляторе, а не сами в уме. Проблема только в том, что именно мы разгружаем и что остается, когда инструмент исчезает.
Когнитивная разгрузка, или когда помощь становится заменой
Чтение и письмо — парадигмальный пример когнитивной разгрузки. Грамотность перестраивает нейронные цепи, а внешние символы расширяют память и позволяют новые формы рассуждения. Это комплементарные артефакты, которые усиливают наши способности.
Но есть и конкурентные артефакты. Они улучшают производительность здесь и сейчас, но ослабляют базовый навык. Калькулятор может облегчить счет, но ослабить арифметические способности. Навигатор поможет ориентироваться, но он ослабит пространственную память в дальнейшем (грубо говоря, привет, топографический кретинизм).
Авторы исследования предлагают различать два режима использования языковых моделей.
- Строительные леса — это когда модель помогает выполнить задачу, но пользователь сохраняет или увеличивает свою способность выполнить ее самостоятельно в будущем. Например, модель предлагает аргументы, которые пользователь проверяет, оспаривает и реконструирует.
- Замена — это когда модель выполняет когнитивную операцию за пользователя. Например, модель синтезирует, оценивает и пишет текст, а пользователь просто принимает результат.
Мнение редакции «Компьютерры»
Вот это — самое практичное, что есть в статье. Не «используйте ИИ» и не «не используйте ИИ», а «используйте так, чтобы не терять себя». Простой тест для проверки себя: если завтра модель отключат, сможете ли вы сделать то, что делали с ней?
Модель: три состояния пользователей
Авторы строят математическую модель распространения языковых моделей в популяции. Они выделяют три состояния:
- U — несвязанные. Люди, которые либо не используют языковые модели, либо используют их минимально. Их познание распределено между мозгом и разнообразной внешней средой: книги, письмо, компьютеры, интернет.
- C — автономно связанные. Люди, которые регулярно используют языковые модели, но сохраняют когнитивную автономию. Они читают, пишут, рассуждают, проверяют и имеют доступ к альтернативным источникам информации.
- D — устойчиво зависимые. Люди, для которых взаимодействие с моделью стало доминирующим. Альтернативные когнитивные опоры постепенно заменяются, и когнитивная активность концентрируется внутри одной связи «человек — машина».
Когнитивная иммунизация: что можно сделать
Авторы исследования вводят понятие когнитивной компетентности — способности, которая остается у человека, когда внешнюю поддержку убрали.
Также они предлагают стратегию, которую называют когнитивной иммунизацией. Тут не нужен запрет на использование моделей, а это скорее сохранение устойчивости к вредной зависимости.
Главный вывод: предотвратить легче, чем исправить
Пока люди мало пользуются моделями, достаточно небольших усилий, чтобы сдержать распространение. Но если зависимость уже сформировалась, вернуть все назад гораздо труднее.
Что помогает вернуться к самостоятельности
Скорость возврата к автономному мышлению — ключевой фактор. Чем чаще люди практикуют независимую работу, тем выше порог, после которого начинается зависимость. Тут помогают задачи без ИИ, периоды сознательного отключения, поддержание навыков без моделей.
Что работает сложнее
Сила коллективной поддержки автономии — тоже важный фактор. Она повышает сопротивление зависимости. Пока самостоятельных людей много, коллективная защита работает. Когда их становится мало, она уже не помогает.
Что говорят эксперименты
Авторы приводят данные, которые подтверждают их модель.
В рандомизированном исследовании протокол «сначала подумай, потом ChatGPT» дал более высокую последующую независимую креативность, чем неограниченное использование ChatGPT.
Генеративный ИИ может повышать производительность, но работники умственного труда сообщают о снижении усилий для критического мышления, когда доверие к ИИ высоко.
В образовании неограниченный доступ к генеративному ИИ улучшает производительность, пока инструмент доступен, но снижает последующую производительность без него. Педагогически ограниченное использование ИИ существенно смягчает этот эффект.
В программировании новички испытывают трудности с пониманием и критической оценкой сгенерированного кода, что создает условия для автоматизационной предвзятости и поверхностной компетентности.
Мнение редакции «Компьютерры»
Разница между «думать сначала» и «сразу спросить модель» — это разница между сохранением навыка и его потерей.
Мы же все понимаем, что профилактика дешевле и эффективнее, чем лечение. Это как с курением, легче не начинать, чем бросить.
Читать еще:
Инструментов много, понимания нет. Почему мы не понимаем, как работает искусственный интеллект?