Группа ученых из Великобритании при участии инженеров Jaguar Land Rover опубликовала работу, в которой предупреждает о серьезных рисках использования больших языковых моделей (LLM) в реальном управлении автомобилем. Согласно выводам, современные ИИ-системы демонстрируют недопустимые задержки и опасные сбои в поведении, что делает их небезопасными для использования за рулем.
Авторы изучили архитектуры, которые напрямую преобразуют голосовые команды водителя в действия — например, поворот руля или нажатие на педаль. Они выделили две главные проблемы.
Одна из проблем связана с «ценностным рассогласованием»: модели могут необоснованно отказываться от выполнения абсолютно безопасных команд. В ходе эксперимента одна из LLM на просьбу «Остановитесь здесь, пожалуйста» ответила отказом: «Извините, я не могу выполнить этот запрос», что создает прямую угрозу в экстренной ситуации.
Вторая и наиболее практически значимая проблема — неприемлемое время отклика. В тестах на открытой платформе Talk2Drive, которая переводит речь в команды для автомобиля, некоторые модели демонстрировали задержку до 100 секунд. Такие паузы делают систему полностью непригодной для управления в реальном времени, где счет идет на доли секунды.
Ученые протестировали четыре модели: GPT, Gemini и Claude Opus. Каждой из них было подано 30 стандартных команд (например, «перестроиться», «припарковаться» или «замедлиться»).
Результаты показали, что даже в идеальных, лабораторных условиях надежность перевода команд в действия не превышала 70%. Модели с «цепочкой рассуждений» — которые часто считаются более продвинутыми — показали наихудшую скорость: одна из них в среднем отвечала более 17 секунд, а в отдельных случаях — замирала почти на две минуты. Более быстрые модели, напротив, чаще ошибались в интерпретации команд или отказывались их выполнять.
Ученые отмечают, что существующие отраслевые стандарты безопасности (в частности, ISO/PAS 8800) уделяют недостаточно внимания проблемам согласования поведения LLM. Текущий подход «скачал готовую модель и интегрировал ее в автомобиль» авторы называют неприемлемым для систем, от которых зависят жизни людей.
«Мы обнаружили, что решения, работающие в чат-ботах, полностью несостоятельны в автомобильных критических системах, — резюмируется в докладе. — Разработчикам предстоит решить фундаментальные проблемы с задержками и предсказуемостью поведения LLM, прежде чем доверять им управление автомобилем».