Игровую консоль PlayStation 4, выпущенную в 2013 году, научили запускать большую языковую модель Qwen3.5-9B без компьютера и доступа к интернету. Для этого разработчик Леонардо Алегрия создал открытый проект Garlic LLM, который позволяет использовать графический процессор консоли для локальной работы ИИ.

Модель содержит 9 млрд параметров и работает непосредственно на оборудовании PS4. По данным разработчика, скорость генерации текста составляет 31–39 токенов в секунду, а при написании программного кода достигает 43 токенов в секунду.
Для запуска требуется взломанная PS4 с установленным GoldHEN — инструментом для запуска неофициальных приложений. Проект не содержит собственного взлома и не работает на обычной консоли без предварительной модификации. Разработчик проверял его на базовой PS4 и PS4 Slim с прошивкой 11.52.
Главная техническая сложность заключалась в ограниченной памяти консоли: PS4 располагает 8 ГБ общей оперативной памяти для процессора и видеочипа. Чтобы разместить в ней модель, разработчик применил сжатие весов до 4 и 3 бит. В результате сама модель занимает около 4,5 ГиБ, а контекст диалога ограничен 16 тысячами токенов вместо исходных 256 тысяч.
Для вычислений Garlic LLM обращается непосредственно к графическому процессору AMD с архитектурой GCN, минуя обычный драйверный слой. Разработчик написал собственные вычислительные ядра и механизм отправки низкоуровневых команд видеочипу. Это позволяет использовать GPU для операций, необходимых языковой модели.
Garlic LLM умеет не только генерировать текст. Система поддерживает голосовое общение с ответами на семи языках, включая русский, распознавание речи на 25 европейских языках и выполнение программ на MicroPython. Все вычисления происходят непосредственно на консоли: подключение к интернету после установки не требуется.
Проект распространяется бесплатно с открытым исходным кодом. Установочный пакет вместе с моделями занимает около 5,7 ГБ. Разработчик также опубликовал техническое описание реализации.
Читайте также: Alibaba представила ИИ-модель Qwen4-Max с контекстом на миллион токенов


