Взломанная PlayStation 4 запустила ИИ-модель на 9 млрд параметров без интернета

Игровую консоль PlayStation 4, выпущенную в 2013 году, научили запускать большую языковую модель Qwen3.5-9B без компьютера и доступа к интернету. Для этого разработчик Леонардо Алегрия создал открытый проект Garlic LLM, который позволяет использовать графический процессор консоли для локальной работы ИИ.

Взломанная PlayStation 4 запустила ИИ-модель на 9 млрд параметров без интернета
Источник: mydevice.by

Модель содержит 9 млрд параметров и работает непосредственно на оборудовании PS4. По данным разработчика, скорость генерации текста составляет 31–39 токенов в секунду, а при написании программного кода достигает 43 токенов в секунду.

Для запуска требуется взломанная PS4 с установленным GoldHEN — инструментом для запуска неофициальных приложений. Проект не содержит собственного взлома и не работает на обычной консоли без предварительной модификации. Разработчик проверял его на базовой PS4 и PS4 Slim с прошивкой 11.52.

Главная техническая сложность заключалась в ограниченной памяти консоли: PS4 располагает 8 ГБ общей оперативной памяти для процессора и видеочипа. Чтобы разместить в ней модель, разработчик применил сжатие весов до 4 и 3 бит. В результате сама модель занимает около 4,5 ГиБ, а контекст диалога ограничен 16 тысячами токенов вместо исходных 256 тысяч.

Для вычислений Garlic LLM обращается непосредственно к графическому процессору AMD с архитектурой GCN, минуя обычный драйверный слой. Разработчик написал собственные вычислительные ядра и механизм отправки низкоуровневых команд видеочипу. Это позволяет использовать GPU для операций, необходимых языковой модели.

Garlic LLM умеет не только генерировать текст. Система поддерживает голосовое общение с ответами на семи языках, включая русский, распознавание речи на 25 европейских языках и выполнение программ на MicroPython. Все вычисления происходят непосредственно на консоли: подключение к интернету после установки не требуется.

Проект распространяется бесплатно с открытым исходным кодом. Установочный пакет вместе с моделями занимает около 5,7 ГБ. Разработчик также опубликовал техническое описание реализации.

Читайте также: Alibaba представила ИИ-модель Qwen4-Max с контекстом на миллион токенов

Что будем искать? Например,ChatGPT

Мы в социальных сетях