Пользователь Reddit с помощью моделей Claude разработал небольшую языковую модель, способную работать на компьютере с процессором Intel Pentium под управлением DOS. Программа вместе с весами занимает около 435 КБ — этого достаточно, чтобы сохранить ее на обычной дискете.

Для эксперимента Claude Fable 5.2 написал архитектуру трансформера, а Claude Opus 5.5 подготовил обучающие данные. Набор включал около 3500 фактов, примеры коротких диалогов и простых математических задач. Каждый факт был представлен в нескольких вариантах вопросов и ответов.
Получившаяся модель содержит 367 тысяч параметров. Ее веса хранятся в виде 8-битных целых чисел с масштабированием для каждой строки. Модель обрабатывает текст посимвольно и может работать на компьютере с процессором Pentium.
Автор эксперимента отмечает, что система достаточно хорошо отвечает на вопросы о знакомых ей словах и фактах. Однако при сложных или слишком длинных запросах она начинает выдавать бессвязный текст. Поэтому разработку пока нельзя считать полноценной заменой современным чат-ботам.
Позже автор опубликовал исходный код и файлы проекта TINY 2.1 на GitHub. В описании репозитория указаны уже другие размеры: 380 КБ для программы и весов, а также около 540 КБ свободной обычной памяти, необходимой для запуска. Модель работает не только на Pentium, но и на компьютерах с процессором 486DX под DOS.
Таким образом, это небольшой экспериментальный чат-бот, обученный на ограниченном наборе данных, а не уменьшенная версия Claude. Его главная особенность — возможность работы на оборудовании, которому несколько десятилетий.
Читайте также: Claude Fable 5.2 создал подводный мир для браузера размером всего 96 КБ


