Claude создал языковую модель для DOS, которая помещается на дискету

Пользователь Reddit с помощью моделей Claude разработал небольшую языковую модель, способную работать на компьютере с процессором Intel Pentium под управлением DOS. Программа вместе с весами занимает около 435 КБ — этого достаточно, чтобы сохранить ее на обычной дискете.

Claude создал языковую модель для DOS, которая помещается на дискету
Источник: reddit.com

Для эксперимента Claude Fable 5.2 написал архитектуру трансформера, а Claude Opus 5.5 подготовил обучающие данные. Набор включал около 3500 фактов, примеры коротких диалогов и простых математических задач. Каждый факт был представлен в нескольких вариантах вопросов и ответов.

Получившаяся модель содержит 367 тысяч параметров. Ее веса хранятся в виде 8-битных целых чисел с масштабированием для каждой строки. Модель обрабатывает текст посимвольно и может работать на компьютере с процессором Pentium.

Автор эксперимента отмечает, что система достаточно хорошо отвечает на вопросы о знакомых ей словах и фактах. Однако при сложных или слишком длинных запросах она начинает выдавать бессвязный текст. Поэтому разработку пока нельзя считать полноценной заменой современным чат-ботам.

Позже автор опубликовал исходный код и файлы проекта TINY 2.1 на GitHub. В описании репозитория указаны уже другие размеры: 380 КБ для программы и весов, а также около 540 КБ свободной обычной памяти, необходимой для запуска. Модель работает не только на Pentium, но и на компьютерах с процессором 486DX под DOS.

Таким образом, это небольшой экспериментальный чат-бот, обученный на ограниченном наборе данных, а не уменьшенная версия Claude. Его главная особенность — возможность работы на оборудовании, которому несколько десятилетий.

Читайте также: Claude Fable 5.2 создал подводный мир для браузера размером всего 96 КБ

Что будем искать? Например,ChatGPT

Мы в социальных сетях