Разработчик интегрировал GPT-2 в электронную таблицу Excel, показывая, что каждый этап в LLM включает математические операции. Любой пользователь может получить доступ к проекту, чтобы увидеть, как данные соотносятся с токенами и перемещаются при обработке запроса.
Разработчик Ишан Ананд предложил уникальный подход к освоению больших языковых моделей (LLM), включая GPT от OpenAI. Его проект, названный «Электронные таблицы — это все, что вам нужно», включает в себя реализацию GPT-2 в Excel, демонстрируя, что каждый этап в LLM основан на математических операциях.
Из-за ограниченности размера электронных таблиц с LLM, ввод входных данных ограничен до 10 токенов. Также GPT-2 в Excel не поддерживает обучение и выполняет только вычисления логического вывода. Несмотря на эти ограничения, размер электронной таблицы в двоичном формате Excel достигает 1,2 ГБ.
Таблица начинается с примера ввода «Майк быстрый. Майк движется…», с последующим маркером, заполненным GPT-2. Он корректно предсказывает «быстро» в качестве следующего слова. Пользователи могут изучить вкладки проекта, чтобы увидеть, как данные преобразуются в токены и как они обрабатываются на каждом этапе запроса.
Хотя проект не предоставляет такой же функциональности, как ChatGPT или Google Gemini, он может помочь понять, как работают LLM. Ананд отмечает, что его электронная таблица подходит в качестве учебного пособия, но и разработчикам будет полезно увидеть, как LLM переводится в формат Excel.
Специалист уточняет, что первоначально он запустил проект в Google Таблицах, но онлайн-версия не смогла обработать полную модель GPT-2. Кроме того, в ней отсутствуют необходимые функции для работы модели.
Таблица общедоступна на GitHub с рядом пояснительных материалов и обучающих видео, которые помогут разобраться в работе GPT-2 в Excel.