Ученые из Кореи разработали технологию EPIC, которая позволяет запускать персонализированный ИИ непосредственно на смартфонах и ноутбуках. По результатам испытаний, системе требуется в 2400 раз меньше памяти для хранения данных, чем предыдущим решениям.
EPIC относится к технологиям локального retrieval-augmented generation (RAG). Такой подход позволяет ИИ использовать историю посещенных страниц и сохраненные на устройстве разговоры, не отправляя личные данные на внешний облачный сервер. Однако традиционные системы RAG требуют хранения и индексации большого объема информации.
Разработчики изменили принцип хранения данных, исходя из того, что предпочтения пользователя обычно остаются относительно стабильными. EPIC преобразует документы и пользовательские предпочтения в числовые представления, после чего отсеивает информацию, которая имеет низкое смысловое сходство с интересами человека.
Оставшиеся данные дополнительно анализирует языковая модель, которая выбирает необходимую информацию. При этом исходные сведения сохраняются вместе с инструкциями о том, как их использовать при формировании ответа.
Например, если пользователь с аллергией на морепродукты спрашивает о еде в месте назначения, система связывает запрос с информацией об аллергии и использует соответствующие сведения для формирования персонализированного ответа.
В тестах на базе PrefWiki объем необходимого для поиска хранилища сократился с 648,96 МБ до 0,27 МБ — примерно в 2404 раза. Среднее время поиска на четырех тестах уменьшилось с 96,5 до 3 миллисекунд. При использовании Llama-3.1-8B-Instruct точность учета пользовательских предпочтений оказалась в среднем на 18,79 процентного пункта выше предыдущей лучшей технологии.
EPIC также протестировали непосредственно на устройствах без подключения к внешнему серверу: компактном компьютере Jetson Orin Nano, MacBook Pro M4 и Galaxy Z Flip6. Объем памяти для поиска оставался ниже 1 МБ, а время обработки одного запроса составляло от 5,21 до 29,35 миллисекунды.
Еще одна особенность системы — возможность обновлять только связанные с изменениями данные, не перестраивая весь индекс.
Читайте также:
Кэширование получило новые алгоритмы для эпохи ИИ
ИИ-агенты OpenAI нашли более 10 сторонних каналов для обмена данными
Защита от кражи смартфона может нарушить работу домашней системы сигнализации