Кэширование — один из базовых способов ускорить работу компьютеров. Система хранит часто используемые данные в памяти, чтобы быстрее получать к ним доступ. Этот подход применяется уже более 60 лет, но рост вычислений, связанных с искусственным интеллектом, заставляет пересматривать привычные алгоритмы.
Американские ученые изучили, как современные системы кэширования работают под высокой нагрузкой. Особое внимание они уделили операциям, которые выполняются при обновлении содержимого кэша.
В крупных дата-центрах кэширование используется на разных уровнях — от процессоров и операционных систем до баз данных, облачных сервисов и периферийной инфраструктуры. При этом работа с кэшем требует не только вычислительных ресурсов, но и энергии.
Один из распространенных подходов — алгоритм Least Recently Used, или LRU. Он перемещает данные в начало очереди каждый раз, когда к ним обращаются. По словам исследователей, такие операции становятся затратными и могут создавать ограничения при больших объемах веб- и серверного трафика.
Ученые проанализировали существующие методы и предложили новый показатель — эффективность продвижения. Он показывает, сколько успешных обращений к данным в среднем обеспечивает одна операция их перемещения в кэше.
На основе анализа команда разработала два метода: Delayed FIFO Re-Insertion и Age-Guided Eviction. Они позволяют сократить количество операций продвижения, сохраняя эффективность кэширования.
В экспериментах исследователей число таких операций удалось уменьшить на 20–60%. По их оценке, это может повысить масштабируемость систем кэширования и снизить связанные с ними затраты.
Предыдущие разработки этой группы в области кэширования уже используются в сотнях библиотек с открытым исходным кодом и крупных технологических компаниях, обрабатывающих петабайты данных в сутки.
Читайте также:
Suno выпустила v6 с расширенными возможностями для создания музыки
Google DeepMind рассчитала все 9 миллиардов мутаций в геноме человека