Ученые из Кореи разработали файловую систему GAZE, которая помогает эффективнее использовать производительность флеш-накопителей нового поколения. В испытаниях она увеличила скорость обработки данных до трех раз по сравнению с существующими решениями. Для этого не потребовалось менять оборудование или формат записи информации.
Разработка предназначена для накопителей с архитектурой Zoned Namespace (ZNS). Они делят пространство на крупные области — зоны — и записывают данные в них последовательно. Такой подход упрощает управление памятью внутри самого накопителя, но создает дополнительную нагрузку на операционную систему.
Чтобы повторно использовать заполненную зону, система должна перенести нужные данные в другое место и освободить оставшееся пространство. Эта операция называется сборкой мусора. В традиционных файловых системах она рассчитана на сравнительно небольшие объемы данных, тогда как в ZNS за один раз может потребоваться переместить несколько гигабайт.
Исследователи выяснили, что значительная часть задержек возникает не из-за медленной работы накопителя, а из-за операций центрального процессора по управлению данными и памятью. Например, очистка зоны объемом 1 ГБ традиционным способом занимала около 1,7 секунды.
В GAZE этот процесс перестроили. Разработчики разделили очистку на четыре этапа, которые могут выполняться параллельно: пока система обрабатывает уже считанные данные, она одновременно загружает следующую порцию. Кроме того, для операции заранее резервируется необходимая память, а во время очистки накопитель может принимать новые запросы на запись, если для них пока не требуется освобождать дополнительное пространство.
Исследователи встроили GAZE в файловую систему F2FS для Linux и проверили ее на разных нагрузках. По сравнению с обычной реализацией F2FS для ZNS и несколькими предыдущими разработками пропускная способность выросла максимум втрое. Время сборки мусора сократилось примерно до одной трети от прежнего значения.
Технология может быть полезна в центрах обработки данных, системах высокопроизводительных вычислений и инфраструктуре искусственного интеллекта. Во время вывода ИИ-модели должны быстро получать необходимые данные из хранилища, поэтому задержки при работе с накопителями способны замедлять всю систему.
Пока исследователи продемонстрировали улучшение производительности файловой системы. Насколько оно сократит время ответа реальных ИИ-сервисов, еще предстоит проверить.
Читайте также: В России создан трехкубитный квантовый процессор с рекордной точностью