Разработчики представили открытый программный модуль, который снимает искусственные ограничения производительности видеокарт Nvidia GeForce RTX 30-й серии при выполнении вычислений FP16 и BF16. Решение позволяет значительно ускорить операции, связанные с искусственным интеллектом, без модификации BIOS или драйверов. За несколько дней проект набрал более 5000 звезд на GitHub.
Особенность разработки gpu-unlock заключается в обходе программного ограничения Nvidia, которое снижает скорость тензорных вычислений на потребительских видеокартах GeForce. Для этого используется модуль ядра Linux, запускающийся до загрузки официального драйвера видеокарты.
Программа изменяет значения аппаратных регистров, которые обычно недоступны пользователю, и активирует полную производительность тензорных ядер. После этого управление видеокартой передается стандартному драйверу Nvidia. Такой подход позволяет обойтись без перепрошивки BIOS и повторного изменения драйверов после обновлений.
Во время тестирования GeForce RTX 3090 Ti производительность вычислений BF16 увеличилась с 87,5 до 157,4 TFLOPS при энергопотреблении 450 Вт. Таким образом, прирост составил почти 80%. Впрочем, в реальных задачах ускорение оказалось скромнее. При обработке входных данных большими языковыми моделями (LLM prefill) производительность выросла на 14–36%. При этом результаты вычислений остались полностью идентичными исходным, вплоть до отдельных битов.
Исходная версия проекта предназначена для Linux, однако сторонние разработчики уже подготовили варианты для Windows. Это открывает дополнительные возможности для владельцев видеокарт GeForce RTX 30-й серии, которые используют свои компьютеры для локального запуска нейросетей и других вычислительных задач.
Важно, что речь идет именно об ускорении тензорных операций FP16 и BF16, а не об увеличении производительности видеокарт во всех сценариях. Поэтому ожидать аналогичного прироста FPS в играх не стоит.
Читать также: Дорогие серверы меняют экономику виртуализации.