Новая память NVHBM от Nvidia обещает 30% прирост скорости и экономию места

Nvidia продолжает развивать платформу NVLink Fusion, которая позволяет партнерам подключать собственные чипы к единой масштабируемой сети. В этой экосистеме несколько процессоров объединяются в одну согласованную систему — как, например, в стоечном ускорителе Vera Rubin NVL72. Теперь компания добавляет в набор инструментов новый элемент: NVHBM.

Новая память NVHBM от Nvidia обещает 30% прирост скорости и экономию места
Источник: developer.nvidia.com

Это собственная реализация памяти HBM от Nvidia. NVHBM не заменяет стандартные стеки HBM4e, а служит дополнительным строительным блоком, который Nvidia предоставляет только своим партнерам по разработке кастомных чипов.

По заявлениям компании, NVHBM дает на 30% более высокую пропускную способность на стек по сравнению с эталонным HBM4e. Для ИИ-задач, которые часто упираются в скорость работы с памятью, это напрямую означает рост производительности — например, больше токенов в секунду при инференсе.

Инженеры перенесли контроллер памяти с основного кристалла ускорителя в базовый кристалл стека HBM. Пользовательский PHY при этом занимает меньше места. В итоге освобождается до 30% площади на основном кремнии — эти ресурсы можно отдать под дополнительные вычислительные блоки. Также упрощается трассировка межсоединений, что критично при использовании сложных методов корпусирования.

Энергоэффективность тоже улучшена: NVHBM потребляет на 15% меньше энергии, чем стандартный HBM4e. В масштабах тысяч чипов каждый сэкономленный ватт — это либо возможность повысить производительность, либо добавить больше ускорителей без увеличения общего энергопотребления. Пока все эти преимущества адресованы будущим разработкам партнеров, а не уже анонсированным системам Rubin.

Читайте также:

Xiaomi представила собственный 3-нанометровый чип для автопилота

Создан полупроводник толщиной в молекулу, который можно программировать светом

Jalapeño от OpenAI показал лучшую в отрасли скорость и эффективность логического вывода

Что будем искать? Например,ChatGPT

Мы в социальных сетях