GPT-5 стал еще ближе. Nvidia выпустила новую видеокарту Blackwell B200 с чипом GB200. Графический процессор обеспечивает до 20 петафлопс мощности FP4, используя 208 млрд транзисторов, а чип GB200 увеличивает производительность LLM в 30 раз.
Nvidia планирует укрепить свои позиции на рынке с помощью новой видеокарты Blackwell B200 и чипа GB200. Согласно анонсу, B200 способна обеспечить до 20 петафлопс мощности FP4, используя 208 млрд транзисторов. Кроме того, чип GB200, который объединяет 2 процессора Blackwell B200 с процессором Grace, способен увеличить производительность рабочих нагрузок LLM в 30 раз. Nvidia утверждает, что это позволяет снизить стоимость и энергопотребление в 25 раз.
Ранее для обучения модели с 1,8 трлн параметров требовалось 8000 графических процессоров и 15 мегаватт мощности. Теперь же 2000 графических процессоров Blackwell B200 могут справиться с этой задачей, потребляя всего 4 мегаватта. А в тесте GPT-3 LLM с 175 миллиардами чип GB200 показывает производительность, которая в 7 раз превышает H100. Это обеспечивает увеличение скорости обучения в 4 раза.
Одним из ключевых улучшений, о которых сообщила Nvidia, является движок transformer 2, который удваивает вычислительную мощность, пропускную способность и размер модели за счет использования 4 бит для каждого нейрона вместо 8. Второе ключевое улучшение проявляется при подключении большого количества этих графических процессоров: коммутатор NVLink позволяет 576 графическим процессорам взаимодействовать друг с другом с двунаправленной пропускной способностью 1,8 терабайта в секунду.
Nvidia ожидает, что компании будут приобретать большое количество новых видеокарт и выпускает их в крупных конструкциях, таких как GB200 NVL72. Она включает 36 процессоров и 72 видеокарты в одной стойке с охлаждением, обеспечивая общую производительность обучения ИИ в 720 петафлопс или 1440 петафлопс.
Каждый лоток в стойке содержит либо 2 чипа GB200, либо 2 коммутатора NVLink. В общей сложности, по словам Nvidia, одна из этих стоек может поддерживать модель с 27 трлн параметров. К слову, GPT-4 имеет модель с 1,7 трлн параметров.
Все это указывает на то, что GPT-5 скоро появится на рынке, а Nvidia может обогнать Apple по капитализации.