Технологическая компания представила чип CS-3 с 900 тыс. ядрами и 4 трлн транзисторов. Он способен обучать модели ИИ размером в 10 раз больше, чем ChatGPT и Gemini от Google, а при максимальном масштабировании — модели с 70 млрд параметров, такие как Llama 70B, за один день.
Cerebras представила чип, изготовленный по 5-нанометровому техпроцессу TSMC, который реализуется в виде монолитной кремниевой пластины и предназначен для обучения искусственного интеллекта. Новинка, получившая название CS-3, по размеру превосходит Nvidia H100 в 56 раз и включает в себя свыше 4 трлн транзисторов, благодаря чему является самым большим и мощным чипом на сегодняшний день.
В отличие от традиционных методов производства, применяемых такими компаниями, как Intel, AMD и Nvidia, Cerebras отходит от стандартной практики разделения кремниевой пластины на отдельные элементы. Вместо этого, они предлагают решение, где вся пластина используется как единый чип. Это позволяет интегрировать в него 900 тыс. ядер для ИИ, 44 ГБ встроенной памяти SRAM и возможность расширения до 1,2 петабайт внешней памяти.
Cerebras утверждает, что их CS-3 способен достигать производительности в 125 эксафлопс при объединении 2048 таких систем. Он способен обучать модели ИИ размером в 10 раз больше, чем ChatGPT и Gemini от Google, а при максимальном масштабировании — модели с 70 млрд параметров, такие как Llama 70B, за один день.
Третье поколение чипов Cerebras отличается уменьшением размера транзисторов с 7 нм до 5 нм, что позволило увеличить их плотность, сохраняя при этом прежние показатели энергопотребления. Размер чипа — 46225 мм2, что делает его самым крупным и быстрым на рынке. Экономия энергии достигается благодаря целостности пластины, что устраняет необходимость в энергоемких соединениях, характерных для традиционных многочиповых систем.
В то время как другие производители, включая Nvidia, увеличивают энергопотребление с каждым новым поколением чипов, Cerebras поддерживает энергоэффективность на одном уровне, повышая при этом плотность транзисторов.
Первый кластер CS-3 заработает в Далласе, благодаря сотрудничеству Cerebras с компанией G42. Это партнерство нацелено на создание нового суперкомпьютера Condor Galaxy 3, оснащенного 64 системами CS-3 и до 58 миллионов ИИ-ядер, способного выдавать производительность от 8 до 10 эксафлопс.