Американский стартап Volantis разрабатывает новую архитектуру для запуска крупных ИИ-моделей, которая должна решить проблему нехватки памяти и пропускной способности. Компания заявляет, что ее первая система A-1 рассчитана на модели с более чем 20 трлн параметров и сможет обеспечивать скорость до 10 000 токенов в секунду для одного пользователя.
По мере роста ИИ-моделей одной вычислительной мощности становится недостаточно. Большой объем параметров необходимо одновременно хранить и быстро передавать между памятью и вычислительными блоками. Именно это ограничение называют «стеной памяти» — при дальнейшем увеличении моделей пропускная способность памяти может становиться узким местом.
Volantis предлагает решить проблему с помощью оптических соединений. Компания объединяет большое количество памяти в единый пул, чтобы вычислительная система могла обращаться к ней как к общей высокоскоростной памяти. По данным Volantis, пропускная способность оптического соединения в A-1 превышает 240 ТБ/с, а в презентационных материалах компании указано более 250 ТБ/с.
Заявленная емкость системы достигает 10 ТБ. Компания также указывает скорость передачи 24 Гбит/с на одну линию и энергопотребление менее 1 пДж на бит. По утверждению Volantis, такая архитектура должна одновременно обеспечить большую емкость, высокую пропускную способность и меньшие размеры системы.
Модель с 20 трлн параметров при использовании формата FP16 требует около 40 ТБ памяти только для хранения параметров. Поэтому для таких систем необходимо не просто увеличивать объем памяти, но и обеспечивать быстрый обмен данными между ее массивами и вычислительными ресурсами.
Стартап планирует поставить первые интегрированные системы клиентам в 2027 году. Тогда заявленные характеристики новой архитектуры можно будет проверить на реальных задачах.
Читайте также:
ЦОД для ИИ выводят на орбиту ради солнечной энергии и быстрой обработки данных
ИИ-модель Maxwell возглавила мировой рейтинг управления роботами
Microsoft выпустила ИИ-модель для мгновенной расшифровки речи