Первая в мире 64-потоковая ИИ-станция Sugon достигает производительности на уровне облака

Китайская компания Sugon показала первую в мире 64-потоковую мобильную рабочую станцию для локального ИИ. Устройство толщиной 16,9 мм с 16 ГБ видеопамяти достигает скорости 50 токенов в секунду при работе с моделями в 35 миллиардов параметров. Внутри, предположительно, процессор Hygon на собственной микроархитектуре.

Первая в мире 64-потоковая ИИ-станция Sugon обеспечивает производительность на уровне облака
Источник: digitimes.com

Sugon официально не называет процессор, но по косвенным данным это может быть 16-ядерный чип Hygon с 64 потоками. На рынке уже известны процессоры Hygon на базе лицензированной архитектуры AMD Zen, но в новом поколении C86-5G, как утверждается, используется собственная микроархитектура с поддержкой AVX-512 и технологией SMT4 — по четыре потока на ядро.

В устройстве предусмотрено 16 ГБ видеопамяти, и это явно дискретная карта. В паре с мощным процессором она должна обеспечить локальный вывод ИИ-моделей со скоростью до 50 токенов в секунду. Для сравнения: облачные API обычно выдают 30–80 токенов. Заявленный прирост производительности — в 3–5 раз выше, чем у основных рыночных решений.

При этом устройство способно запускать модели Mixture of Experts с 35 миллиардами параметров прямо на месте, без облака. Это уже не просто «рабочая станция» — это попытка сделать мощный ИИ доступным в формате обычного ноутбука.

Sugon известна как производитель суперкомпьютеров, а Hygon — ее давний партнер и дочерняя структура. Попытка их слияния в прошлом году не увенчалась успехом, но это не помешало сотрудничеству. И теперь их совместная разработка может стать одним из самых интересных анонсов в сегменте мобильного искусственного интеллекта.

Читайте также:

Квантовый маршрутизатор достиг 98% эффективности при передаче данных

Samsung показала архитектуру нового флагманского чипа Exynos 2700

Что будем искать? Например,ChatGPT

Мы в социальных сетях