ИИ-чип Xring O100 от Xiaomi выдает 330 токенов/с при пропускной способности 1,22 ТБ/с

Компания Xiaomi представила новый чип Xring O100, который предназначен для ускорения задач искусственного интеллекта непосредственно на устройстве. 

ИИ-чип Xring O100 от Xiaomi выдает 330 токенов/с при пропускной способности 1,22 ТБ/с
Источник: gizmochina.com

Пропускная способность памяти O100 достигает 1,22 ТБ/с. Такого показателя удалось добиться за счет нестандартного подхода к компоновке. Xiaomi использует 6-нанометровую технологию и 3D-вертикальную упаковку кристаллов на уровне пластин, что позволяет разместить вычислительные блоки и память максимально близко друг к другу. Соединение осуществляется с помощью гибридного бондинга, при котором шаг контактов приближен к физическому пределу.

Такая конструкция, по заявлениям инженеров, дает 16-кратное преимущество в скорости обмена данными по сравнению с памятью в обычных смартфонах. В результате чип способен обрабатывать запросы к большим языковым моделям со скоростью 330 токенов в секунду. Это достигается за счет того, что узкое место — задержки при передаче данных — фактически устраняется, и вычислительные ядра получают информацию практически без ожидания.

В основе O100 лежит многъядерный NPU, оптимизированный для ключевых этапов работы нейросетей, с возможностью гибкой маршрутизации потоков данных. Пока что компания демонстрирует прототипы в виде планшетов и компактных ПК вроде «AI Cube», где этот ускоритель работает в связке с другими чипами линейки Xring. Однако в планах Xiaomi — интегрировать решение в смартфоны, робототехнику и другие устройства уже к 2027 году.

Сам чип O100 — это лишь часть большой стратегии, которая включает выпуск флагманских мобильных SoC и решений для автомобилей. Вместо погони за техпроцессом, Xiaomi делает ставку на инновации в упаковке и пропускной способности, чтобы сделать генеративный ИИ по-настоящему быстрым и работоспособным даже без подключения к интернету.

Читайте также:

Insilico Medicine представила открытый бенчмарк для оценки ИИ в разработке лекарств

OpenAI выпустила ChatGPT Images 2.5 — генерация стала быстрее, а правки точнее

TSMC, Samsung и ASML готовят переход с 6- на 12-дюймовые фотошаблоны

Что будем искать? Например,ChatGPT

Мы в социальных сетях