«Яндекс», Netflix и IBM ускоряют обработку «больших данных» с помощью графических процессоров

В понедельник в Сан-Хосе началась конференция Nvidia 2014 GPU Technology Conference, посвящённая графическим ускорителям Nvidia. Вопреки расхожему представлению, они годятся не только для повышения качества трёхмерной графики в компьютерных играх. Многие компании используют ускорители Nvidia для параллельной обработки больших объёмов данных.

На конференции обсуждали решения подобного рода, которые разрабатывают в «Яндексе», Netflix и Baidu. Все они пытаются улучшить производительность алгоритмов машинного обучения за счёт использования Nvidia CUDA — программно-аппаратной архитектуры параллельных вычислений Nvidia.

В Nvidia утверждают, что «Яндекс» был одной из первых компаний, которые стали использовать системы на базе Nvidia Tesla для улучшения ранжирования поисковых результатов. Железо Nvidia позволило ускорить тренировку моделей ранжирования в двадцать раз по сравнению с производительностью, которую давали обычные процессоры.

Другой поисковик — китайский Baidu — применяет процессоры Nvidia для повышения производительности на самых разнообразных задачах, подразумевающих глубокое обучение и работу с огромными нейронными сетями. В их список, в частности, входят распознавание речи, автоматический перевод, распознавание текстовых документов, распознавание образов, в том числе лиц людей, поиск по изображениям и оптимизация размещения онлайновой рекламы.

Netflix экспериментирует с нейронной сетью, которая анализирует особенности поведения десятков миллионов подписчиков видеосервиса и пытается уловить, какие фильмы лучше всего порекомендовать каждому из них. Она тоже реализована на базе графических процессоров Nvidia.

Представители IBM расскажут на конференции о том, как корпорация использует ускорители Nvidia для кластеризации данных, выполняемой при помощи фреймворков Hadoop и Mahout.

Кластеризация может использоваться, к примеру, для того, чтобы выделить в массиве данных о покупателях людей со схожим поведением. Полученные результаты могут помочь разрабатывать продукты, рассчитанные на различные группы потребителей, или проводить адресные маркетинговые кампании.

Что будем искать? Например,ChatGPT

Мы в социальных сетях