Intel развивает платформу для обработки «больших данных» на Hadoop

Big Data / Новости События
автор: Андрей Васильков  17 февраля 2014

Компания Intel продолжает создание программных средств с открытым исходным кодом в рамках проекта обработки «больших данных» на Apache Hadoop, делая акцент на безопасность и надежность согласно требованиям корпоративных клиентов.

Сейчас на рынке решений для Hadoop Intel конкурирует с Hortonworks, Cloudera и другими разработчиками программного обеспечения. Генеральный директор по маркетингу компании Intel в Азиатско-Тихоокеанском регионе Джейсон Феддер (Jason Fedder) пояснил в интервью изданию PCWorld, что решения на основе Hadoop сейчас играют ключевую роль в сфере Big Data: «Повышение активности фирм-разработчиков подчеркивает тот факт, что Hadoop стал ключевым проектом. Как только компании начали вкладывать в Linux свой капитал, корпоративные решения на базе этой ОС стали развиваться. То же самое происходит сейчас с Hadoop в области “больших данных”».

Феддер обращает внимание на то, что клиенты, отдавшие предпочтение фреймворку Intel для Hadoop, получают значительный прирост производительности. Он происходит за счёт оптимизации, выполненной с учётом архитектуры процессоров Xeon и особенностей работы твердотельных накопителей с контроллерами Intel.

В частности, процессоры Xeon обеспечивают ускорение операций шифрования/дешифрования по алгоритму AES при помощи дополнительного набора команд AES-NI. Наряду с модернизациями в области безопасности и надежности, платформа Intel для Hadoop сегодня предоставляет расширенные возможности и для обработки потоковых данных.

Ускорение криптографических функций при помощи AES-NI (изображение: hadoop.intel.com)

Ускорение криптографических функций при помощи AES-NI (изображение: hadoop.intel.com).

Пока не раскрываются подробности относительно того, как много клиентов уже используют платформу Intel для Haddop. Изначально работа в данном направлении носила экспериментальный характер и началась в Китае. Поэтому сегодня именно там сосредоточена большая часть корпоративных клиентов, хотя уже есть первые пользователи в Европе и США.

Как пояснил Феддер, Intel пока не планирует предлагать своим клиентам готовый продукт, делая ставку на гибкий подход: «Мы отличаемся от других участников рынка тем, что не пытаемся на данном этапе построить комплексное решение. Вместо этого Intel хочет предложить основу для работы с “большими данными”, позволяя сторонним поставщикам и клиентам самим создавать прикладные приложения».

Структура Intel Manager for Hadoop (изображение: hadoop.intel.com)

Структура Intel Manager for Hadoop (изображение: hadoop.intel.com).

Ещё одна трудность на пути массового внедрения Hadoop заключается в дефиците программистов и аналитиков, способных работать со структурами низкого уровня. Поэтому во втором квартале этого года Intel также выпустит набор бесплатных утилит, упрощающих работу в области предиктивного моделирования.

Эти инструменты предоставят набор обобщённых алгоритмов, которые могут быть применены к различным отраслевым вариантам использования, включая розничные продажи и финансовые услуги.

Поделиться
Поделиться
Tweet
Google
 
Читайте также
Splice Machine — ещё одна реляционная СУБД с поддержкой SQL, базирующаяся на Hadoop
Splice Machine — ещё одна реляционная СУБД с поддержкой SQL, базирующаяся на Hadoop
Как Hadoop и машинное обучение помогают найти жену
Как Hadoop и машинное обучение помогают найти жену
Как Microsoft ловит читеров в Xbox Live при помощи Hadoop
Как Microsoft ловит читеров в Xbox Live при помощи Hadoop
Хостинг "ИТ-ГРАД"
© ООО "Компьютерра-Онлайн", 1997-2017
При цитировании и использовании любых материалов ссылка на "Компьютерру" обязательна.
«Партнер Рамблера» Почта защищена сервером "СПАМОРЕЗ" Хостинг "Fornex"