Компания Hortonworks, разрабатывающая один из наиболее популярных дистрибутивов Hadoop и других средств распределённой обработки больших объёмов данных, объявила о выходе новой версии Hortonworks Data Platform 2.1.
Роль Hortonworks в экосистеме Hadoop можно сравнить с ролью компаний Red Hat или Canonical в экосистеме Linux. В рамках этой аналогии Hortonworks Data Platform аналогичен дистрибутиву Linux — тщательно подобранному и протестированному набору программ, необходимых для использования операционной системы. В данном случае, правда, речь идёт не о системе, а о средствах работы с данными, но суть та же.
Если Red Hat и Canonical всячески поддерживают создание программного обеспечения для Linux, то Hortonworks активно участвует в деятельности фонда Apache (Apache Software Foundation), под эгидой которого разрабатывается Hadoop. Компания не только финансирует фонд непосредственно, но и предоставляет работу ведущим разработчикам продуктов с открытым исходным кодом, которые так или иначе связаны с «большими данными».
По оценке аналитической фирмы Forrester Research, Hortonworks является технологическим лидером и едва ли не движущей силой, которая стоит за всей «индустрией Hadoop».
В Hortonworks Data Platform 2.1 к уже имевшимся компонентам добавились новые. В их число входят средство распределённой обработки потоков информации Storm, мощная поисковая система Solr, фреймворк Knox, позволяющий наладить авторизацию и аутентификацию на уровне кластеров Hadoop, и фреймворк Falcon, предназначенный для автоматизации перемещения, обработки и восстановления наборов данных.
Кроме того, в новую версию платформы входят такие программные продукты, как Yarn, позволяющий использовать в Hadoop не только Map/Reduce, но и другие концепции распределённой обработки информации, Pig, дающий возможность программировать задачи Map/Reduce на скриптовом языке, а также Hive и несколько других СУБД, построенных на базе HDFS — как реляционных, так и NoSQL.
Предварительную версию Hortonworks Data Platform 2.1 уже можно скачать. Ожидается, что окончательная версия будет выпущена 22 апреля.