Компания Teradata, специализирующаяся на разработке и поставке программно-аппаратных комплексов для обработки и анализа данных, продемонстрировала решение под названием Teradata QueryGrid. Оно упрощает анализ больших объёмов данных при помощи множества различных средств, сводя к минимуму перемещение информации с места на место.

Teradata – одна из старейших компаний, работающих в этой области. Она была основана в 1979 году. В 1984 году её специалисты построили первое в мире параллельное хранилище информации.

В Teradata полагают, что мешанина различных решений для хранения и обработки данных, которая неизбежно возникает при развитии многих проектов, связанных с “большими данных”, создаёт изрядные трудности. Как получить стройную аналитическую архитектуру, если её приходится строить на базе аналитических движков, хранилищ информации, языков и других компонентов, которые очень слабо связаны между собой?

В теории QueryGrid должно служить ответом на этот вопрос. Это решение организует анализ информации “на месте” при помощи таких систем управления базами данных, как Oracle, Asterdata DBMS, Teradata, а также фреймворка Hadoop.

Термин “анализ” в данном случае может означать как обычные запросы SQL, так и работу с графами, задачи Map/Reduce и статистическую обработку при помощи скриптов на языке R. Есть и другие возможности.

Teradata-QueryGrid

“После того как пользователь выберет средство анализа и файловую систему, программное обеспечение Teradata незаметно для него организует аналитическую обработку, распределённую по системам, исходя из единственного запроса SQL и не перемещая данные, – говорит президент Teradata Labs Скотт Гнау. – Вдобавок Teradata позволяет использовать множество файловых систем и движков на одной нагрузке”.