Консалтинговая компания Deloitte опубликовала исследование австралийского рынка “больших данных”. Выводы, которые из него следуют, будут интересны не только австралийцам. В Deloitte обнаружили, что многие проекты по внедрению модных технологий не сумели оправдать ожиданий. И причина – не в самих технологиях.

Британское издание The Register выяснило детали у Тима Ньюджента из Deloitte Australia – одного из авторов того самого исследования. По его словам, проблемы, с которыми столкнулись компании, разнообразны. Некоторые проекты застопорились из-за сложности интеграции между существующим софтом и программным обеспечением с открытым исходным кодом, предназначенным для обработки “больших данных”. Кто-то споткнулся на юридическом обеспечении сбора информации о пользователях. Другим не хватило умения для того, чтобы добыть из своих данных хоть что-нибудь ценное.

Подавляющее большинство программных решений, доминирующих в области “больших данных”, основано на проектах с открытым исходным кодом. И дело не только в их доступности. Во многих случаях они действительно лучше любых альтернатив. Взять, к примеру, Hadoop – этой платформе не так-то просто найти замену. Однако это не делает её наладку или интеграцию с корпоративным софтом проще, особенно для ИТ-специалистов, которые за свою карьеру ни разу не делали ничего подобного.

Иными словами, дело не столько в софте, сколько в катастрофическом отсутствии умения работать с ним у тех самых людей, которые должны его внедрять. По словам Ньюджента, эта проблема постепенно сходит на нет. Её решают ИТ-компании, которые заметили неудовлетворённый спрос на более простые средства для работы с Big Data и обход трудностей с интеграцией.

Другая трудность, с которой можно столкнуться при сборе “больших данных”, не лежит на поверхности. В историях о том, как очередной ритейлер или, скажем, банк по крупицам составил досье на каждого клиента, проанализировал их и нашёл закономерности, которые можно обратить в доллары, редко сообщается о том, что думают об этих досье сами клиенты. Так вот, клиенты недовольны и требуют защиты у государства. В результате жизнь тех, кого интересуют чужие секреты, становится всё труднее.

По словам Ньюджента, некоторые компании уже поплатились за избыточный энтузиазм при сборе частной информации. Они привлекли внимание государственных регулирующих органов, а это определённо не тот результат, на который они рассчитывали.

Ещё одна проблема, названная Ньюджентом, связана с тем, что анализ данных – не такое уж простое занятие, а специалистов в этой области хронически не хватает. Даже если компания обошла все другие препятствия и наладила сбор и обработку информации, совершенно не факт, что она без труда обратит эту информацию себе на пользу. Чтобы получать полезные ответы, нужно задавать хорошие вопросы, а это не всем под силу.

Сбой может произойти на любой стадии. Одни обладают и данными, и технологией, но не знают, что с ними делать. Другие всё знают, но не собирают необходимую информацию и даже не понимают, что она у них отсутствует. И даже если компании удалось выяснить о себе и своих клиента что-то полезное, это знание ещё нужно применить на практике. С этим тоже бывают трудности.

Корень всех бед – отношение к “большим данным” как к волшебству. Но это не волшебство. “Большие данные” – всего лишь инструмент, причём совсем не простой. Те, кто рассчитывал, что достаточно поставить нужный софт – и всё получится, глубоко ошибались.