Консалтинговая компания Deloitte опубликовала исследование австралийского рынка «больших данных». Выводы, которые из него следуют, будут интересны не только австралийцам. В Deloitte обнаружили, что многие проекты по внедрению модных технологий не сумели оправдать ожиданий. И причина — не в самих технологиях.
Британское издание The Register выяснило детали у Тима Ньюджента из Deloitte Australia — одного из авторов того самого исследования. По его словам, проблемы, с которыми столкнулись компании, разнообразны. Некоторые проекты застопорились из-за сложности интеграции между существующим софтом и программным обеспечением с открытым исходным кодом, предназначенным для обработки «больших данных». Кто-то споткнулся на юридическом обеспечении сбора информации о пользователях. Другим не хватило умения для того, чтобы добыть из своих данных хоть что-нибудь ценное.
Подавляющее большинство программных решений, доминирующих в области «больших данных», основано на проектах с открытым исходным кодом. И дело не только в их доступности. Во многих случаях они действительно лучше любых альтернатив. Взять, к примеру, Hadoop — этой платформе не так-то просто найти замену. Однако это не делает её наладку или интеграцию с корпоративным софтом проще, особенно для ИТ-специалистов, которые за свою карьеру ни разу не делали ничего подобного.
Иными словами, дело не столько в софте, сколько в катастрофическом отсутствии умения работать с ним у тех самых людей, которые должны его внедрять. По словам Ньюджента, эта проблема постепенно сходит на нет. Её решают ИТ-компании, которые заметили неудовлетворённый спрос на более простые средства для работы с Big Data и обход трудностей с интеграцией.
Другая трудность, с которой можно столкнуться при сборе «больших данных», не лежит на поверхности. В историях о том, как очередной ритейлер или, скажем, банк по крупицам составил досье на каждого клиента, проанализировал их и нашёл закономерности, которые можно обратить в доллары, редко сообщается о том, что думают об этих досье сами клиенты. Так вот, клиенты недовольны и требуют защиты у государства. В результате жизнь тех, кого интересуют чужие секреты, становится всё труднее.
По словам Ньюджента, некоторые компании уже поплатились за избыточный энтузиазм при сборе частной информации. Они привлекли внимание государственных регулирующих органов, а это определённо не тот результат, на который они рассчитывали.
Ещё одна проблема, названная Ньюджентом, связана с тем, что анализ данных — не такое уж простое занятие, а специалистов в этой области хронически не хватает. Даже если компания обошла все другие препятствия и наладила сбор и обработку информации, совершенно не факт, что она без труда обратит эту информацию себе на пользу. Чтобы получать полезные ответы, нужно задавать хорошие вопросы, а это не всем под силу.
Сбой может произойти на любой стадии. Одни обладают и данными, и технологией, но не знают, что с ними делать. Другие всё знают, но не собирают необходимую информацию и даже не понимают, что она у них отсутствует. И даже если компании удалось выяснить о себе и своих клиента что-то полезное, это знание ещё нужно применить на практике. С этим тоже бывают трудности.
Корень всех бед — отношение к «большим данным» как к волшебству. Но это не волшебство. «Большие данные» — всего лишь инструмент, причём совсем не простой. Те, кто рассчитывал, что достаточно поставить нужный софт — и всё получится, глубоко ошибались.