Если «большие данные» помогут хоть одной крупной нефтедобывающей компании добыть хоть 1% «лишней» нефти, этого процента хватит целому миру на три года. Не удивительно, что в погоне за таким невероятным призом некоторые решили попытаться сократить свои невероятные расходы и риски, связанные с добычей природного углеводородного топлива. Чтобы увеличить добычу нефти и газа, всё чаще прибегают к «большим данным».
В частности, знаменитая транснациональная компания Shell на своих скважинах уже несколько последних лет, помимо стандартного оборудования, прокладывает оптоволоконные кабели и устанавливает огромное количество чувствительных датчиков. Они в непрерывном режиме собирают множество разнообразных данных, интерпретируя которые специалисты улучшают качество скважины и прогнозируют, сколько ещё нефти или газа можно из неё добыть. «Большие данные» даже помогают найти нефть внутри, казалось бы, иссякшей скважины. Что именно там происходит и как производится анализ данных — увы, секрет фирмы, делиться которым технологи Shell категорически отказываются. Зато известно, что получится в результате: будет построена долгожданная подробнейшая модель структуры Земли на глубинах от 1 до 12 километров.
Про объём этой информации известно больше, и он впечатляет. Датчики, созданные, кстати, компанией НР, с момента старта сгенерировали уже 46 петабайт информации, которая теперь хранится на серверах, арендованных у Amazon. Самый первый тест в одной-единственной скважине дал 1 петабайт данных. Если учесть, что в планах компании развёртывание датчиков примерно на 10 тысячах скважин, то, похоже, скоро одна только Shell будет владеть десятью эксабайтами данных. Примерно столько же создаётся во всем интернете в течение десяти дней. Чтобы как-то справиться со всем этим циклопическим массивом данных, Shell начала работать с Hadoop в Amazon Virtual Private Cloud. Кстати, Hadoop (а точнее, BigInsights — корпоративное решение на базе Hadoop, разработанное в IBM) используется для обработки сейсмических данных и в Chevron — одной из крупнейших энергетических компаний США. Этот невообразимый набор данных надо не только хранить, но и манипулировать им. Ценными данные станут только тогда, когда их можно будет использовать для стратегического и оперативного принятия решений. А до этих пор они представляют ценности не больше, чем та самая нефть, залегающая под землёй — неоткрытая, недобытая и непереработанная.
Для того чтобы эффективно анализировать и использовать свои данные, Shell работает с IBM, что вполне ожидаемо, и с DreamWorks Hollywood, что уже звучит несколько экзотичнее, если учесть, что съёмкой художественных фильмов с кучей компьютерных эффектов нефтяники заниматься явно не собираются. Такое неожиданное производственное сочетание позволяет Shell не только проводить анализ данных с добывающих скважин в «облаке», но и сразу же визуализировать трёхмерные и четырёхмерные результаты — картину нефтяных пластов. Для отображения используются компьютерные чипы, аналогичные тем, что разработаны для современных видеоигр. Но такая «игрушка» позволяет увидеть ранее неизвестные месторождения — например, запертые в сланцах или похороненные под толстым слоем отложений на самом дне океана. Она также помогает при выборе оптимального местоположения буровой установки с учётом определённого типа почвы, пород, стратификации, подбора необходимого бурового оборудования и других факторов.
В отделе анализа данных Shell на постоянной основе работает около 70 человек — высококлассные ИТ-специалисты, математики, физики и эксперты по добыче нефти и газа. С ними на разовой основе сотрудничают сотни привлечённых кадров. Логично, что компания тесно взаимодействует с метеорологическими и гидрографическими службами, сейсмологами и геофизиками. Кое-какую полезную информацию получает Shell даже от экологических организаций — и делает это, надо сказать, не задаром. Вот, к примеру, именно экологам (в процессе обсуждения совсем других вопросов) нефтедобывающая компания сделала неожиданный щедрый подарок — предоставила ценные сведения о трассах миграций китов. Кроме того, экологи с удивлением обнаружили, что данные, предоставленные Shell, помогут перелётным птицам в поисках воды во время перелётов через пустыню Сахару…
«Большие данные» и нефтяная промышленность — очень мощный тандем. Помимо огромных прибылей для нефтяных компаний и выгоды потребителей, есть немалые шансы на то, что «большие данные» от огромного количества датчиков нефтяных компаний когда-нибудь пригодятся и в других, на первый взгляд совершенно не связанных с нефтегазовой добычей, областях.