Само существование термина «большие данные» напрямую связано с тем, насколько доступными стали технологии, позволяющие хранить и обрабатывать гигантские объёмы информации. Слово «терабайт», которое лет десять назад встречалось только в статьях про суперкомпьютеры и дата-центры, теперь пишут на недорогих внешних дисках. Даже петабайт больше не кажется такой уж заоблачной величиной.
Эксперты прогнозируют, что количество информации, с которой нам приходится иметь дело, продолжит расти:
«По оценкам социолога Мартина Гильберта, объём накопленной человечеством информации в 2007 году достигал 300 эксабайт (эксабайт в миллиард раз больше гигабайта). За пять лет, которые миновали с тех пор, этот показатель увеличился почти вчетверо. Ожидается, что в 2013 году он дорастёт до 1 200 эксабайт — и это, очевидно, не предел».
У специалистов есть представление о том, откуда возьмутся эти эксабайты. Что с ними делать, тоже понятно. А вот о том, как именно с ними справляться, говорят куда реже.
До сих пор это не было проблемой, потому что темпы развития вычислительной техники опережали рост количества информации. Пока что число элементов микросхем стабильно удваивалось каждые восемнадцать месяцев в полном соответствии с предсказанием, которое сделал основатель Intel Гордон Мур в 1965 году. Похожие правила действовали в отношении оперативной памяти и средств хранения информации.
Но можно ли рассчитывать на то, что так будет продолжаться и дальше? В этом нет уверенности. Мы уже были свидетелями события, о которое споткнулась тенденция, державшаяся не одно десятилетие.
До 2011 года стоимость хранения одного гигабайта неуклонно сокращалась. В 1955 году двенадцатимегабайтный накопитель IBM стоил почти $75 тыс., или $6,2 млн в пересчёте на один гигабайт. К 1990 году жёсткий диск на полгигабайта можно было приобрести за $2,5 тыс. В 2008 году стоимость терабайтных винчестеров упала ниже $100 (10 центов за гигабайт).
Конец этому маршу прогресса положило стихийное бедствие — сильное наводнение в Таиланде, случившееся два с половиной года назад. В этой стране была сконцентрирована примерно четверть производственных мощностей компаний, выпускающих жёсткие диски. Стоимость накопителей почти сразу же удвоилась.
Когда для того, чтобы попасть на фабрику, нужна лодка, планы приходится менять (фото New York Times).Можно было бы предположить, что производители быстро залижут раны и всё пойдёт по накатанной колее, однако этого не произошло. Затянувшаяся неопределённость хорошо описана в блоге компании Backblaze:
«Когда начинался дисковый кризис, аналитики прогнозировали, что рынку жёстких дисков потребуется от трёх месяцев до года для того, чтобы прийти в норму. Никто не мог подумать, что это растянется на два года. Была ли задержка связана с трудностями при восстановлении или перебазировании производственных и сборочных фабрик? Не замедлил ли восстановление и последующие инновации тот факт, что два рыночных лидера, Western Digital и Seagate, были заняты интеграцией крупных поглощений? И что насчёт резкого сдвига в сторону планшетов? Он мог навсегда изменить и рынок жёстких дисков, и тенденцию к уменьшению стоимости гигабайта».
Неожиданный скачок цен ощутимо ударил по Backblaze. Эта компания предоставляет облачный сервис для хранения бэкапов с неограниченным местом за $5 в месяц. Предполагалось, что такой тариф полностью покроет потребность в постепенном наращивании мощностей при условии, что винчестеры продолжат дешеветь.
Колебание цен на жёсткие диски, по данным Backblaze. Красным пунктиром отмечено снижение цен, ожидавшееся до наводнения в Таиланде.Иными словами, бизнес-модель Backblaze строилась на резонном предположении, что скорость падения стоимости гигабайта останется прежней. Когда оно неожиданно не оправдалось, перед компанией встала серьёзная проблема. У неё нет ни других источников дохода, ни богатых инвесторов. Чтобы пережить трудные времена, потребовались нетривиальные решения, на которые в Backblaze вряд ли пошли бы в нормальной ситуации: например, пришлось разыскивать и массово скупать внешние диски со скидкой в обычных розничных магазинах (это, как ни странно, оказалось выгоднее других способов).
Закон Мура тоже не вечен. На днях об этом объявил Генри Сэмюэли, один из основателей и технический директор Broadcom — компании, которая вместе с Intel, Samsung Electronics и Texas Instruments входит в десятку крупнейших производителей микроэлектроники.
Закон Мура пока держится. По вертикали отложено количество транзисторов, по горизонтали — годы (иллюстрация Wikipedia).По словам Сэмюэли, в последнее время каждый уровень миниатюризации делает производство всё более дорогостоящим. И это лишь часть проблемы. Самое позднее через пятнадцать лет на затвор транзистора будет приходиться десяток атомов, и тогда закон Мура упрётся в физический предел технологии.
«Нельзя сделать транзистор из одного атома, — цитирует IDG слова Сэмюэли. — И пока что мы не видели адекватной замены для транзисторов КМОП в том виде, в котором мы знаем их в течение последних пятидесяти лет».
Мы ощутим приближение к тупику куда скорее, чем упрёмся в него. По мнению Сэмюэли, пора отвыкать от того, что вчерашние топовые процессоры через год или два стоят сущие копейки. Скоро они перестанут дешеветь с привычной скоростью, а сверхдорогие новинки будут не вытеснять, а дополнять предыдущие поколения.
Иллюстрации из статьи, в которой Гордон Мур сформулировал свой знаменитый закон. 1965 год — идея, что обычные люди будут покупать компьютеры, казалась художнику комичной.Такую ситуацию можно сравнить с пиком Хабберта — моментом, когда был достигнут максимально возможный уровень добычи нефти. Мир, в котором процессоры и накопители больше не дешевеют, будет совсем другим.