Каким образом космические аппараты, которые человечество посылает к Марсу, сообщаются с Землёй? С 2006 года на орбите Красной планеты находится Mars Reconnaissance Orbiter, который, помимо выполнения своих прямых функций, ещё и служит передатчиком для других марсианских экспедиций, находящихся или находившихся на поверхности этой планеты. На днях обслуживающая его команда праздновала важную веху: он переслал на Землю 200 Тбит научных данных, и это действительно «большие данные».
Впрочем, 99,9% из них — это информация, записанная с помощью бортовых инструментов аппарата, и лишь 0,1% — все данные, пересланные на нашу планету от марсоходов. Много ли это? Примерно такой объём будет иметь три месяца непрекращающегося видео в высоком разрешении.
Но это не самое поразительное: каждый час НАСА получает от всех своих экспедиций несколько сотен терабайт. Конечно, с такими объёмами всегда возникают проблемы, точнее — три проблемы: хранение данных, их обработка и доступ к ним. Каким же образом специалисты справляются с ними?
Вместо того чтобы строить новые хранилища для информации, инженеры используют ПО, которое позволяет распределять её по «облакам». Для обработки данных используются опенсорсные программы. До сих пор, впрочем, не придумано лёгкого способа доступа к ним, и Стив Грум из Калифорнийского технологического института в Пасадене говорит: «Если у вас есть громадный книжный шкаф, вам всё равно нужно знать, как найти требующуюся книгу».