Как и зачем Google и «Яндекс» снимают панорамы городов

Когда выяснилось, что в России наконец открылся сервис Google Street View с панорамами Москвы и Санкт-Петербурга, я вспомнил о статье об этом и других подобных сервисах, которую я написал для «Компьютерры» в конце 2009 года. Хотя с тех пор прошло два года, она почти не устарела (и неудивительно — история вопроса и проблемы остались теми же). Поскольку тот номер журнала на сайт почему-то так и не выложили, исправляю упущение — читайте статью о том, что происходит за кулисами Google Street View и панорам «Яндекса».

За минувшее с момента публикации время Google Street View добрался до России и ещё нескольких восточноевропейских стран, панорамы «Яндекса» отсняли не только в Москве, но и во множестве других городов страны, а эпицентр скандалов, связанных с нарушением тайны частной жизни, переместился из Великобритании в Германию. Всё остальное по большей части осталось тем же.

Клуб путешественников

По легенде, идея Google Street View принадлежит лично Ларри Пейджу, одному из двух основателей Google и автору поискового алгоритма Pagerank. Для пробы он даже отснял на собственную видеокамеру несколько улиц Стэнфорда. С тех кадров все и началось.

Я видел, как снимают Google Street View (а Google видел меня)

О том, что в Google снимали панорамы Москвы и Санкт-Петербурга, все узнали только сейчас. Но я догадывался об этом куда раньше!

Теперь в Google Street View можно посмотреть панорамы десятков городов. Кто-то использует этот сервис для того, чтобы научиться ориентироваться в незнакомом месте, но ничуть не реже Street View разглядывают для забавы: ищут знакомые улицы или дивятся на необычные ситуации, случайно попавшие в кадр (к последнему типу относится львиная доля отзывов о сервисе, которые можно встретить в интернете). В Google догадываются, что именно привлекает пользователей, недаром же летом в Street View появились панорамы развлекательного парка «Леголенд» в Калифорнии и гоночной трассы Лагуна Сека. А вот российских городов там по-прежнему нет, хотя сервис открылся больше двух лет назад.

C каждым месяцем автомобили Street View подбираются все ближе и ближе к границам России. В 2008 году они разъезжали по Западной Европе, а весной 2009 года стали замечать в Польше, Чехии и Финляндии. Вполне возможно, что мы следующие [Примечание: Google Street View открылся в России в начале 2012 года]. Впрочем, для пользователей Рунета этот сервис уже не станет большим открытием. Панорамы нескольких десятков российских городов давно опубликованы на сайте gdeetotdom.ru, а в сентябре 2009 года похожий сервис открыла компания «Яндекс». Для него пока отснята лишь часть Москвы, зато — c непревзойденным качеством.

Суррогатный туризм

Едва ли не первым проектом в духе Street View была система Aspen Movie Map, разработанная в Массачусетском технологическом институте тридцать лет назад. Ее создатели надеялись, что технология, которую они окрестили «суррогатное путешествие», со временем превратится в популярное развлечение. Пентагон же, выделивший деньги на работу, преследовал совсем другие цели. Военные рассчитывали, что такие устройства окажутся полезны для тренировки солдат.

Суть проекта заключалась в создании виртуальной копии американского городка Аспен. Пользователь Movie Map видел аспенские улицы с точки зрения водителя автомобиля — почти как в Google Street View. Он мог двигаться по дороге в любом направлении, решать, куда свернуть на развилке, и смотреть по сторонам, выбирая один из четырех жестко заданных углов обзора.

Чтобы собрать необходимую информацию, участники проекта соорудили камеромобиль. На крышу джипа была водружена конструкция, состоящая из гироскопического стабилизатора и четырех кинокамер, заправленных шестнадцатимиллиметровой пленкой. Сзади к машине приладили велосипедное колесо с датчиком угла поворота. Во время движения датчик дистанционно включал камеры каждые три метра. В течение нескольких месяцев с помощью камеромобиля отсняли все улицы Аспена, включая каждый возможный вариант поворота на каждом перекрестке.

Нерешённые проблемы

Многие проблемы, которые стояли перед создателями Aspen Movie Map в 1979 году, до сих пор не имеют окончательного решения. Например, как позиционировать снимки на карте? Казалось бы, появление общедоступных гражданских приемников GPS должно закрыть этот вопрос раз и навсегда. Но не все так просто. Во-первых, точность данных, полученных подобным образом, относительно невелика, да и сам GPS доступен не везде. Во-вторых, в идеале необходимо знать не только географические координаты точки, где сделан снимок, но и точную ориентацию камеры. Для этого требуются дополнительные датчики — акселерометры, скоростные гироскопы, энкодеры — и программное обеспечение, способное восстановить картину происходящего по их показаниям.

В области автоматической обработки изображений тоже хватает работы: калибровка камер без участия человека, автокоррекция цвета и баланса белого, выравнивание изображений, а теперь еще и распознавание образов. Даже организация работы автопарка, когда речь идет о проектах такого масштаба, превращается в дьявольски трудную проблему. Оптимальные маршруты по городу должны быть проложены так, чтобы камеромобили как можно реже оказывались на тех улицах, съемка которых уже завершена, — что-то вроде задачи коммивояжера с уровнем сложности, увеличенным до максимума.

Полученные изображения записали на аналоговые лазерные видеодиски, которые тогда считались последним словом техники. На одном диске умещалось лишь тридцать минут видео или 54 тысячи отдельных кадров, поэтому к миникомпьютеру Interdata 7/32, который управлял просмотром Movie Map, пришлось подключить сразу несколько проигрывателей. Снимки и графический интерфейс выводились на цветной сенсорный дисплей. Получившаяся система и сейчас производит впечатление, а уж в 1979 году, наверное, казалась сущей фантастикой.

Другой важный предшественник Street View появился в 2005 году, когда съемкой улиц американских городов занялся крупнейший онлайновый магазин Amazon. Методы, по сути, были теми же, что и при изготовлении Movie Map, но с поправкой на четверть века развития компьютерной техники. На крышах внедорожников Amazon стояли современные цифровые камеры, а пятое колесо с энкодером заменил приемник GPS.

Отличия тоже имелись: поскольку Amazon не требовались панорамы или интерактивность, камер было не четыре, а две, и каждая снимала свою сторону улицы. Да и замысел был совсем другим: таким образом компания пыталась автоматизировать изготовление фотографий зданий для онлайновой версии справочника «Желтые страницы». За символическую плату нужные кадры в отснятом материале вручную отыскивали добровольцы, нанятые через Mechanical Turk.

Меньше чем через два года Amazon свернул этот проект. Впрочем, к тому времени в Google уже работали над собственной реализацией той же идеи.

Глаза Google

В Google, как правило, предпочитают не распространяться о своих технологиях, но со Street View этот фокус не прошел. Автомобили с камерами, снующие по дорогам мира у всех на виду, утаить труднее, чем секретные алгоритмы в охраняемых дата- центрах. Хотя официальные сведения об устройстве аппаратуры Street View очень скудны, известно, что она выдержала несколько итераций.

В 2007 году, когда сервис только открылся, подавляющее большинство панорам для Google изготавливали специалисты фирмы Immersive Media. Затем автомобили Street View оснащались специализированными камерами Point Grey, но в конце концов Google перешел на оборудование собственной конструкции.

Панорамные камеры Dodeca, которые выпускает Immersive Media, похожи на маленькие морские мины, только вместо шипов у них объективы. Внутри небольшого сферического корпуса скрываются одиннадцать миниатюрных видеокамер — по одной на каждую грань додекаэдра, форму которого имеет итоговая панорама (самая нижняя, двенадцатая грань остается пустой).

Клиентов у Immersive Media хватало и до сотрудничества с Google. В восьмидесятые годы ее технический директор занимался спецэффектами в Голливуде, поэтому первое направление деятельности компании было очевидно с самого начала — развлечения и реклама. Кроме того, технику Immersive Media закупали военные для установки на передвижные командные пункты, а спецслужбы и охранные агентства использовали продукцию фирмы в системах слежения.

Главный недостаток Dodeca — не слишком высокое качество изображения. Устройство стоит почти 50 тысяч долларов, а выдает снимки с суммарным разрешением всего лишь 2400х1200 пикселов (640х480 с каждой из одиннадцати камер). Панорамы Street View, которые делала Immersive Media, выглядели хуже фотографий, снятых дешевой мыльницей. Неудивительно, что Google быстро отказался от ее услуг. К концу 2007 года на Street View не осталось ни одного кадра, полученного с помощью техники Immersive Media.

Следующий этап — устройства Ladybug компании Point Grey Research. Как и Dodeca, Ladybug представляет собой сборку из нескольких цифровых камер в общем корпусе. Пять из них снимают все вокруг в горизонтальной плоскости, а шестая всегда направлена в небо. Специальное программное обеспечение склеивает кадры, поступающие с разных камер, в сферическую панораму.

Разрешение панорам, которые можно получать с помощью модели Ladybug 2, использовавшейся для съемки Street View, составляет 4,8 Мп. Это лучше, чем у Dodeca, но все равно маловато. В Google не стали дожидаться следующей модели, двенадцатимегапиксельной Ladybug 3. К тому времени, когда Point Grey Research выпустил ее, автомобили Street View уже оснащались оборудованием, которое инженеры Google разработали сами.

Трёхмерные карты Tele Atlas

Поставщики цифровых географических карт, такие как Tele Atlas или Navteq, тоже собирают данные с помощью специальных автомобилей с камерами и датчиками. Более того, Tele Atlas использует практически такое же оборудование, которым Google снимает Street View. Каждый автомо- биль компании оснащен панорамной камерой Point Grey, парой лазерных дальномеров, которые направлены в противоположные стороны, и несколькими отдельными камерами высокого разрешения.

В отличие от скрытного Google, Tele Atlas не делает секрета из того, как будут использоваться накопленные данные. Во-первых, по отснятому материалу выясняется точное расположение дорожных знаков, а лазерные дальномеры определяют ширину улиц, высоту мостов и тоннелей. Во-вторых, дальномеры служат своего рода 3D- сканерами. Информации, которую они сообщают, достаточно, чтобы реконструировать трехмерный облик зданий.

Теперь внушительное сооружение на крыше автомобилей Street View состоит из нескольких модулей. На самой верхушке находится угловатый «аквариум» с цифровыми камерами, схема размещения которых позаимствована у Point Grey: восемь по периметру и одна наверху. Ниже закреплены три одинаковых приспособления, в которых угадываются лазерные дальномеры фирмы SICK, один спереди и пара по бокам. Сзади вместо дальномера прилажена желтая коробочка, от которой к автомобилю тянется пучок кабелей.

Камеры для Street View разработала фирма Elphel (в своё время «Компьютерра» публиковала интервью с её основателем). Это крайне любопытные устройства: фактически каждое из них представляет собой полноценный компьютер, работающий под управлением Linux. Даже старые модели Elphel обеспечивали более высокое качество съемки, чем устройства Immersive Media или Point Grey, а в нынешних камерах Elphel 353 стоят матрицы с разрешением от пяти мегапикселов — это в 2,5 раза больше, чем у камер Ladybug 3 (речь идет лишь о возможном разрешении отдельных камер, так как о разрешении панорам Google Street View, склеенных из кадров, снятых всеми девятью камерами, точной информации нет).

Панорамы улиц для России

Одна из главных причин, по которой в компании Gdeetotdom.ru решили заняться панорамной съемкой городов, такова: это проще и дешевле, чем фотографировать каждое здание вручную. Раньше снимки домов для одноименного сервиса по недвижимости, который развивает компания, приходилось делать именно таким способом. В Москве на нее работали около шестидесяти фотографов, в Санкт-Петербурге — тридцать.

Прежде чем начать проект, Gdeetotdom обратился в Google, чтобы выяснить, планируется ли запуск Street View в России. В Google не ответили ничего определенного, и браться за дело пришлось самим. Опыта недоставало, поэтому вопросы возникали на каждом шагу. Как закрепить камеру на крыше автомобиля? Как не повредить ее во время движения? Где взять 220 вольт для питания бортового компьютера? Как добиться высокого качества съемки?..

Google делает аппаратуру для съемки панорам самостоятельно, но такой подход не для всех. Панорамы улиц — отнюдь не самая важная функция Gdeetotdom. Стоит ли тратить на нее столько сил и заниматься непрофильной деятельностью? Вряд ли. «Мы же все-таки портал по недвижимости, — говорит генеральный директор компании Рубен Акопов. — Мы не стали создавать свое собственное решение». Вместо этого Gdeetotdom приобрел камеры фирмы Point Grey.

Для съемок переоборудовали обычные легковые автомобили. На переднем пассажирском сидении лежит компьютер для контроля информации и управления камерой — обычный системный блок с Windows, к которому подключены небольшой жидкокристаллический дисплей и клавиатура с мышкой; конвертор, преобразующий 12 вольт постоянного тока в 220 вольт переменного, спрятан в багажнике. Ноутбуки тут не годятся: чтобы обрабатывать и сохранять такие потоки информации, нужна хорошая видеокарта и внушительной емкости накопители.

С помощью камер Ladybug 2 Gdeetotdom.ru оцифровал 61 город России — все миллионники, за исключением Перми. Теперь снимают заново, уже более совершенной моделью Ladybug 3. В Москве повторная съемка заняла шесть месяцев; до конца октября все панорамы московских улиц на сайте Gdeetotdom.ru будут обновлены.

Сперва экипаж автомобилей с камерами состоял из двух человек, но затем съемку автоматизировали, и теперь с ней справляется сам водитель. Хотя Gdeetotdom.ru публикует не больше одной панорамы на двенадцать метров дороги, в действительности камеры записывают видео с частотой от 7–8 до 16 кадров в секунду; попутно приемник GPS сохраняет географические координаты. Во время постобработки по ним отбираются снимки, сделанные в нужных точках улицы.

Панорамы обходятся недешево. На каждую камеру Point Grey компания потратила примерно 20 тысяч долларов. Кроме того, у Gdeetotdom.ru пять автомобилей для съемки: три Skoda Roomster и пара Volkswagen Golf. Еще одна важная статья расходов — создание программной системы обработки и отображения информации. Правда, поскольку Gdeetotdom.ru преследует довольно узкие цели, траты на разработку софта удалось удержать в разумных пределах.

«Яндекс» пошел по другому пути. «Готового решения не было, оно разрабатывалось специально для нас», — рассказывает менеджер сервиса «Панорамы улиц» Мария Орлова. Работу поручили компании neq4, занимающейся созданием виртуальных туров, а вместо специализированных или промышленных камер, названия которых никому ничего не говорят, решили использовать профессиональные цифровые фотоаппараты — такие же, как у обычных фотографов.

Для съемок на крыше автомобиля (именно «автомобиля», а не «автомобилей» — он был один) установили систему из четырех фотоаппаратов, направленных в разные стороны. Системой управлял специальный программный комплекс. Каждые 20–30 метров все камеры синхронно делали снимки с разрешением 10 Мп. Панорамы, собранные из полученных кадров, нельзя назвать сферическими — угол обзора по вертикали относительно невелик. Зато «Яндексу» удалось избежать сильных искажений, встречающихся в Google Street View, да и четкость изображения, кажется, повыше, чем у конкурентов (это субъективное впечатление, однако даже если разрешение Street View в действительности выше, впечатление портят то и дело попадающиеся даже на самых свежих панорамах Google пересвеченные кадры, цветовой шум и тому подобные недостатки).

Работа над проектом началась еще в 2008 году. Съемка велась около месяца осенью 2008 года и еще три недели летом 2009 года. Дело в том, что для изготовления качественных панорам нужны хорошие условия. Частые осенние дожди и короткий световой день только мешают. С этой проблемой знакомы и в Gdeetotdom.ru: даже в хорошие дни до трети отснятого материала оказывается браком. Испортить снимок может любая малость, даже спрятавшееся за тучу солнце. Вечные московские пробки тоже не способствуют повышению производительности труда.

Право на съёмку

Google не спрашивает разрешения перед индексацией сайтов в интернете. Если веб-страница доступна для всех, то она доступна и для поисковых роботов. К съемке городов в Google подошли с той же логикой. Если прохожего на панораме Street View легко узнать, что с того? Он же находился на улице, где его и без всякого Street View мог увидеть кто угодно. Снимки, сделанные в общественных местах, по определению не могут нарушать тайну частной жизни.

Далеко не все согласны с такими рассуждениями. Как только Street View открылся, его сразу же стали критиковать за нарушение приватности. Google не спорил и послушно стирал неугодные кадры, а летом 2008 года стал автоматически затушевывать на своих панорамах лица прохожих и номера автомобилей. Разработанный в Google алгоритм успешно находит и скрывает более 89% лиц и около 95% автономеров. Однако и это не помогло — поток жалоб не ослабевал.

Самую бурную реакцию Street View почему-то вызвал в Великобритании — стране с наибольшим количеством уличных камер на душу населения. Сначала Google атаковала правозащитная организация Privacy International, после чего известная на весь мир британская желтая пресса раздула вокруг Street View такой скандал, что на пресловутые автомобили с камерами стали обращать внимание даже далекие от Интернета люди. Дошло до того, что в одной из деревень в часе езды от Лондона жители перекрыли дорогу, чтобы не пустить автомобиль Street View. Потом они объясняли слетевшимся журналистам, что, с их точки зрения, Google пособничает грабителям, которые с помощью панорам улиц выбирают себе жертв.

В Японии Street View тоже встретили в штыки, но тут, похоже, причина в культурных различиях, о которых в Google не подумали заранее. Оказалось, что камеры Street View, закрепленные на высоте 2,5 метра, с легкостью заглядывают через высокие заборы и снимают частные дворы, которые обычно недоступны для чужих глаз. Вдобавок откуда-то взялся слух, что Street View — это, на самом деле, нечто вроде веб-камеры, непрерывно транслирующей все в bнтернет.

Теперь Google собирается переделать все панорамы, снятые в Японии, опустив камеру на сорок сантиметров — так в кадр не попадет ничего, что не видно обычным прохожим. А дабы успокоить недоверчивых японцев, сняли рекламный ролик, в котором мультяшный человечек-камера сначала разъезжает по игрушечному городу и фотографирует дома, а потом трудолюбиво закрашивает на снимках имена на почтовых ящиках и номера автомашин.

Российские аналоги Street View пока обходятся без цензуры. Правда, и претензий им ещё никто не предъявлял. «Практически всегда мы встречали благожелательное отношение людей, которых снимаем, — говорит Рубен Акопов. — Очень часто наших водителей спрашивают, что они делают, интересуются самими камерами, узнают, когда съёмка будет опубликована». Возможно, всё ещё впереди. В Gdeetotdom.ru не исключают, что когда-нибудь им придётся последовать примеру Google и начать затирать на панорамах лица прохожих.

Впрочем, ближайшие планы развития панорам на сайте Gdeetotdom.ru другие: кроме улиц, будут отсняты ещё и дворы. Это позволит пользователям сервиса увидеть те здания, которые находятся в стороне от проезжей части. Вполне объяснимая цель, если вспомнить, почему Gdeetotdom.ru занялся съёмкой панорам.

Следующий этап развития сервиса «Панорамы улиц» на «Яндексе» нетрудно угадать. Тщательно отснят лишь центр Москвы, а на окраинах города панорамы встречаются лишь на самых крупных улицах. Было бы логично исправить это упущение, а затем перейти к съёмке других городов.

Предсказать будущее Google Street View сложнее. Этот сервис вполне способен на сюрпризы. Даже со стороны ясно, что автомобили Street View собирают куда больше данных, чем необходимо для изготовления обычных панорам. Какие сервисы можно построить на их основе? Об этом можно только гадать.

Пару лет назад в статье, опубликованной в журнале IEEE Computer, технический руководитель Street View Люк Винсент подсчитывал суммарную длину асфальтированных дорог Земли (19,4 млн. км) и время, которое потребуется, чтобы сделать их панорамы (очень долго). Он шутил, но его шутка вполне укладывается в миссию Google: упорядочить всю информацию в мире. Судя по наcтойчивости, с которой развивается Street View, это не пустые слова.

Что будем искать? Например,ChatGPT

Мы в социальных сетях