Производительность системы индексации поисковика Yahoo выросла на треть

Автор: Владимир Парамонов
Опубликовано 21 февраля 2008 года

Компания Yahoo сообщила о переводе своей системы индексации сайтов в интернете на программную платформу Hadoop.

Среда Hadoop на основе Java разрабатывается специалистами организации Apache Software Foundation и позволяет повысить скорость выполнения сложных задач за счет организации системы распределенных вычислений. Принцип работы Hadoop сводится к разбиению исходной задачи на множество подзадач, каждая из которых может быть обработана отдельным компьютерным узлом.

В Yahoo отмечают, что процесс построения поискового индекса (Search Webmap) начинается с создания огромной базы данных всех известных веб-страниц. Согласно статистике Yahoo, в эту базу входят около триллиона ссылок, а ее размер составляет более 300 Тб в сжатом виде. Обработка такого количества информации требует колоссальных вычислительных мощностей.

Yahoo подчеркивает, что на сегодняшний день Search Webmap является самым большим Hadoop-приложением в мире. Общее число процессорных ядер, задействованных при построении поискового индекса, исчисляется многими тысячами. Причем, как отмечается, после перехода на среду Hadoop скорость выполнения операций выросла на 34%.

Yahoo в настоящее время находится на втором месте в списке крупнейших поисковиков мира. Согласно статистике comScore, сейчас рыночная доля Yahoo составляет немногим менее 13%. Безоговорочным лидером является Google, обрабатывающий около 62% от общего количества поисковых запросов, вводимых пользователями интернета.

Ссылки по теме

• Yahoo раскрывает секреты своей поисковой технологии - 11 июля 2008 года
• Yahoo выпустила инструментарий для настройки результатов поиска - 16 мая 2008 года
• Yahoo будет предупреждать пользователей своего поисковика об опасных сайтах - 06 мая 2008 года
• Yahoo превратит свои сайты в социально-ориентированный центр - 25 апреля 2008 года
• Мобильный поисковик Yahoo научился понимать голосовые запросы - 03 апреля 2008 года
• Yahoo рекламирует свой поисковик на радио - 20 марта 2008 года
• Yahoo начинает внедрение элементов семантической сети - 17 марта 2008 года
• "Яндекс" открыл службу хранения пользовательских файлов - 14 марта 2008 года
• Yahoo открыла аналог веб-сервиса Digg.com - 27 февраля 2008 года
• Производительность системы индексации поисковика Yahoo выросла на треть - 21 февраля 2008 года