В дата-центре ИППИ РАН установят общественный сервер

Инновации
автор: Андрей Васильков  20 ноября 2014

Совместное финансирование наукоёмких проектов широко используется во многих странах. На Kickstarter успешно собирали средства даже на плазменный двигатель и космический телескоп стоимостью полтора миллиона долларов. Российский уровень научно-общественных инициатив гораздо скромнее, зато они быстрее выполняются и проще отслеживаются. Показательной стала история проекта известного кранчера Александра Андреева, входящего в состав российского отделения IDGF. Идея собрать общественный сервер для выполнения научных расчётов и установить его в дата-центре ИППИ РАН оказалась самой популярной в разделе «Технологии» отечественной крауд-платформы Boomstarter.

Скоро Александр приступит к сборке сервера, средства на которые удалось собрать в рекордные сроки. Изначально у всех были большие сомнения в успехе, однако они развеялись уже через неделю. Менее чем за половину расчётного времени проект был полностью профинансирован и продолжает привлекать спонсоров.

Руководитель команды Russia Team с организаторами российских проектов РВ на Национальном суперкомпьютерном форуме (фото: boinc.ru).

Руководитель команды Russia Team с организаторами российских проектов РВ на Национальном суперкомпьютерном форуме (фото: boinc.ru).

Время героев-одиночек в науке постепенно проходит. Современные исследования – это коллективный труд, в котором приходится обрабатывать колоссальные объёмы данных и сопоставлять разные точки зрения. Традиционно для анализа использовались мощные компьютеры, но сложности решаемых задач неуклонно возрастают.

Сегодня они давно превосходят возможности вычислительных систем, которые могут позволить себе научные коллективы. К примеру, группа профессора химии Марка Томпсона рассчитала энергию двухсот пятидесяти тысяч различных молекул – потенциальных кандидатов на роль нового покрытия солнечных панелей. Для этого восемь дата-центров Amazon загрузили на восемнадцать часов. На университетских компьютерах исследователи бы обсчитывали четверть миллиона молекул до конца своей жизни, и всё равно бы не успели.

Суперкомпьютеры требуются потому, что большинство исследований сегодня сопряжено с огромным объёмом вычислений. Физикам, астрономам, химикам, генетикам и другим учёным требуется обрабатывать терабайты данных после каждой серии экспериментов. Они проверяют миллионы вариантов, вычисляя пространственные конфигурации органических молекул, моделируют поведение элементарных частиц, работу мозга человека, глобальные процессы на Земле и во всей видимой части Вселенной.

Моделирование развития звездных скоплений и потока Стрельца в проекте Milkyway@Home (изображение: caltech.edu).

Моделирование развития звездных скоплений и потока Стрельца в проекте Milkyway@Home (изображение: caltech.edu).

Все эти сверхзадачи подразумевают наличие развитого математического аппарата, поскольку в конечном счёте формулируются на языке единиц и нулей, а скорость их выполнения зависит от качества алгоритмов. Многие задания для суперкомпьютеров связаны с проверкой математических гипотез, развитием методов математического анализа и поиска оптимальных стратегий в решении задач определённого класса.

По данным мирового рейтинга TOP500 в этом году удвоилось число мощных российских суперкомпьютеров. Большая часть из них предназначена как раз для научных расчётов и установлена в вычислительных центрах крупных университетов страны. Однако на практике их использование затруднено целым рядом причин, главными из которых остаются бюрократические препятствия, а также скудный и специфический набор доступных программных средств.

Классический вариант прогресса, в котором прикладные дисциплины развиваются за счёт достижений фундаментальной науки, тормозится человеческим фактором. Получить одобрение заявки на использование ресурсов любого суперкомпьютера для многих научных коллективов становится неразрешимой проблемой. Им вежливо (и не очень) отказывают, не видя в таком сотрудничестве выгоды. Ведь счёт за электроэнергию для суперкомпьютеров оплачивает один ВУЗ, а рейтинг растёт у другого.

Расчёт энергии белковых молекул в проекте Rosetta@Home (изображение: imgur.com).

Расчёт энергии белковых молекул в проекте Rosetta@Home (изображение: imgur.com).

В поисках выхода группы исследователей обращаются к другому методу решения сложных математических задач – распределённым вычислениям (РВ) на компьютерах добровольцев. «Компьютерра» уже писала об открытой платформе BOINC. Она объединяет свободные вычислительные ресурсы любой компьютерной техники (от кластеров до смартфонов) сотен тысяч волонтёров по всему миру. На момент написания статьи их суммарная мощность превышала восемь петафлопс, что сравнимо с производительностью суперкомпьютера Mira (BlueGene/Q), занимающего пятую строчку рейтинга в последнем списке TOP500.

Однако доля активных участников в BOINC всегда была мала. Для новых проектов она составляет считанные проценты, а в самых популярных редко превышает одну треть. Многие участники надолго приостанавливают расчёты, поэтому даже один круглосуточно работающий мощный компьютер или небольшой сервер вносит ощутимый вклад в общее дело.

За двадцать три дня до намеченной даты сбор средств на сервер для кранч-центра уже выполнен на 113%. Даже с учётом выросшего курса доллара, собранной суммы хватает на приобретение шестиядерного процессора Intel Xeon E5-2620v2 с поддержкой Hyper-Threading и материнской платы серверного класса с двумя процессорными гнёздами. Если приток пожертвований продолжится, то второй сокет не будет пустовать, а конфигурацию сервера продолжат совершенствовать. Возможно, в нём даже появятся векторные ускорители как в настоящих суперкомпьютерах. Благо, все проекты в BOINC исключительно легко масштабируются и поддерживают вычисления в гетерогенной среде.

В дата-центре ИППИ РАН для РВ используют как сервер, так и простые системные блоки уровня SOHO, объединённые с помощью платформы BOINC (фото: boinc.ru).

В дата-центре ИППИ РАН для РВ используют как сервер, так и простые системные блоки уровня SOHO, объединённые с помощью платформы BOINC (фото: boinc.ru).

На первом этапе в дата-центре ИППИ РАН появится система с двенадцатью, а затем и с двадцатью четырьмя логическими ядрами, которые будут загружены 24 часа в сутки решением научных задач. За этой красивой метафорой скрывается и тот факт, что участники команды будут поддерживать работу компьютера своими силами.

Распределением вычислительных ресурсов будет заниматься «Russia Team» – одна из сильнейших российских команд добровольных РВ с почти десятилетней историей. Её организаторы планируют использовать новый сервер для поддержки, в первую очередь, отечественных научных проектов, одним из которых стал SAT@Home.

С каждым днём методы привлечения ресурсов добровольцев находят применение в решении всё более серьёзных задач. Особенность крауд-технологий заключается в том, что они стимулируют друг друга. Одно глобальное движение помогает реализовать другое. В этом и кроется главный секрет большинства амбициозных проектов.

Поделиться
Поделиться
Tweet
Google
 
Читайте также
Intel, Cray и LLNL создали «катализатор» для развития научных проектов
Intel, Cray и LLNL создали «катализатор» для развития научных проектов
Приложение BOINC позволит любому обладателю смартфона на Android помочь учёным
Приложение BOINC позволит любому обладателю смартфона на Android помочь учёным
Распределённые вычисления: настраиваем клиент BOINC и выбираем проект
Распределённые вычисления: настраиваем клиент BOINC и выбираем проект
  • Aleksandr Konosevich

    > хватает на приобретение шестиядерного процессора Intel Xeon E5-2620v2

    «Смиялсо!»(ц) %~)

    PS ребятки действительно ничего не знают про существование OpenCL/CUDA/AMD FireStream и потрохах нынешних видекакрт — или так тонко стебутся?

    • Андрей Васильков

      Далеко не для каждой задачи можно использовать OpenCL. Например, в Einstein@Home поиск двойных радиопульсаров выполняется с применением неграфических вычислений средствами видеокарт, а поиск гамма-пульсаров работает только на ядрах ЦП.

      • Игорь

        А зачем искать всякие далёкие комические тела? Какой в этом прок?

        • Ну, как бы, «далекие космические тела» непосредственно влияют на нашу конкретную земную жизнь.
          Да и человеческую мысль не удержать на привязи. Многое, что сейчас используем каждый день, лет сколько-то назад казалось «далекими космическими телами» :)

        • Зачем ты живешь, Игорь, какой в этом прок? Когда ответишь на этот вопрос, может и поймешь смысл поиска космических тел.

          • Игорь

            Я хз зачем живу. Меня когда родили не проинформировали о цели.
            А Вы можете рассказать зачем всё-таки эти космические тела нам сдались? Ни один из нас не доживёт до того момента, когда люди туда долетят.

          • Человек который живет только для того чтобы пожрать и поспать, вряд ли сможет понять зачем нужно изучать космос, по этому нет смысла что-то объяснять.

          • Игорь

            А для чего живёт человек, который изучает космос (в который он никогда не попадёт)?
            По мне, так это тоже самое, что смотреть на голых баб на картинках, а самому сидеть девственником.
            Вобщем в космос либо летишь сам, либо нечего заморачиваться.

      • Aleksandr Konosevich

        Разумеется не везде — и на такие случаи пользуют всякие заказные процессоры, программируемые матрицы и т.д. Однако посидеть и крепко подумать над переписыванием алгоритма под распараллеливание даже «per rectum» в итоге оказывается ВЫГОДНЕЕ…

        • Предложи «крепко подумать» конторам, которые до сих пор не используют OpenCL в рендеринге 3d графики для создания спецэффектов фильмов. Будет ли тебе известно, но на OpenCL нет еще ни одного нормального рендера.

    • Да знают «ребятки» про всё. И считают и Einstein и Милку и многое другое на карточках. Но когда машину собирают, то сначала раму, колеса и движок выбирают, а спойлеры и турбонаддув и пр. — потом добавляют.
      Сразу на все не хватит, причем пару карточек нам уже железом жертвуют :)
      Ну и, поскольку мы в первую очередь нацелены на отечественные проекты, то ЦПУ нам важнее. Пока решаемые задачи не очень хорошо ложатся на ГПУ-вычисления. НО все еще впереди.

      • Aleksandr Konosevich

        Когда собирают «машину научную»(tm) — то прежде всего думают об алгоритмах и последующем масштабировании, ибо «железо» — это так, ПЫЛЬ!

        • Вот тут не совсем понял …
          О каких алгоритмах думают, собирая «компик»? Что Вы имели в виду? Про алгоритмы, вероятно, думаю, «сочиняя» программу?
          Ну а масштабировать в пределах возможного нашу систему вполне реально: добавить второй процессор и память, поставить 1-2-3 ГПУ, купить и поставить Xeon Phi наконец …
          И насчет «ПЫЛИ». Мы ж вроде эту «пыль» и собираем — именно железо. И на этой «Пыли» планируем всякие алгоритмы «расПЫЛивать» :)))

          • Aleksandr Konosevich

            Я бы понял, если б авторы, например, попутно сваяли «коробочку-коммутатор SATA», позволяющую в дальнейшем связать крупный кластер на её основе (бенефиты опускаю ;-) Это интересно, этого ЕМНИМС ещё никто так и не сделал — но вот в чём НОВИЗНА буквально «повторять чужие наработки»???

            PS я сомневаюсь, что под эту железяку ребята изобретут какой-нибудь новый алгоритм распараллеливания или напишут свой компилятор/etc…

          • Так тут ничего изобретать не надо. Есть BOINC, есть работающие распределенные ГРИД-системы. Это будет небольшой узел огромной ГРИД-системы.

          • Aleksandr Konosevich

            > Так тут ничего изобретать не надо

            Вот это-то и плохо, IMHO…

          • Егор Рябков

            Ты нашёл с кем в полемику вступать. Коносевича я ещё по ФИДО знаю: https://lurkmore.to/Коносевич

    • UrbanExploration YT

      Дерзкий умник лучше всех знает как можно использовать OpenCL и CUDA… это похвально.

      • Aleksandr Konosevich

        «Дерзкий умник»(tm) как раз немножко занимался в Универе кластерными вычислениями в… мнэээ… сугубо прикладных (brute force 8-) целях…

        • Иди здесь поумничай http://forum.boinc.ru/default.aspx?g=posts&t=947#post30412 расскажешь там как надо действовать.

          • Aleksandr Konosevich

            Я не ищу работу, а милостыню(tm) так вообще не подаю… ;-)

          • Да о чем спор идет? О том что на GPU можно быстро и успешно считать? Так с этим спорить бесполезно, конечно можно и нужно.
            Что не любой алгоритм можно на ГПУ переложить — так об этом знающие люди много говорили, есть там свои ограничения и особенности.
            Конкретно для тех проектов, о которых мы говорим таких приложений пока нет. Но про «видюшки» мы помним, любим их :) и будем использовать в вычислениях.
            Но при этом хорошие и мощные ЦПУ никто не отменял.

          • Aleksandr Konosevich

            Ну, «синьор помидор»(tm) хотел повыёживаться — за что и огрёб половником по лбу. 8-)

            Я, строго говоря, не понял главного — С КАКОЙ КОНЕЧНОЙ ЦЕЛЬЮ весь проект был затеян?

          • Ну, наверное, тем кто в этой «каше» не варится это немного сложно воспринять.
            Есть реальность в виде различных BOINC-проектов, участников, команд, представляющих разные страны. Так сложилось, что возникли статистические сайты, где народ меряется тем кто и сколько насчитал в различных проектах. по сути этим измеряется вклад в тот или иной проект, ну а отдача (польза) от участников не зависит, они не могут влиять на эффективность, кроме как предоставляя большие вычислительные ресурсы.
            Соответственно есть «конкуренция» или спортивная соревновательность среди команд. Вот одна из команд и решила собрать не персональный, а общекомандный мощный вычислительный узел. Этим увеличивается мощность и команды и тех проектов, в которых будет этот узел задействован. Можно было бы сделать маленький «междусобойчик» и пособирать финансы внутри команды (как это сделала 2 года назад команда TSC! Russia, собрав четырехпроцессорный аппарат на Оптеронах). Но вот мы решили попытаться привлечь и сторонние ресурсы, Команда в этом сильно поучаствовала, но открытый краудфандинговый проект это еще и привлечение внимания к добровольным распределенным вычислениям.
            Поэтому конечно какой-то научной новизны тут нет, это однозначно. Но есть надежда, что работа этого узла даст возможность выяснить что-то новое в ходе работы над определенным научным проектом.

          • Aleksandr Konosevich

            Спасибо за столь обширное пояснение, но я не думаю, что вот с таким подходом участников оно куда-нибудь «доплывет», цитирую: «Может всё-таки стоит запустить GPU версию? У меня например видеокарта простаивает, а на зарубежные проекты её загружать не хочу. Тратить деньги на электричество для зарубежного проекта, когда они сволочи показывают такое отношение к нашей стране, нет уж, увольте. А вот для нашего отечественного проекта не жалко и круглосуточно ставить видеокарту.»(C)

          • Так я ж не против.
            На следующей неделе буду участвовать в НСКФ, лично пообщаюсь с организаторами всех (практически) российских проектов и поговорю на эту тему.
            Вот это могу точно обещать :)

          • Как и обещал: встречался, общался. Как результат — есть надежда, что такое приложение будет. Сформировался подход и алгоритм по продолжению поиска латинских квадратов. И этот новый подход вполне может быть реализован на ГПУ. Есть человек, имеющий желание этим заняться. Так что, повторюсь, надежда есть.

          • Roman

            Да, жаль нельзя подписаться на проекты из определенной страны или территории. Можно было бы дать посчитать серверной корее чего, или Крыму например.

          • Половник «Синьора помидора»(tm) может оказаться внутри головы фидошника.
            Может быть стоит еще немножко позаниматься в Универе чтобы понять «с какой целью весь проект был затеян»? Уперся в «GPU версию?»(ц) %~) — сказали тебе четко и ясно, что пока не получается сделать на GPU. Понимаешь? НЕ ПОЛУЧАЕТСО. На CPU можно сделать а на GPU НЕ ПОЛУЧАЕТСО.

            И если тебе «не жалко круглосуточно ставить видеокарту» это как раз и есть «подавание милостыни(tm)» так что определись, любезный.

          • Aleksandr Konosevich

            Картина маслом: «Синьора помидора»(tm) отпинали по помидорам… %~)))

          • Опустевший моск уже не в состоянии отвечать по теме? Остается только воображать «картины», «смияцо» при этом украшая все тупой фидошной символикой ™(c)(r)%~))8-) … поздно вас разморозили, любезный.

          • Aleksandr Konosevich

            «Никогда не спорьте с идиотами. Вы опуститесь до их уровня, где они вас задавят своим опытом.»(С)
            Марк Твен

          • У вас-то опыт больше в этом, вот только спора тут нет. Пытаешься выставить дураками «ребяток» которые типа не знают про вычисления на GPU. Все они знают, придет время, сделают решатель на CUDA или OpenCL.

  • Roman

    О боже, общественный сервер в дата-центре ИППИ РАН
    От этой новости можно впасть в многодневную тоску.
    Нда, достижение конечно аховое. Собрали денех на целый копьютер с Intel Xeon E5-2620v2

    • Да, собрали. Не смотря на то что все вокруг крякают, этот комп будет круглосуточно считать один единственный проект. Когда сделаете свой собственный проект распределенных вычислений, не удивляйтесь, почему вас не пустят на суперкомпьютер Ломоносов.

      • Roman

        А че сложного сделать проект распределенных вычислений? В облаке можно за месяц подготовить и запустить с любым размером. Все делают, главное что бы бюджет выделили.

        Я просто очень удивился что автономные компьютеры все еще применяются в научных расчетах.

        • Расскажи об этом на Национальном суперкомпьютерном форуме, если ничего сложного нет, а нужет только бюджет и один месяц…

  • Andrey Lukyanov

    Может кто подсказать хотя бы один отечественный проект РВ. Много железа простаивает без дела.

Хостинг "ИТ-ГРАД"
© ООО "Компьютерра-Онлайн", 1997-2016
При цитировании и использовании любых материалов ссылка на "Компьютерру" обязательна.
«Партнер Рамблера» Почта защищена сервером "СПАМОРЕЗ" Хостинг "Fornex"