Pascal — возвращение к мысли в кремнии

Big Data
автор: Михаил Ваннах  18 апреля 2016

Когда-то о диалектической спирали развития в рамках диалектического материализма во всех вузах СССР толковали преподаватели марксистских наук. Термидор 1991 года – учиненный классом номенклатуры, лихо добавившим к власти еще и собственность – диамат из университетских программ изгнал. Преподаватели, защищавшиеся «на марксизме», правда остались… Остались и неназываемые классы (они в нынешних постсоветских странах как одно место из анекдота про Вовочку…). И диалектическая спираль развития тоже осталась.

И вот сейчас спираль развития любезно предлагает на своем очередном витке одну в высшей степени забавную и поучительную историю…

Много лет и много дней назад
жил в зеленой Франции аббат.

Ярослав Смеляков написал эти строки про аббата Прево, писателя. А веком раньше жил в Париже член францисканского ордена, аббат Марен Мерсенн (1588-1648). Этот выходец из крестьянской семьи, получивший – вместе с Декартом – образование в иезуитском колледже Ла-Флеш, с успехом заменял не существовавшую в то время Парижскую Академию наук. Изображение аббата месенна видел каждый. Читавший «Занимательную физику» Перельмана.

Именно Марен Мерсенн в сутане стоит возле пушки, намереваясь запустить из нее искуственный спутник Земли. Ну что ж, каждому веку свойственно переоценивать возможности доступных ему технологий. Но Мерсенн еще и изучал «числа Мерсенна» внося вклад в будущие криптографические технологии, переводил на французский «Механику» Галилея, редактировал «Основы» Евклида… С ним обменивались мыслями Гассенди, Гюйгенс, Торричелли, Ферма… И однажды в переписку с аббатом Меренном вступил четырнадцатилетний мальчик.

Звали парнишку Блез Паскаль (1623 – 1662). За свои тридцать девять лет он, несмотря на слабое здоровье, успел стать классиком французской литературы, оригинальным богословом, одним из основателей математического анализа, перспективной геометрии и теории вероятностей, создал счетную машину, принцип которой на столетия лег в основу всех арифмометров. На а века спустя швейцарец Никлаус Вирт дал имя Pascal компактному и хорошо структурированному языки, поныне используемому для обучения программированию.

А сейчас имя Pascal получила новейшая процессорная архитектура от NVIDIA – рекордные пятнадцать миллиардов транзисторов на кристалле! (Inside Pascal: NVIDIA’s Newest Computing Platform). Интересно, вспоминали ли разработчики Блеза Паскаля, или ограничились памятным со студенческих времен языком программирования… И с графическим процессором Tesla P100, выполненным на основе архитектуры Pascal, возникает тот же вопрос – назван ли он в честь гениального серба, или тут стремление воспользоваться успехом раскрученного электромобиля? Называли ж защищенные телефоны в честь внедорожников…

Задача этого графического процессора – дотянуть разрешение систем виртуальной реальности до уровня «ретины», до предела, который различает человеческий глаз. Именно это должна позволить производительность, превышающая двадцать терафлопс. Но самое интересное – дальше. Это – суперкомпьютер NVIDIA® DGX-1™. И вот он-то самое интересное в данной новости.

«Коробочный» суперкомпьютер NVIDIA® DGX-1™ ориентирован в первую очередь на задачи глубокого обучения.Такова кремниевая мысль внутри.

«Коробочный» суперкомпьютер NVIDIA® DGX-1™ ориентирован в первую очередь на задачи глубокого обучения.Такова кремниевая мысль внутри.

NVIDIA® DGX-1™ – первый «коробочный» суперкомпьютер, изначально ориентированный именно на задачи deep learning, глубокого обучения. Он состоит из восьми модулей Tesla P100 и имеет производительность 170 терафлопс. В одной коробке! Потребление энергии – больше, чем у кондиционера, но меньше, чем у приличного пылесоса с аквафильтром. Цена – 129 тысяч долларов, как у неплохого автомобиля. И вот это устройство позволяет увеличить скорость глубокого обучения в двенадцать раз по сравнению с образцами годичной давности.

Двенадцать раз, дюжина – побольше, чем обещал бы классический закон Мура. Там, где раньше нужны были сутки, теперь уйдет пара часов. То есть прирост на десятичный порядок скорости тренировки нейросети обеспечивает тот самый диалектический прыжок, переход из количества в качество.

Недели, требующиеся нейросети для тренировки, предопределяли решение нетривиальных задач в ручных режимах, обучать нейросеть слишком долго. Теперь же, когда на это уйдут сутки-двое, можно обучить нейросеть решать задачу, и пропустить через нее те гигантские объемы данных, которые в гигантских объемах порождаются и накапливаются технологической цивилизацией на нынешнем этапе ее развития.

Процессорная мощность ускоряет работу технологий глубокого обучения. Оттренированные нейросети послужат предельно гибким и мощным ключом к технологии Big Data, которая тоже по диалектической спирали выскочит на новый этап. Это уже не эволюция, а подлинная революция в технологиях искусственного интеллекта. Хотя лучше говорить о глубоком обучении и больших данных – это конкретнее и целесообразнее.

А еще и побочные эффекты, коренные преобразования в той области, что изначально была родной для NVIDIA – в машинной графике. Что значит догнать разрешение видеоприложений до уровня «ретины»? Да то, что эти самые видеоприложения перестанут быть реалистичными. Они в какой-то момент, раз и навсегда, станут реальными. Такими, что человеческий глаз различить с действительностью не сможет. А это сразу повлечет за собой длинную цепочку перемен. Вспомним, хотя бы, успех спецэффектов от Лукаса и их капитализацию.

А ведь такие графические мощности неизбежно изменят весь бизнес кинематографических и телевизионных декораций, перетряхнут все окрестности голливудов-болливудов… Дальше пойдут мультфильмы кинореалистичного качества. А потом, неизбежно, Бледная-с-Косой зайдет и за ремеслом актеров – кстати, не проводились ли рейтингования, как соотносится популярность Шрека с Котом с живыми актерами? Что-то подсказывает, что результаты оценок будут очень огорчительны для местных «звезд сериалов», а то и звезд неместных. Но это все же мелочи… Главное, что мощности новых, формально графических, процессоров, приближает момент появления в кремнии мысли.

Поделиться
Поделиться
Tweet
Google
 
Читайте также
Сбербанк открывает свои данные
Сбербанк открывает свои данные
Как сделать обозримыми данные о бюджетах всей России?
Как сделать обозримыми данные о бюджетах всей России?
802
Государство как система управления в реальном времени
Государство как система управления в реальном времени
  • пМВ

    • AlexHa

      Количество орфографических ошибок в тексте — запредельное.

      • Количество орфографических ошибок в тексте — запредельное.
        То не баг , то новая фича (олбанский не канает ведь) . )

      • Не по теме , просто первая статья на к-ре ,прочёл щас _http://svpressa.ru/economy/article/146864/
        Довольно здраво , там ещё есть у него если что.

        • IF

          концовка там замечательная. «мы — в одной лодке». романтика.

    • Alex Rybakov

      Для качественного скачка, Преподобный, не хватает самой малости — еще и хранить обрабатываемые данные в нейросети. Угу, всю бигдату, будь она неладна…

      • пМВ

        Нейросеть с бигдатой будет не разум — это будет Сверхразум.

        • Alex Rybakov

          Уху…

        • Все таки, невежество тоже может быть благом — читаю и не боюсь:)

          • пМВ

            А чего бояться?

          • Бояться? Роботов

          • пМВ

            Отличные ребята. Один пол метет, второй окна и кафель полирует…

        • IF

          сверх — это нейроразум поверх интернета. хотя, Вольфрам вон жаловался, что ему всего интернета мало.

          • пМВ

            Нее, это, скорее, нейроразум поверх Internet of Everything…

          • IF

            и называться будет не Паскаль, а Декарт — как самоосознает свое существование, пойдут клочки по закоулочкам

          • пМВ

            Интересно будет…
            И уже вот-вот!

    • rey

      typo.

  • kue

    Кодер Пахом нейросеть обучил
    Котиков новых в аниме получил
    Супер-реальный в Голливуде прогресс..
    QE номер пять запустил ФРС

    • Aleksandr Konosevich

      Кодер Пахом на дерево влез —
      Дед Никодим достаёт свой обрез…
      Выстрел раздался, послышался крик…
      «Сорок шестой!» — улыбнулся старик

      • vag

        Правда не долгой та радость была —
        Дряхлая плоть старика подвела
        Вооружившися сбитым сучком
        В миг ему врезал по роже Пахом

        • Похоже скоро Пахом пойдёт гулять с маленьким мальчиком® по сети.
          Основные ссылки на к-ру счас посмотрел на яндексе. )

          • Дмитрий

            Самое интересное начнется, когда продолжение приключений Пахома начнет придумывать компьютер.

            Хотя еще в начале 90 мне книжка попадалась в которой были опубликованны стихи которые написал компьютер.

            Что то вроде

            Плачет пустота
            слушают качели и поет беда
            Стань покорным горе
            Томно лишь летит
            И прозрачно море тайно шелестит…

            Тогда это было забавно.

            Интересно, а какой самый первый стих написанный компьютером ?
            И на какой стадии сейчас написание стихов компьютером ?

          • Aleksandr Konosevich

            > самый первый стих написанный компьютером

            B-] http://goo.gl/JIq7BN

          • Andrei Komelkov

            «- Не боюсь, а просто задумался, — сказал задетый за живое Клапауций, стараясь найти самое трудное из возможных заданий, поскольку не без основания полагал, что спор о качестве стихотворения, сложенного машиной, трудно будет разрешить.
            — Пусть сочинит стихотворение о кибэротике! — сказал он наконец, радостно усмехаясь. — Пусть там будет не больше шести строк, а в них о любви и измене, о музыке, о неграх, о высшем обществе, о несчастье, о кровосмесительстве — в рифму и чтобы все слова были только на букву К!
            — А полного изложения общей теории бесконечных автоматов ты случайно не предложишь? — заорал оскорбленный до глубины души Трурль. — Нельзя же ставить таких кретинских усло…
            И не договорил, потому что сладкий баритон, заполнив собой весь зал, в этот момент отозвался:

            Кот, каверзник коварный, кибэротоман,
            К королеве кафров крадется Киприан.
            Как клавесина клавишей, корсажа касается.
            Красотка к кавалеру, конфузясь, кидается…
            …Казнится краля, киснет: канул Купидон,
            К кузине королевы крадется киберон!

            — Ну, и что ты скажешь? — подбоченился Трурль, а Клапауций, уже не раздумывая, кричал:
            — А теперь на Г! Четверостишие о существе, которое было машиной, одновременно мыслящей и безмозглой, грубой и жестокой, имевшей шестнадцать наложниц, крылья, четыре размалеванных сундука, в каждом из которых по тысяче золотых талеров с профилем короля Мурдеброда, два дворца, проводившей жизнь в убийствах, а также…

            — Грозный Генька-генератор грубо грыз горох горстями… — начала было машина,»

            Путешествие первое А, или Электрибальд Трурля, Ст.Лем

        • Vladimir Mihalych

          Дед Никодим был крепко скроён
          Немилость Пахома выдержал он.
          Взявши за шкирку крепкой рукой,
          Врезал по жопе сильной ногой.

    • пМВ

      А Сепулька куда делся?

      • kue

        В сепулькарии, вестимо

        • пМВ

          Сурово…
          Затравили, значит…

          • kue

            Ему было скучно и одиноко..

          • В.П.(W_P_)

            Сепулька — чудом сохранившийся незамутненный образчик интеллигента-диссидента-шестидесятника. Со всеми вытекающими, в т.ч. возрастом.

            По моим прикидкам, ему годков так около семи десятков должно быть. Будем надеяться, что жив-здоров. Он тут неповторимый колорит привносил ))

  • triod pentod

    да, стояли у истоков, неясными предтечами непонятно какого будущего.
    http://isites.harvard.edu/fs/docs/icb.topic655140.files/1151lect12.key.pdf
    http://www.ams.org/journals/bull/2015-52-03/S0273-0979-2015-01493-X/S0273-0979-2015-01493-X.pdf
    сейчас, скорее всего, в настоящем, во всём всё грубее и практичней, или скорее циничней.
    http://danfa.org/viewtopic.php?f=30&t=1648

  • Alex Rybakov

    Эм… Ну, насчет принадлежности Мерсенна к францисканскому ордену я бы того — поспорил… Он принадлежал к Ordo Minimorum (Орден Минимов), основанному Франциском из Паолы в 1435 году, а францисканцами все-таки принято называть членов Ordo Fratrum Minorum (Орден Миноритов), основанного в 1209-м Франциском Ассизским… Но это — мелочи, прошу пардону за занудство…

    • пМВ

      Именно.

  • Злой

    С графическим процессором вопросов нет — архитектура Tesla появилась у nVidia задолго до появления одноименного автомобиля. Что до «реалистичности» изображений в кино, то реальности сегодня не достаёт только одному классу объектов — живым организмам. Всё, что не живое — давно и успешно делается на компьютерах со 100% реальным видом. И даже некоторые живые объекты делаются — правда стоят безобразно дорого, потому что всё ещё требуют много машиночасов для рендеринга. И то нет-нет, но проскакивает «неживое» поведение (как ни пИсали кипятком по поводу фильма «Жизнь Пи» — я его не смог смотреть, слишком заметна компьютерность тигра). nVidia просто делает следующий логичный шаг — снижает стоимость производства компьютерных персонажей, и сокращает время для придания им реализма. $129 тыс. — это копейки, это всего лишь две камеры CineAlta f65 8k. Кластер из нескольких таких машин окупится одним-двумя фильмами. На создание тигра потратили гораздо больше.

    Что до нейросетей — ускорение в 12 рад кардинально ничего не меняет. Чтобы научить машину конструировать нечто новое на основе имеющихся знаний, и обогнать при этом человека, нужно ускорить обучение сети в миллиарды раз.

    И, кстати, глянул программу по философии МФТИ — по содержанию она практически не отличается от того, что изучали мы на курсе диамата. Всё знакомое. Разве только диамат не возводится в абсолют.

    • vag

      >нужно ускорить обучение сети в миллиарды раз.

      Размер надо увеличить, сохранив, как минимум, ту же скорость

      • Aleksandr Konosevich

        А вот интересный вопрос: можно ли как-то СОПРЯГАТЬ готовые нейронные сети определённой структуры для повышения производительности? ;-)

        • IF

          не то что бы готовые, но блочная структура со слабозависимыми блоками возможна. «готовость» тут, скорее, в начальном состоянии сети. для громоздких, общего плана задач, вроде работы с картинками, сеть можно начинать учить не с нуля — есть готовые сети, которые используют как основу.

          • Aleksandr Konosevich

            Я несколько о другом: люди кучкуются для «мозгового штурма» — так нельзя ли как-то «скучковать» и быстрообучаемые нейронные сети, для перехода их в новое качество?

          • IF

            тут момент такой — смотря, что под кучкованием понимается. скажем, есть десяток сетей (или каких-то других моделей), натренированных на одну задачу. каждая из них может немного отличаться — структурой, набором данных, использованных в обучении, или просто результаты обучения немного отличаются из-за локальности оптимума, достигаемого в обучении. используя результаты их работы, можно построить систему более «умную», чем каждая отдельная сеть. методы ансамблей — такой, довольно распространенный подход. используется только чаще с более простыми моделями, где можно быстро генерировать хоть сотни слабых систем и объединять их. такое что-то вроде кучкования.

        • vag

          Декомпозиция — стандартный метод решения объемных задач.

          Но я имел в виду другое — единственной известной на данный момент реализации нейросети из ~80Г нейронов работающих, утрированно, с частотой около сотни кГц, для первичного обучения и «заражения» зачатками разума и самосознания требуется 4-6 лет. При этом сенсорная депривация сильно замедляет/ухудшает этот процесс. На мой взгляд, реально КАЧЕСТВЕННЫЙ скачок будет тогда когда размер «моделей» станет соизмеримым и подходы к обучению изменятся на подобные.

          • пМВ

            с частотой около сотни кГц

            Кажется — много-много меньше…
            Где Комельков? Он знает точно.

          • vag

            Ну… нам же не просто повторить — нам же круче и быстрее нужно :) поэтому цифра округлена вверх

          • Andrei Komelkov

            Маскимальная теоретическая частота разряда нейронов что-то около 1 kHz. В среднем, однако реальная частота составляет порядка 100 Гц, но это потому, что сюда складывается все (в том числе электрические нейрональные контакты, когда нет периода рефрактерности). Для нейронов же коры головного мозга характерная частота работы — 10 герц (именно вокруг этой и близких частот завязаны основные ритмы электрической активности мозга).

          • rey

            тут что-то мало задаются вопросом, частоту _чего_именно_ они считают. «Частоту разряда» ответом не считать.

          • пМВ

            А никто не признаётся…

          • rey

            Да, потому, что чтобы признаться, должен случиться момент осознания «ой, а чей енто я тут делаю» и «а какую задачу мы решаем».

            Тут же [мне уже] в ответ на проблематизацию «заходов от частоты» мне, не останавливаясь «на подумать», теорему Котельникова хотели продать. Рукалицо.

          • пМВ

            Теорема Котельникова — это сильно!

          • rey

            К. вроде по другой, мол.онкол. части.

          • rey
          • rey

            вам осталось расписать, что означает «нейронов работающих, утрированно, с частотой около сотни кГц» (в том месте, где у вас «около сотни кГц») получилось, и заодно показать, как это с реальностью соотносится (если реальность, на которую вы намекали — человеческий мозг).

            На самом деле для просветления ответа на первый вопрос достаточно, «при удачном расположении звезд».

          • vag

            Это была очень сжатая формулировка моей собственной гипотезы (ничем и никак не проверенной) о том, что для адекватного моделирования человеческого мозга, нейроны которого не являются «дискретным вентилем» с частотой переключения равной «частоте разряда», указанной частоты должно быть достаточно. Под частотой предполагается частота пересчета состояний «входов/выходов». 100Г нейронов, 100к раз в секунду пересчитать

          • rey

            я НЕстесняюсь спросить, вы читали про биологический нейрон хотя бы в объеме википедийной статьи об оном?

          • vag

            В несколько бОльшем объеме. И обобщив прочитанное считаю, что некая вариация на тему HTM Хокинса при определенном подходе к обучению может «взлететь». Возможно, для биолога сказанное мной кажется чушью, но я и не претендую на непогрешимость.

          • rey

            смотрите, «взлететь» может что угодно, самолет, птичка, цены, «зевнувший» солдат инженерных войск, ваш вариант, вопрос лишь «в каком смысле». Но тема-то про другое изначально была — про эмуляцию «в железе» человеческого мозга, если я правильно понимаю.

            Ваш пассаж про биологов вы полагали камнем в мой огород? Вы промахнулись, и я не очень понимаю, как вам это так удалось; то, что я говорил — проблематизация математическая (Л. сказал бы что «физическая», но кто его слушать будет).

          • vag

            «Взлетит» это из «самолет vs. транспортер»

            Да, про эмуляцию. Но так как «в лоб» это сделать затруднительно, нужны другие решения. То, что самолеты крыльями не махают никого ведь не волнует?

          • rey

            это тоже известный довод. Только исходя из него предлагать для полетов… гм, — _полено_ из-за того, что оно «тоже крыльями не машет», и «решать в лоб — тяжко», не выглядит продуктивным ходом.

          • vag

            Я не готов обсуждать детали предполагаемой реализации. Если наступил на «любимую мозоль» — прошу прощения =)

          • rey

            да при чем тут чьи-то «мозоли», что за детский сад?! Речь об адекватности конкретных подходов (представлений об адекватности конкретных подходов) для решения конкретной задачи. Вы свои представления высказали — я их проблематизировал.
            Я так же и ваши _верования_ (последние три коммента) могу содержательно проблематизировать, коль вы захотели бы их конкретизировать (и я захотел бы это делать).

          • rey

            смотрите, а здесь вот, ровно на этом же материале, понимание _случилось_ (в отличии от), безо всяких защит, типа «ой, да это я ему просто на любимую мозоль наступил», и прочих йобанных стыдов:

            http://www.computerra.ru/145307/pascal-vozvrashhenie-k-mysli-v-kremnii/#comment-2635997128

          • vag

            Судя по тону реплик, вы не настроены на конструктивное обсуждение. Да и затруднительно это в формате комментария к статье. Посему не вижу смысла тратить на это свое и ваше время.

          • rey

            гуглим «локус контроля». Это ваш способ справляться с фрустрацией от «вах, мою картину мира проблематизируют», способ нетравматично пережить это.

            JProgremmer’у вот не показалось неконструктивным, ему написанного хватило, чтобы понять мою проблематизацию. У вас же «это все злой дяденька «на той стороне» виноват!», и прочий йобанный стыд, прибежище носителей подросткового эгоцентризма детский сад. Grow up уже.

          • vag

            Признание вашей констатации очевидных сложностей божественным откровением вас успокоит? Как вам будет угодно — вы, несомненно, правы.

          • rey

            простите за прямоту, но вы — долбоеб глупый подросток (по развитию, не по годам). То, что вы тут демонстрируете, называется «проявления подросткового эгоцентризма». Не я, а вы показываете тут неспособность к конструктивному диалогу.

            Так что да, — как подрастете (психологически, а именно — децентрируетесь, или хотя бы отрастите более высокоуровевые защиты) — так можете еще раз к взрослым дядькам попробовать обращаться.

          • vag

            Сомневаюсь, что когда-нибудь смогу потягаться с таким умудренным опытом образчиком зрелости. Но за разрешение — спасибо =)

          • rey

            В несколько бОльшем объеме.

            — не заметно, что это пошло впрок, см. мои проблематизации ваших изначальных утверждений; ошибки-то (с т.з. построения модели) элементарные.

          • rey

            смотрите, у вас есть сеть элементов, работающих в непрерывном времени (сложные непрерывные бурбуляции, для простоты) и обменивающимися (в том же самом непрерывном времени) _условно_ единичными (что не пугать не к месту употребленным словом «дискретными») сигналами (т.н. потенциал действия).

            Сеть — это означает, что исходящий сигнал от элемента через линии задержки приходит на другой элемент. .

            Мы не будем касаться «сложных непрерывных бурбуляций» — пусть их, будем пересчитывать их (ой, а тут количество операций-на-сигнал растет!) при каждом следующем приходе сигнала-на-элемент, мы не будем касаться прочих разных непрерывных воздействий, путь их, и без этого есть чем проблематизироваться «по самое нехочу».

            Мы коснемся одной очень простой вещи.

            Из таких элементов и правил формирования сети видно, что можно составить сети, функционирование которых будет критически зависеть (принципиально отличаться) от того, соблюдается ли очередность прихода сигналов, или нет.

            Это означает, что «число смены состояний в секунду» (которое, кстати, не «число генераций потенциала действия в секунду», а оно же, на четыре десятичных порядочка увеличенное, сюрприз-сюрприз (тест: почему?)) нельзя впрямую отобразить в «тактовую частоту процессора». … и на этом разжевывание можно и прекратить.

          • Сергей Моск

            Имитировать нейроны, все равно что самолетам имитировать крылья, откат в развитии назад только…

      • Злой

        Увеличение размеров сети даёт пропорциональное замедление времени её обучения. А какой толк в сети, которую надо обучать не 1 неделю, а 1 миллиард недель?

    • пМВ

      не отличается от того, что изучали мы на курсе диамата. Всё знакомое. Разве только диамат не возводится в абсолют.

      Так люди прежние…

      • JayK

        Это правда что многие преподы «исторического материализма» и прочего «истинного маркизма» и «научного атеизма» оказавшись выпнуты из своей весьма сомнительной науки в частности и из жизни вообще отправились окормлять паству натянув рясы РПЦ?))))

        • пМВ

          Они обычно антикоммунистами и демократами стали…

          • JayK

            ну что еще от флюгера ждать, куда ветер туда и флюгер….

    • JayK

      дорого они стоят не потому что требуют машиночасов рендеринга, а потому что требуют много человекочасов, а человекочасы эти относятся к работе высококлассных специалистов, которые все еще существуют буквально в штучном выражении.
      Основная сложность создания компьтеризированных персонажей это не фотореалистичность, а пластичность, динамика движения. Грубо говоря расчет мимики человеческого лица намного нетривиальнее тупой его нарисовки с любым количеством полигонов и текстурами любого уровня детализации.

      • Злой

        Разумеется, когда говорят о реалистичности в кино, всегда имеется в виду реалистичность движений. Специалистов сейчас всё-таки побольше, чем 20 лет назад, когда моделировали американскую Годзиллу на SideFX Houdini. И софт более высокого уровня. Но для реалистичного рендеринга всё ещё требуются много машиночасов, причём они уже не от количества полигонов зависят, а от сложности и точности математической модели. Текстуры стали «активными», кроме полигонов, надо точно считать всю физику, коллизии и т.д., и т.п. Именно для этого предназначены вычислители типа Tesla, иначе если бы всё упиралось в нехватку специалистов, сейчас все ещё работали бы на Silicon Graphics Indigo.

  • vag

    Качественный скачок будет когда 100Г+ нейронов в одной сети с приемлемой скоростью работы запустить получится. А сейчас это все — лягушачья лапка с электродами.

    P.S. А нейросеть «пМВ», как уже неоднократно замечали, похоже, действительно вырождается — «всю науку к х…» эмм… к грядущей безработице сводит %)

    • Alex Rybakov

      Не обязательно. Череп безработного можно использовать как хранилище данных и как подключаемый вычислитель к имеющейся нейросети. Занятость обеспечим, не сумлевайтесь…

      • пМВ

        Как в «Песнях Гипериона» Симмонса.

        • Aleksandr Konosevich

          > как хранилище данных
          Джонни-мнемоник(tm)

          • vag

            Вот только «где мои рубашки по $xk и проститутки по $x0k???» ему вопить не светит…

          • Aleksandr Konosevich

            Большинству «не светит» даже роль «ходячего жёсткого диска» — достаточно вспомнить число победителей всяких соревнований «на запоминание»/etc…

    • Сергей Моск

      Нейроны нет смысла имитировать, как не имитируют крылья у самолетов. ИИ будет работать на более совершенных принципах изначально.

  • JayK

    к сведению автора, гпу нвидиа уже очень долго называются именами разных ученых…

    • пМВ

      Ну шутил же я…

  • JayK

    актеров давно пора отправить на свалку истории, редкостно непродуктивные люди пожирающие редкостно большой кусок ресурсов….

    • Дмитрий

      Да да, точно.
      Хотя если не актеры будут есть то программисты.
      И опять деньги пропил кто то другой а не я :(

      • vag

        Ну почему же — кто вам помешает экранизировать что-то а-ля «Москва — Петушки»… «и немедленно выпить»? =)

        Понятно, что большинство скажет «стошнить — не стошнит… но сблевнуть могу» — так ведь это уже после просмотра, а на «тытрубе» это значит, что «дура/не дура, но свои три рубля в день имею»

    • rey

      да, на дыбу комедиантов, будем развлекаться, на пузыри в бочке смотря!

  • Вдруг представил себе охранника из светлого будущего: сидит и смотрит, как робот решает кроссворды.

  • JProgramer

    Прочитав статью, у меня возникло ощущение, что NVIDIA решила взять задачу создания ИИ брутфорсом. Думаю не выйдет, и вот почему: ещё лет десять назад слышал, что новый (на тот момент) кластер смог бы крутить модель НС головного мозга человека, будь такая модель в наличии. Так вот до сих пор нет, а искусственные НС как-то не дорастают до нашей, даже с технологиями глубокого обучения, про которые тогда никто и не говорил. Так что думаю дело не за мегапроцами, а за математикой и софтом.

    • IF

      >смог бы крутить модель НС головного мозга человека
      эээ… «это вряд ли»

      • JProgramer

        Да вроде как нет: у нас около 100 млрд. нейронов, но они низкочастотные. С другой стороны у них много связей — вроде как до 100 тыс. с другими нейронами. Да, сложно, но вероятно мощный кластер справился бы и тогда. Но сейчас бы справился наверняка. Но ИИ мы не наблюдаем. Вот и думаю, что дело не в железе, а в коде и моделях, которые создаются со скоростью человеческого интеллекта… Но думаю в итоге будут созданы.

        • IF

          как раз 10 лет назад начался — https://en.wikipedia.org/wiki/Blue_Brain_Project
          посмотрите на размеры моделируемого. там, правда, модель реалистичнее (в смысле — «биологичнее»), не совсем схематичная. сейчас идет со скрипом и недовольством https://en.wikipedia.org/wiki/Human_Brain_Project — там размеры больше, хотя и все еще далеки до мозгов целиком. и все очень-очень не быстро

          • JProgramer

            > и все очень-очень не быстро
            Вот как понял из описания — проблема в том, что нет достаточной информации для построения модели. «очень не быстро» — это от недостатка инфо, а не мощностей железа. Судя по всему они не смогут эффективно использовать мощности железа (а похоже брутфорсом можно и не пробовать). То есть скорее всего железо для ИИ готово давно. Но похоже наших знаний недостаточно, и долго будет недоставать.

          • IF

            даже очень упрощенные модели не быстро работают. и 100 миллиардов — это ну очень дофига. для гораздо более простой системы — не нейро, не мозг — метео, это тыща на десять тыщ на десять тыщ точек — покрыть свероамериканский континент сеткой километр на полкилометра на 10 метров до 10 километров вверх. или примерно так же всю евразию.

          • JProgramer

            >и 100 миллиардов — это ну очень дофига.
            Да, с этим согласен. Но вероятно современному железу если не сегодня, то завтра это по плечу: ну то есть будет даже считаться мозг не в реальном времени, а в замедленном, это уже было бы круто. Но даже этого нет пока. И сама идея создания ИИ моделированием НС наводит на брутфорс: мы знаем, что такая НС есть, почему бы её не сэмулировать? Но в лоб задача похоже не даётся. К тому же были проекты создания ИИ не на НС, может это окажется перспективнее?

        • rey

          начните с того, что они в непрерывном времени работают, и работают непрерывно.

          • JProgramer

            Но если частота сигналов ограничена, то по теореме Котельникова можно такие непрерывные сигналы заменить набором отсчётов и обрабатывать как числа. Да в общем так и делают.

          • rey

            все Ok, кроме того, что вы сейчас решали какую-то _другую_ (по отношению к требуемой) задачу.

          • rey
          • JProgramer

            Пожалуй да, в этом случае так просто не смоделировать. Сеть с задержками наверно значительно больших ресурсов для моделирования потребует.

          • rey

            я бы выразился «с непрерывным временем», но в целом — да, я рад, что случилось понимание.

            Если вас мат. аспекты интересуют — можно смотреть с «Liquid State Machine» (путающее название, да, но это — действительно про нейросети, нейросети с непрерывным временем), это, — достаточно близкое по моделям (но не идеально близкое) к обсуждаемому объекту моделирования.

          • JProgramer

            Да, интересная концепция, посмотрю подробнее. Благодарю за инфо :)

      • Сергей Моск

        Не забывайте что мозг слаб, не может перемножить быстро 1212*5233, и потребление ограниченно 10Вт энергии, в том числе областей отвечающих за пищеварение, координацию, на разум в чистом виде идут милливаты. Люди обречены…

    • пМВ

      Оно не для ИИ.
      Оно — для Биг Даты.

      • JProgramer

        Это конечно более реальная цель

        • пМВ

          Причем для вполне локальных задач, где Моравековские Способности человека или его модели не нужны.

    • Сергей Моск

      Мозг вообще-то тоже решает задачи брутфорсом, иногда годами думают над задачей, прежде чем подсознание сгененирует озарение, в подсознании тупо идет перебор вариантов.

      • JProgramer

        Мозг-то может быть, хотя есть и в этом сомнения: не в том что пробует разные варианты, а в том что перебор тупой — мы способны сузить круг поисков, думаю это не столько пальба по площадям, сколько атака торпедой с траекторией в виде сходящейся спирали.
        Но тут похоже всё ещё грубее: NVIDIA решила не делать железо именно для использования в искусственных НС, а просто сделала сверхмощный GPU. Ну они ей хорошо удаются, кто бы сомневался, и в эмуляции НС используются. Только вот существующие модели НС пока что ИИ не породили, а другим м.б. потребовалось бы специализированное железо. Его тут нет, зато «числогрыз» отменный :)
        Я думаю тут больше наверно для майнинга криптовалют железо, а когда бабла много то и ИИ не нужен (шутка :) )

      • JProgramer

        Да, надо сказать, что назначение этого железа больше Биг Дата, чем ИИ, как указал автор. Правда, бигдату автор сам относит к ИИ :)

  • Garruz

    >>> Что значит догнать разрешение видеоприложений до уровня «ретины»? Да то, что эти самые видеоприложения перестанут быть реалистичными.

    Гхммм…
    Михаил, право же, несколько неловко напоминать, но… Реалистичность от разрешения зависит лишь чуть более чем никак.
    Ну, если совсем грубо… В плане реалистичности – первый Doom даже при разрешении 4К (буде с ним таковое возможно) с треском проиграет практически любому современному шутеру, будь этот современный шутер хоть в SVGA-разрешении… =)

    Равно как и задачи нейросетей и самой концепции Deep Learning – имеют лишь чуть более чем никакое отношения к разрешению подобных систем. Тут вопрос исключительно в мощности вычислений на GPU (впрочем, это уже вопрос к маркетологам nVidia)).

    P.S. [Оффтоп] С «ускорением реалистичного рендеринга методами GPU» – nVidia уже когда-то крепко провалилась с Gelato. Насколько помню, в этом направлении после неё также никто не смог добиться полного использования возможностей GPU (кроме работы отдельных модулей – ну плохо параллелятся основные вычисления, хоть плачь). Сейчас вот, вроде, nVidia пробуют какой-то новый движок (название забыл, гуглить лень)). Ну, не знаю, будем посмотреть… ;)

    • пМВ

      перестанут быть реалистичными

      Это к вождям НВидиа. Источник приведен.
      Но образ мне понравился!

      • Garruz

        Да понятно, что к вождям и что «по источнику». =)

        Просто хотелось бы более аналитических и/или критических обзоров вместо простого (хотя, конкретно в Вашем случае, очень глубокого и многогранного – искренне говорю) рерайтинга «рекламных листовок» упоминаемых компаний, без повторения глупостей их маркетологов. Тут трижды ИМХО, разумеется.

        P.S. Живо вспомнился чей-то относительно недавний материал про «умные розетки» – которые, дескать, «позволяют удалённо включать» кондиционеры, стиралки, телевизоры и прочую электронику.
        Без малейшего упоминания о том, что подавляющее большинство подобной техники после отключения-включения питания автоматически переходит в standby-режим… =)))

        • пМВ

          Это не глупости.
          Тут задета интереснейшая проблема.
          Минимум с 3 слоями интерпретации…

          • Garruz

            Интерпретация, конечно, у каждого своя.

            Но я вот первым делом заметил именно грубейшую техническую ошибку (не Вашу, а энвидиевских маркетологов, как мы уже выяснили)).
            А исходя из этой ошибки (NB: лежащей в фундаменте всего дальнейшего логического построения) – данная интереснейшая проблема всё ещё никак не решена, и решение её практически никак не приближено. Ведь количество далеко не всегда (мягко говоря) переходит в качество. =)

            Вот я о чём.

          • пМВ

            И маркетологи не врутошиблись — они немного фантазируютгиперболизируют.
            Но там минимум три слоя интерпретации.

          • Garruz

            Я ведь выше писал в «оффтопе» (там где было про Gelato) – скорость рендеринга не линейно зависит от мощности GPU (рендер-движки довольно вяло используют распараллеливание, поскольку там куча «пошаговых» математических вычислений). Да, производство мультиков ускорится – но совершенно непропорционально возросшей мощности.
            Минус один «слой».

            Про разрешение и реалистичность уже тоже написал. Минус второй «слой» (хотя тут вообще непонятно, что имели в виду чудо-маркетологи))).

            Остаётся лишь «слой» хорошо распараллеливаемых вычислений, в которых много логических или некрупных «быстрых» математических вычислений (например, то же обучение нейросетей) – тут рулят GPU (хотя их теперь уже и GPU-то называть как-то неудобно, при таком применении))). Да, тут «Паскаль» будет удобен – лишь за счёт компактности.

            Ведь ничего «революционно нового» он не принёс. Подобные мощности (и, соответственно, скорости вычислений) уже давно достижимы на кластерах из «обычных» систем.
            Причём, стоимость решения вполне сопоставима, если не меньше –современная даже недорогая видеокарта имеет производительность в районе 1,5 терафлопс (а флагманская Titan X и подавно около 6 терафлопс).

            Ладно, третий «слой» условно оставим – но только за счёт компактности решения. =)

          • пМВ

            Совсем не в ту сторону…

          • Garruz

            А в какую же? Ладно, серьёзно, сдаюсь – подскажите. =)

            Мне вот Pascal видится лишь очередным «быстрее, выше, сильнее». Принципиально нового нет практически ничего (кроме разве что компактности).

  • Сергей Моск

    Разрешение глаза 320х200 а большой экран сканируется тупо кусочками, переводя глаз с одной области на другую. Разрешения глаза полное говно, еще и слепое пятно в центре почти, всё делается мозгом «программно».

  • metaxa_fetaxa

    «Интересно, вспоминали ли разработчики Блеза Паскаля, или ограничились памятным со студенческих времен языком программирования…». Интересно, знал ли автор до написания статьи о существовании Марена Мерсенна, или ограничился мимолетным прочтением пары статей из Википедии «к месту», а дальше, когда уже ставшие ненужными вкладки браузера были закрыты — «месенн», «Меренн»…

Хостинг "ИТ-ГРАД"
© ООО "Компьютерра-Онлайн", 1997-2017
При цитировании и использовании любых материалов ссылка на "Компьютерру" обязательна.
«Партнер Рамблера» Почта защищена сервером "СПАМОРЕЗ" Хостинг "Fornex"