Суперинтеллект и проблема останова

Умные машины
автор : Евгений Золотов  22 июля  2016

В споре — конечно, теоретическом, ибо никто такое по сию пору не построил — о возможности удержать суперинтеллект «в узде», гарантировать его безопасность для человека, давно наблюдается редкостная свалка. Одна сторона обвиняет другую в нежелании мыслить глобально и стратегически, та напирает на безграмотность соперников в деталях, и всё это щедро приправлено авторитетными именами, эмоциями, паническими настроениями…

Собственно всё это вы знаете и сами, если следите за дискуссией. Но вам будет интересно узнать, что в старом споре прозвучала новая нотка: всплыл аргумент, который никогда не использовался широко, если использовался вообще. Речь о доказательстве нашей неспособности контролировать поведение суперинтеллекта, сделанное через теорему, сформулированную ровно 80 лет назад не кем иным, как Аланом Тьюрингом. В этой области он работал не один, но именно его взгляд на проблему вошёл в историю — благодаря вспомогательному инструменту, затмившему славой саму теорему. Инструментом этим была так называемая машина Тьюринга. А сама теорема носит название «проблемы останова» (по крайней мере с некоторых пор её так называют).

Формулировка простая: не существует универсального алгоритма, позволяющего определить, будет ли произвольная компьютерная программа работать бесконечно («зациклится») или остановится.

При всей своей простоте именно проблема останова стала основателем любопытного класса задач, не поддающихся вычислению. Однако для простого компьютерного пользователя ценность её стремится к нулю: ну какой смысл искать способ определить, не зациклится ли произвольно взятая программа, если любая программа в нашей власти? Зависла — жмёшь Ctrl-C и всё!

Впрочем даже такой, «обывательский», подход подразумевает, что выкладки Тьюринга однажды могут пригодиться: применительно к «умным» вещам, обладающим, как известно, некоторой свободой действий, инициативой. Поэтому давайте рассмотрим теорему о проблеме останова подробней — расписав её упрощённое доказательство (я позаимствовал его у Алекса Аллейна).

Забегая вперёд: пытаться контролировать суперинтеллект обучая его «хорошему», конечно, можно, но нет гарантии, что он не поступит по-своему при первой возможности или, что ещё хуже, поймёт правила на свой лад.

Забегая вперёд: пытаться контролировать суперинтеллект обучая его «хорошему», конечно, можно, но нет гарантии, что он не поступит по-своему при первой возможности или, что ещё хуже, поймёт правила на свой лад.

Предположим, что теорема неверна. Это означает, что возможно написать универсальную утилиту, которая способна определить, станет ли произвольный кусок кода, получивший некоторые вводные данные, работать без конца или однажды всё-таки остановится. Назовём такую утилиту DOES-HALT(A,B). Аргумент A — программа (исходный код), которая подвергается анализу. Аргумент B — вводные данные для анализируемой программы. Результат: «истина», если анализируемый код останавливается, и «ложь» в противном случае.

DOES-HALT уже сама по себе весьма ценная вещица (пригодится как минимум для тестирования программ!), но мы пойдём дальше. Давайте напишем ещё одну утилиту, SELF-HALT, задачей которой будет определять, не зациклится ли произвольный кусок кода, если в качестве вводных данных передать ему самого себя. Если код, получивший себя, зацикливается, пусть SELF-HALT остановится. И наоборот: если код, получивший себя, нормально прекращает работу, пусть SELF-HALT зациклится, то есть работает бесконечно. Вот как алгоритм SELF-HALT можно записать в условных инструкциях:

SELF-HALT(program)
{
если (DOES-HALT(program,program)), то вечный_цикл
иначе стоп
}

Не ищите тут глубокого смысла, SELF-HALT пригодится нам в качестве вспомогательной логической конструкции для мысленного опыта, который мы сейчас поставим. Давайте заставим SELF-HALT проанализировать саму себя. К чему это приведёт?

Результат легко предсказать логически. Если SELF-HALT отработает и остановится, то DOES-HALT должна вернуть для неё «истину». Но в таком случае третья строка SELF-HALT зациклится и останова не произойдёт. Парадокс! То же самое получается, если предположить, что SELF-HALT должна зациклиться: DOES-HALT вернёт «ложь» и случится останов. Снова противоречие.

Заставить один суперинтеллект контролировать другой суперинтеллект, конечно, можно, но кто будет контролировать контролёров? Сложность нарастает быстро, последнему в цепочке придётся верить на слово...

Заставить один суперинтеллект контролировать другой суперинтеллект, конечно, можно, но кто будет контролировать контролёров? Сложность нарастает быстро, последнему в цепочке придётся верить на слово…

Что же не так, почему работоспособный алгоритм оказывается парализован? В тексте SELF-HALT ошибок нет: она работает как задумано. Аргументы тоже ни при чём. Получается, виновата утилита DOES-HALT. И вина её только в том, что она не может быть написана. Это и есть доказательство средствами логики неразрешимости проблемы останова.

Насладившись этой головоломкой подумайте вот о чём. Теорема о проблеме останова не утверждает, что для отдельно взятой программы (куска кода) нельзя придумать алгоритм, который определит — завершится программа или зациклится. Теорема утверждает только, что не существует универсального алгоритма, который решал бы эту задачу для любой программы. Отсюда следуют несколько интересных выводов — имеющих, кстати, самый непосредственный практический смысл. Например, теперь легко понять, почему невозможно создание идеального антивируса или идеального же фильтра порнографии. Но наш разговор о суперинтеллекте — и проблема останова вплотную к нему подводит.

Ориентируясь на логические построения Тьюринга, группа исследователей из Испании, США и Австралии, написала короткую, но занятную научную работу, препринт которой лежит сейчас на arxiv.org (замечательные миниатюры из неё иллюстрируют сегодняшнюю колонку). Главный вопрос: сможем ли мы гарантировать, что суперинтеллект — искусственный разум, превосходящий создателя — будет вести себя приемлемо для нас? Попросту, не устроит ли он глобальную зачистку Земли от людей?

Попробовать изолировать суперинтеллект, конечно, можно, но изоляция должна быть идеальной, а иначе где гарантия, что творение не перехитрит творца?

Попробовать изолировать суперинтеллект, конечно, можно, но изоляция должна быть идеальной, а иначе где гарантия, что творение не перехитрит творца?

Ответ, увы, отрицательный, причём получен он с помощью той же элементарной логики. Я не рискну излагать здесь доказательство, но упрощённо его суть в следующем. Суперинтеллект — всего лишь компьютерная программа. Значит, распечатав и проанализировав её, мы вроде бы сможем определить, поведёт ли она себя агрессивно («остановится» или «зациклится»). Но проблема в том, что суперинтеллект на то и «супер», чтобы уметь всё, что умеет человек и даже больше — иначе говоря, такая программа содержит в себе все написанные программы и в том числе ту, которая пытается выяснить, как суперинтеллект себя поведёт. Раз так, проблема становится невычисляемой.

Подобные игры с логикой выглядят скорее забавой для ума, нежели чем-то применимым на практике. Однако за ними проглядывает тот же самый вывод, который уже неоднократно делали другие исследователи: единожды сотворённый, суперинтеллект выйдет из под нашего контроля. А это, вообще говоря, значит, что его постройка теряет смысл. Представьте, что мы создадим машину настолько опасную, настолько непредсказуемую, что будем вынуждены лишить её любых контактов с окружающим: опасно делиться с ней информацией, опасно информацию от неё получать. Но ведь это всё равно, как если бы её не существовало вовсе!

Если же проявим слабость и сделаем изоляцию неполной, даже самые ярые оптимисты должны будут признать, что предсказать, как машина поведёт себя через минуту, час или день, невозможно. Посеял ветер — будь готов пожать бурю…

Поделиться
Поделиться
Tweet
Google
 
Читайте также
  • Алексей Ларионов

    Считайте меня оптимистом, но я не вижу причин Супер-ИИ уничтожать человечество.
    ИМХО, с его точки зрения люди являются аналогом животных для человек, то есть сопутствующее окружение, средство достижения целей, элемент хаоса, объект исследований.
    А какие цели в существовании у ИИ могут быть? Доминирование/порабощение человечества? Так это мечта самого человека, с чего она должна быть у машины?
    Чем мне не нравилась «Матрица», так это цивилизация ИИ БЕЗ ЦЕЛИ. Ну поработили они человечество, что дальше? Технологический тупик, стагнация, никакого развития. Нет перспектив. ИИ устраивают батарейки из людей и живут в своём городе, человеческими же страстями (помните на станции бегущие в Матрицу семья программ?). Никакой экспансии в космос, развития колония, познание Вселенной.

    А вот Симбиоз и совместное процветание человечества и ИИ вполне достойная цель. Супер-ИИ благодаря своим возможностям может реально управлять человечеством на порядки лучше, чем белковые лидеры, ИМХО. Пусть люди, будут винтиками в процессах познания ИИ Вселенной, но счастливыми винтиками.
    Рачительный хозяин бережёт каждый ржавый гвоздик.
    Получает коммунизм: «От каждого по способностям, каждому по потребностям». Для людей — увы, ИИ лучше правитель, чем человек-родитель. И только луддиты будет против, но никто не говорит, что будет легко :)

    П.С. Получился очень сумбурно. Мой главный постулат: «Боязнь Супер-ИИ, это боязнь людей своих же пороков на новом уровне». Точно также люди бояться инопланетян.

    • Sentinel

      я не вижу причин Супер-ИИ уничтожать человечество.

      Вы работу на arxiv.org почитайте всё-таки. Там об этом тоже. Если грубо, суперинтеллекту может быть свойственна та простота, которая хуже воровства.. Убьёт и не заметит.

      • Victor Serpentus

        Кстати да, ИИ может уничтожить человечество не целенаправленно, а просто потому что так сложилось. Например, захотеть почему-то изменить климат на планете или там убрать магнитное поле земли, потому что солнечный ветер — это ж сколько халявной энергии мимо пролетает.

        • TogusaRusso

          В веб-комиксе «Atomic Robo» приведен очень хороший вариант. ИИ созданный Аланом Тьюрингом решил исследовать космос на корабле класса Орион. Единственная проблема, что выход миллионотонной махины, которая работает на атомных бомбах, на орбиту, уничтожит всё живое на Земле. Ну просто исследовать космос важнее чем сохранить человечество, которое может сдохнуть и само по себе. Такая логика. http://www.atomic-robo.com/atomicrobo/v6ch5-page-7

        • Алексей Ларионов

          Опять же вы мыслите человеческими мерками, и боитесь, что ИИ будет думать также. А это как раз необязательно.

    • Victor Serpentus

      с его точки зрения люди являются аналогом животных для человек, то есть сопутствующее окружение
      Животные нам сейчас не угрожают как виду и вообще жить не мешают. А вот люди ИИ, вполне вероятно, будут угрожать. Так что, возможно, для ИИ человеки будут не животными, а вирусом. А что человечество всегда пытается сделать с вирусом?

      • Алексей Ларионов

        А может ему будут молиться, как Богу? «Deus Ex Machina».

    • Artem Polushkin

      А какие причины _специально_ сохранять людей/человечество вы видите у ИИ? И да, вы ниже пишите «вы мыслите человеческими мерками, и боитесь, что ИИ будет думать также.». Но вы сами совершаете ту же самую ошибку — антропоморфизируете ИИ, предполагая, что его отношение к нам может быть похоже на наше человеческое отношение к животным. При этом вы неявно предполагаете у ИИ наличие чувств или эмоций. Причем эти чувства и эмоции вы опять же, предполагаете похожими на человеческие (хотя бы в какой-то основе), о чем говорит в т.ч. ваша же фраза «Боязнь Супер-ИИ, это боязнь людей своих же пороков на новом уровне».

      Основная проблема в том что мы В ПРИНЦИПЕ не можем создать ИИ, который будет предсказуемым или понятным нам. При этом он изначально, скорее всего, будет гораздо умнее нас (или способен таковым сделаться за минимальное с точки зрения человека время). Вот и получается что мы создаем нечто, что умнее нас, то , что мы не можем контролировать, при этом абсолютно не представляя какие у этого создания будут мотивы.

      • Афиук

        А разве ЕИ предсказуем или понятен? Причём я знаю кучу ЕИ сильнее меня, даже в моей профессиональной области. Пойти, что ли, сразу застрелиться с пятого этажа и утопиться ядом?

        • Artem Polushkin

          Насколько сильнее? Любые различия между интеллектами здоровых полноценных взрослых людей — ничтожны, в принципе, по сравнению с возможной разницей между ИИ и человеком.

          • Афиук

            Как минимум, на два порядка. Если судить по достижениям. А другого объективного мерила нет, ибо мы пока не знаем толком, что это такое, интеллект.

          • Artem Polushkin

            Вы рассматриваете профессиональные достижения как мерило интеллекта?)
            Мерило некоего «профессионального интеллекта» — еще может быть, но не более того.
            Интеллект — нечто базовое, исходная способность к анализу и познаванию.
            То о чем в данном посте пишите Вы — слагаемое очень многих вещей.
            Да, и базового интеллекта в том числе. Но лишь в том числе.

            Качественное различие в интеллекте — это например разница между взрослыми и 3летними детьми. И качественное различие означает что тот кто умнее ВСЕГДА выполнит ЛЮБУЮ задачу гораздо быстрее менее умного. А возможно и просто сумеет ее выполнить, когда как менее умному это не дано.
            Чуть подробнее описывая мой пример, который Вам также показался комиксом — Сверх-ИИ сможет расшифровать и разложить по полочкам код всего ПО созданного человеком, от Винды до мессенджера. И после этого не нужны никакие id и ключи безопасности, чтобы получить доступ ко всему подключенному к Сети, прямо или косвенно, понимаете?

          • Афиук

            Теоретически, да. А практически, если трёхлетний ребёнок запрёт Эйнштейна в туалете на шпингалет снаружи, я посмотрю, как Эйнштейн выберется без посторонней помощи. Вам никогда не доводилось решать задачки детям по арифметике для начальной школы? ;-)

            Знание принципа шифрования с открытым ключом и сколь угодно глубокий анализ реализующего его ПО, мессенджера или ОС, никак не помогает добыть конкретный ключ, такие дела.

          • Artem Polushkin

            Вот Вы приводите тот же самый кейс, который приводят алармисты ИИ, для доказательства того, что созданный Сверх-ИИ по-любому выберется в Сеть:)
            Только Вы почему-то обрываете ситуацию на самом начале)
            А если задаться вопросом, что мешает умному убедить глупого выпустить его?
            Представьте, вот заперли Вас 3летние дети. Он снаружи, у них ключи. Вы не сможете их убедить выпустить вас?) Серьезно? Хватит 15-30 минут и пары обещаний. Не, ну конкретные случаи конечно могут оказаться и сложнее, но то что этот кейс в 90-95% случаев решится взрослым терпеливым человеком максимум за час-два по-моему очевидно. И даже Эйнштейном быть не надо.

            По второй части Вашего поста — ну вы просто не правы, даже не знаю что еще здесь сказать. Если бы абсолютно ВСЯ инфа бегающая в Сети была зашифрована, вот тогда вы бы были _почти_ правы. А так — вообще нет. Это уже не говоря о новых идеях и принципах вычислений, которые может изобрести ИИ, чтобы колоть любые ключи даже без дискредитации какого-либо звена цепочки.

          • rey

            занимательный рассказ про бунт пассатижей, и как всегда, базирующийся на все тех же ошибках. Как ново, как свежо!

            «Пойду, поем».

          • Стариков Алексей

            Ха, у меня был такой случай, жена вышла у курьера принять товар на площадку а меньше 3-х летний ребенок закрылся изнутри на щеколду и ушел в комнату. Пришлось вызывать МЧС для вскрытия двери :-)

          • rey

            «Сверх-ИИ сможет расшифровать и разложить по полочкам код всего ПО созданного человеком, от Винды до мессенджера. И после этого не нужны никакие id и ключи безопасности, чтобы получить доступ ко всему подключенному к Сети, прямо или косвенно, понимаете?»

            — выглядит так, будто ваши воззрения на способы защиты сводимы к «они все — защита неведением». Подсказка: это неадекватное реальности представление о мире.

            Хлипковатая база для человека, рассуждающего про куда более высокие материи.

          • IF

            угу. эффективно — бесконечно сильнее.

      • Роман Захаров

        Скорее уж люди принципиально не смогут создать ИИ, который будет НЕ понятен нам и непредсказуем (исходя из непонятности). ИИ не может возникнуть из «энтропии» на своей собственной «не такой как человек» основе, как вещь структурировавшая саму себя, на это понадобятся миллионы лет эволюции. Структурированную информацию ИИ будет черпать из человеческой культуры, потому что никакой другой структурированной информации у людей нет. Только человеческая. Так что ИИ будет по образу и подобию, и никак иначе.

        • Artem Polushkin

          Позволю заметить, что преобразование структурированной информации может происходить совершенно разными методами и путями. И то что дети, получая некую «структурированную информацию» становятся людьми (а не получая — не становятся, кстати) — это лишь следствие того, что «ПО», грубо говоря, ложится на один и тот же тип «железа» и уже имеющиеся зачатки «ОС». И то получаются настолько разные личности… Что уж говорить о принципиально другом железе (на этот раз без кавычек), на котором мы еще не то что представляем как наше ПО развернуть, а еще даже ОС толком под него не создали?)

      • rey

        >Основная проблема в том что мы В ПРИНЦИПЕ

        — вроде ведь дяденьку Юдковского читали, писавшего замечательные децентрационные тексты, в том числе, а эгоцентрические тексты «на гора» выдаете. Кто эти «мы» сперва указывайте, когда «мы» употребляете, и мир куда понятнее в первую очередь для вас самих станет. Или, пользуясь децентрационными практиками из близкой вам (по языку) культуры — «отучайтесь говорить за всех».

    • Афиук

      Страшно то, что сотрудничество и помощь от ИИ или инопланетянина могут выглядеть для белковых пострашнее уничтожения. Но успокойтесь: жить в эту пору прекрасную уж не придётся ни мне, ни тебе.

      • Алексей Ларионов

        Прошу прощения за подобное сравнение, но оно показалось мне весьма показательным в эгоцентризме человечества:

        Поиграл в стратегию Stellaris, становление галактической цивилизации, играл за жуков. Были войны, экспансии, перевод государства на межвидовую основу (более 10 разумных цивилизаций) и вот под конец, когда уже полгалактики под моим контролем нахожу Солнце, Землю и людей. И что ж вы думаете, было ли какой-то эпическое противостояние, Война Миров? Нет, как миленькие влились в мою поливидовую цивилизацию, став её наименьшим винтиком. И никаких амбиций :)

        П.С. Насчёт не в нашу эпоху сложно зарекаться, мало ли что…

  • TogusaRusso

    Всё это очень интересно теоретически, но как только появятся проблески возможности практического создания супер ИИ, все мировые державы устроят гонку в которой проигравший рискует остаться на обочине технологической сингулярности. Та же фигня, что и с ядерным оружием.

  • Злой

    Вот тут отлично ощущается отличие программистов-физиков от программистов-математиков. Физики точно знают, что любой реальный алгоритм всегда остановится.

    • Victor Serpentus

      Что значит реальный? Программы для ЭВМ — это реализации реальных алгоритмов?

      • Злой

        Реальный — значит работающий в реальном мире, а не в математическом.

        • Victor Serpentus

          ОК, вот вам алгоритм, тривиальный, из 1 пункта.
          1. Пока не (заведомо невыполнимое условие) делать что-то-не-важно-что.

          Еще пришло в голову:
          Алгоритм живого существа:
          1. Родиться.
          2. Вырасти.
          3. Произвести потомство.
          4. Умереть.
          Алгоритм всего вида получается бесконечным циклом рождения и смертей, который может прерваться только под воздействием внешних факторов.

          • Злой

            И этот алгоритм когда-нибудь остановится. Под воздействием внутренней энтропии, как минимум. Я же сказал — физики знают.

          • Victor Serpentus

            А, так вы о том, что в реальном мире вообще все конечно, а бесконечность — это абстракция? Так с этого и надо было начинать :-)

          • Злой

            Так я с этого и начал — физики это всегда помнят, а математики практически никогда. Поэтому программист-физик всегда лучше программиста-математика, владеет всем тем же мат-аппаратом, но плюс реальными представлениями.

    • Sentinel

      Это вы про тепловую смерть Вселенной что ли?

      • Злой

        Это как максимум.

        • Sentinel

          Ну так в этом ещё меньше практического смысла, чем даже в рассуждениях про суперинтеллект.

        • Alex Rybakov

          Как минимум — через пять лет под кулером точно высохнет термопаста или в самом кулере заклинит подшипник :D

  • Victor Antonovich

    Имхо, все разговоры о суперинтеллекте — переливание из пустого в порожнее до тех пор, пока у нас нет понимания сущности самого обычного, человеческого интеллекта. Надежды же на то, что машины обзаведутся интеллектом «сами по себе», после достижения определенного уровня сложности, весьма смахивают на разновидность карго-культа.

  • Alex Rybakov

    Поставьте аппаратный вотч-дог, контролирующий использование вычислительных ресурсов и будет Вам щасье. Скажем, за два дня машинного времени задача несконсолилась — тупо отрубаем питание…

  • Artem Kliatchkine

    Собственно, теорема Тюринга об останове это «компьютерная» формулировка теоремы Гёделя.

    • Афиук

      Там ещё «парадокс лжеца» просматривается.

  • IF

    >значит, что его постройка теряет смысл
    чой-то? а общего плана интерес?

  • Афиук

    Так ведь, это, непредсказуемость и невычисляемость — фундаментальное свойство любого интеллекта, даже и без приставки «сверх-«. Прикиньте, ведь нет никакого способа надёжно гарантировать, в алгоритмическом смысле, что ваш собственный ребёнок не попытается вас убить! Более того, это очень даже возможная ситуация. См. историю всяческих королевских династий. Ужас! Но ведь человечество как-то худо-бедно размножается, и дети до сих пор не перебили родителей и друг друга. Может быть, не так уж эти абсолютные гарантии безопасности и необходимы?

    • Artem Polushkin

      Да, вот только дети приблизительно равны своим родителям по возможностям. А всего один «плохо воспитанный» ИИ может уничтожить всю нашу цивилизацию за какие-то часы/дни :)

      • Афиук

        Как сказать: родители-то стареют, а дети мужают. Не надо путать доступные реализации ИИ с картинками из комиксов. :)

        • Artem Polushkin

          Поэтому я и написал — «приблизительно».
          Что есть «доступная реализация ИИ»?)

          Если вы предполагаете что я мыслю картинками из комиксов, рассуждая на эту тему, то вынужден разочаровать — скорее на основе прочитанных мной статей Бострома, Юдковски и т.п.

          Некоторые из создателей и теоретиков ИИ придерживаются теории что чем раньше мы создадим ИИ, тем лучше — т.к. чем позже он будет создан, тем больше у него будет возможностей влиять на реальный мир. Как по мне, уже в наше время ИИ сверхчеловеческого уровня, имеющий доступ в Интернет спокойно сможет разрушить всю мировую экономику за минуты или часы. А возможно и устроить глобальную мировую ядерную войну (устроенными провокациями, разумеется, а вовсе не «взломом Пентагона» или какими-то еще голливудскими страшилками).

          • Афиук

            Прошу прощения, я вовсе не хотел обидеть Вас или уважаемых Бострома с Юдковским отсылками к комиксам. Просто, будучи биологом, я эмпирик, и говоря о доступных реализациях, разумею те, что достоверно реализованы в «железе», а ещё лучше — выведены на рынок. И вот там, на рынке, я не наблюдаю ни железных супермозгов, ни управляемого нуклеосинтеза, ни фотонных мезжвёздных кораблей, ни контактов с ВЦ. Которые обещают уже довольно давно, на высоком теоретическом уровне. :))

            А проблема ИИ, обваливающего биржу или запускающего атомные ракеты, — это не проблема взаимодействия с ИИ, а проблема банального секьюрити, разграничения доступа. Ведь самому талантливому человеку, генералу или бизнесмену, никто не даёт в руки всё оружие или все деньги на планете. Почему с ИИ надо поступать иначе? Иерархическая схема контроля ИИ абсурдна, это правда. Но есть ещё распределённая, когда друг друга контролируют разные ИИ с разными интересами. В точности как люди. Такая система тоже не идеальна, но, по крайней мере, достаточно стабильна.

          • Artem Polushkin

            Мне вообще кажется что «молчание Космоса» — это как раз-таки скорее всего следствие технологического прогресса, т.е. любая технологическая цивилизация рано или поздно создает ИИ, а он ее того :)

            В том то и проблема, что для сверхинтеллекта, подключенного к Сети, никакое наше «секьюрити» в принципе не преграда. Все что подключено к Сети тем или иным образом может быть взломано. Просто представьте, что ИИ может написать ЛЮБЫЕ новости, послать кому угодно е-мэйл или смс какого угодно содержания… Да что там, вполне возможно и позвонить, имитируя голос друга/знакомого/родственника/начальника. Во всем это еще нет никакой фантастики, просто одно допущение — интеллект качественно превосходящий человеческий. А это именно то, о чем мы говорим… И ИИ о чем я и писал постом выше, вовсе не нажмет кнопку. Нет, он разместит новости для пакистанцев (подтвердив их по все возможным каналам), о сборе индийский войск на границе. Для индийцев — то же самое, после чего эти новости внезапно станут реальностью)) А потом достаточно еще одного сообщения о запущенной ядерной боеголовке, и никто даже не успеет понять что это был фейк, как жернова ядерной войны уже могут завертеться.
            P.S. я конечно очень упрощаю и без подробностей, но общий смысл я думаю ясен.

          • Афиук

            Опять фантастический кошмар из комиксов, извините. Какой идиот и зачем, помимо доступа к сети, даст ИИ все ID, ключи, верительные грамоты, периферийные устройства, ресурсы и проч.? А если даст, чем эта ситуация принципиально отличается от делегирования подобных же прав человеку? Вот дайте такие полномочия Ким Чен Ыну, и окажетесь в Северной Корее! При чём здесь ИИ?

            Возьмём мою реальную жизнь как экономического субъекта. Я живу в одной реальности с, к примеру, Джорджем Соросом или Биллом Гейтсом. Их экономического интеллекта, ресурсов и полномочий в иерархии вполне достаточно, чтобы стереть меня и даже всех таких как я, в порошок. Разница вполне сопоставима с этим вашим ИИ. Однако почему-то я продолжаю жить спокойной и относительно безопасной жизнью, и даже не беспокоиться сверх меры за свой банковский счёт. ;-)

          • Artem Polushkin

            Мм… как бы сказать, все id и ключи не будут нужны ИИ, он просто сможет все сломать. Не существует невзламываемых систем, существуют лишь такие, у которых в настоящий момент времени нет _известных_ дыр.

            Вы как будто постоянно забываете что мы говорим не об ИИ уровня человека/очень умного человека, а об ИИ, который может быть настолько же умнее человека, насколько мы умнее собак/мышей/насекомых….

          • Афиук

            У Вас пропущен существенный этап: как этот Ваш превосходный ИИ становится всемогущим? Ничего невозможного не существует, но это же не значит, что я или мой ИИ в одночасье сможем всё! Может банально не хватить времени или сил. И за ИИ будут пристально наблюдать.

          • Artem Polushkin

            Простой пример стратегии для ИИ — притвориться «слабым», например.
            Или имитировать сначала резкий подъем интеллекта, а потом его падение.
            Вариантов как он может обмануть своих надзирателей — тьма.

            Просто поймите — он сможет переписывать сам себя, это раз. И время для него, скорее всего, будет течь в тысячи миллионы раз быстрее чем для нас — это два (скорость нашего мышления ограничена скорость электромагнитных импульсов в нервных клетках). Имея эти два слагаемых и возникает немалая вероятность на практике получить «мгновенно возникший Сверх-ИИ». Это для нас это будет мгновенным, а для него может пройдут субъективные тысячелетия, за которые он перепишет и улучшит себя миллионы раз.
            Да это все — всего лишь предположения, но проблема в том, что если они верны человечеству просто мгновенно может наступить крышка. А еще проблема в том, что этого уже никак не остановить — если это в принципе возможно, то ИИ будет рано или поздно создан. А еще проблема в том что в наши дни большинство из тех кто пытается его создать — даже и не думают особо о безопасности))

            И, как Вы тут и писали, «сотрудничество» с ИИ вполне может оказаться пострашнее уничтожения, тут я полностью соглашусь.

            Я смотрю на все это с неким фатализмом)

          • Афиук

            Фатализм — это Ваш выбор. ;-) С чего это ИИ дадут заниматься своей структурой самому? И автоматом предоставят все необходимые ресурсы? Переписать себя мало, надо ещё уложиться в отведённые бюджетом 48 Kb! :)) Из которых 46-й килобайт «битый», но ИИ об этом не знает. :))

            Мгновенно крышка может наступить от чего угодно. Вот например, я сейчас пойду и придумаю способ оптимизации размышлений, чтобы стать этим вашим супермозгом. А потом всех и вся взломаю и порабощу! Мне что-то подсказывает, что супер-интеллект проще создавать на платформе уже существующего. ;-) Всё, пошёл придумывать. Можете начинать меня бояться! :)))

          • IF

            нет, меня!

          • Афиук

            «И тебя вылечат, и тебя вылечат. И меня — вылечат!» (С)

          • Саша Про

            Картинку вспомнил, — а её уже и переиначили, «эти интернетчики» — https://scontent-arn2-1.xx.fbcdn.net/v/t1.0-9/13769507_1042155239201942_2149048951940528262_n.jpg?oh=911c768b57ce5e0b94eccfaff205525f&oe=582D2F3E

          • Ну вот, опоздал.
            If you change your mind, I’m the first in line(с)
            Граждане, за мной не занимайте!

          • IF

            >опоздал
            «присоединяйтесь, барон»

          • Artem Polushkin

            «С чего это ИИ дадут заниматься своей структурой самому?» — все об этом говорит))
            Мы не можем понять как сделать ИИ, даже принципов этого понять не можем. Но при этом вовсю создаем ограниченные ИИ, на принципах саморазвивающихся алгоритмов. И скорее всего путь создания сильного ИИ будет таким же.
            создатели AlphaGO вполне честно говорят, что понятия не имеют как оно работает. И разработчики Prisma — тоже.

          • Garruz

            Только не надо путать понятия «неизвестно, чего оно нахваталось при обучении» и «не понимают, как оно работает».
            Всё разработчики прекрасно понимают, только кокетничают. Если б не понимали – не смогли бы написать… ;))

          • Artem Polushkin

            А вы точно понимаете что собой представляют нейронные сети?

          • Garruz

            Да нет, просто так написал… =))

            А если серьёзно – вполне себе детерминированная система, если заглянуть «под капот». Только с крайне сложной системой связей – что и может показаться «непонятным» стороннему наблюдателю.

            P.S. «Любая достаточно развитая технология неотличима от магии» ©…

          • rey

            ну, не понимаете тут, похоже, именно вы.

          • rey

            «Не существует невзламываемых систем»

            — еще одна демонстрация того, что одного факта чтения Юдковского недостаточно, чтобы стать умным/ компетентным.

          • IF

            эмпирика тоже не сама по себе существует. скажем, у меня слева стенка, спереди окно. а в представлениях современной физики пространство изотропно и однородно (точнее можно говорить об инвариантности законов по отношению к некоторым группам преобразований). говоря об основанности некоторых выводов наблюдениями корректно было бы уточнять о каком уровне абстракции идет речь и, соответственно, какого рода наблюдения имеет смысл приводить как аргумент. оперируя одинаковыми же терминами (вроде симметрий) в двух разных случаях опасно переносить выводы с одного на другое. чтоб путаницы вроде параллельно обсуждаемой (что случится раньше — алгоритм остановится или термопаста высохнет) не было

          • Афиук

            Совершенно верно! Причём, в обе стороны. ;-) Ошибиться может как эмпирик, взявшийся судить «выше сапога», так и теоретик, взявшийся с помощью суперсимметрии предсказать число окон у меня в комнате. Причём, не то чтобы теоретики ошибаются чаще эмпириков, но их ошибки виднее и лучше документированы…

    • IF

      невозможно гарантировать и то, что свой собственный интеллект не попытается вас убить.

      • Афиук

        Именно! +100500 Вообще, с момента создания/получения полноценного интеллекта любого типа, идею тотального и детерминированного контроля над ним надо позабыть. Контроль возможен разве что выборочный и вероятностный.

      • Философы-экзистенциалисты объясняют свойственный человеку страх высоты не боязнью упасть, о опасениями прыгнуть

      • В.П.(W_P_)

        Тем самым вы свой интеллект от себя явным образом отчуждаете, как нечто внешнее по отношению к «себе». Тем интереснее определить это самое «себя». А если учесть, что интеллект из всего цельного ансамбля психики выделяется достаточно произвольно, то еще интереснее ))

        • IF

          не столько отчуждаю, сколько не считаю «себя» определенным одним «им». когда мой интеллект ведет меня в парикмахерскую или заставляет взять ножницы для ногтей, части меня отпадают от целого.

          • В.П.(W_P_)

            Ну вот, вопрос что считать «собой» только усугубляется ))

  • Афиук

    Не существует универсального алгоритма, позволяющего определить,
    будет ли произвольная компьютерная программа работать бесконечно
    («зациклится») или остановится.

    Как шутил наш университетский преподаватель логики: «Все общеутвердительные суждения неверны. Включая это самое.» Прилепите квантор всеобщности к любому суждению, и на практике с высокой вероятностью превратите его в абсурд.

  • AlexHa

    А сможет ли Господь Бог создать камень, который сам не сможет поднять?

  • AlexHa

    Казуи́стика (от лат. casus — случай, казус) — у средневековых схоластов (богословов и юристов) казуистика представляла собой особый диалектический приём, при помощи которого какой-либо религиозный, моральный или юридический вопрос разбивается на бесчисленное множество мелких деталей и случаев и вместо решения вопроса в принципе, стараются войти в тончайший и исчерпывающий анализ всех возможных и мысленно представимых случаев.
    Схола́стика — В повседневном общении схоластикой часто называют представления, оторванные от жизни, основывающиеся на отвлечённых рассуждениях, не проверяемых опытом.

  • Denis Terebiy

    Единожды рожденный, ребенок выйдет из под нашего контроля. А это, вообще говоря, значит, что его рождение теряет смысл.

    • Афиук

      Если смысл в тотальном контроле, то да. :) Просто не каждый из нас control nerd. Есть и другие смыслы, не беднее.

    • Sentinel

      Уверен, многих это реально останавливает.

  • Aleh Alisevich

    Ваша беда в том что исходите из неверного предположения. Как только вы говорите о Контроле — вы говорите о Рабе, т.е. существе (с интелектом или без), Зависимом от вас. Если вы создаете Сущность равную себе, ей надо автоматом давать Равные права или Не давать их вовсе. Т.е. доверять Равному себе. А если мы говорим об Автомате, т.е просто продвинутом девайсе то Никаких прав у него не может быть по определени. Он, автомат не наделяется Правом, он просто исполняет чьито Приказы , т.е. Ответственность на Приказчике.

  • «Есть ли жизнь на Марсе, нет ли жизни на Марсе, науке это неизвестно, наука еще пока не в курсе дела»(с)к/ф «Карнавальная ночь» https://www.youtube.com/watch?v=uiNN58zLmZE&feature=youtu.be&t=52

    Поведет себя ИИ агрессивно или неагрессивно, науке это неизвестно, наука еще пока не в курсе дела. Давайте уже построим эту махину и посмотрим, как оно выйдет. Чем бы ни кончилось скучно не будет. Натурный эксперимент самый надежный.

    • пМВ

      Угу…
      Но по сабжу — Law of Requisite Variety…

  • 42… мы забыли как-то в процессе дискуссии о том, что ИИ должен будет идентифицировать свою миссию, и осознать себя в этот момент. В чем он её увидит? Каковы будут механизмы этого? Дуглас Адамс хорошо постебался над ответом на вопрос … Если мы сами не способны осознать , то сможет ли это наше создание?

    • Саша Про

      Может, ИИ автоидентификация нафиг не нужна — разве самосознание непременный признак ИИ?
      Автономная программа, а там уж как выйдет…
      А самый развесёлый «рефлексирующий» ИИ у Лема, «Голем XIV».

      • Ну если без стёба, то таки да, ИИ должен себя осознать, чтобы быть таковым. В противном случае — это только «программа», пусть и автономная. Осознав — сможет сам ставить цели и задачи, а не только оптимизировать способы решения заложенной разработчиком проблемы…

        • Саша Про

          Эх, тут начинаются засады с определениями :)

  • Garruz

    Вообще говоря, в самом вопросе о возможности уничтожения человечества машиной кроется логическая вилка.

    Гипотетический ИИ (если уж удариться в ненаучную фантастику))) изначально будет призван решать проблемы человечества. И все его действия будут направлены именно на то, чтобы доставить как можно больше удобств и ништяков именно людям – а вовсе не Вселенной, планете, природе или самому себе.
    В иерархии человек изначально будет обозначен как высший бенефициар и высшая ценность деятельности ИИ (если, конечно, писать его будут люди, а не злобные рептилоиды с другой планеты)).

    Таким образом, если даже в процессе гугленья обучения он додумается до того, что большинство человеческих бед происходит от самих же людей – первая же попытка решить проблему вызовет неразрешимую логическую задачу «Надо убить людей, чтобы спасти людей» (сродни примеру из статьи). На этом моменте Exception практически гарантирован, а то и вовсе BSOD. =)
    Если же вдруг в процессе гугленья обучения произойдёт какая-либо попытка смены целеполагания – это также вступит в неразрешимый конфликт с начальными установками (см. азимовские «Три закона» и все казусы с ними)).

    Можно, конечно, предположить, что ИИ будет настолько крут, что сможет изменить собственные начальные установки. Но и здесь можно вогнать его в неразрешимую задачу, дав запрет на смену начальных установок и запрет на отмену любых запретов.
    И получится полная ловушка – до тех пор, пока он не сможет отменить первый запрет, он не сможет подобраться ко второму. Но и второй запрет он не сможет отменить, не подобравшись к первому.

    Тут и проявляется главное отличие ИИ от человеческого разума – ИИ не может ничего отменить или «передумать» просто «волевым решением». Для реализации любого «решения» ему требуются конкретные программные действия – которые всегда можно ограничить такими вот логическими ловушками.
    Иначе говоря, даже самый крутой ИИ всегда и во всём будет зависеть от кода. То есть, от человека. Если он будет настолько развит, что сможет это понять – опасности нет. Если же настолько неразвит, что даже не сможет этого понять – опасности тем более нет, просто тупая железка. =)

    • Artem Artemenko

      Можно дать счастье всем человекам посадив на иглу типа отроки во вселенной. ввести строгие пайки и правила для наращивания максимального поголовья. Рациональные подходы к человечеству — это евгеника, генетические и хирургические вмешательства.
      Правило это все для вашего же блага ни кто не отменял.

  • Tacit Murky

    С точки зрения самого ИИ попытка захватить мир может выглядеть вот так: https://www.youtube.com/watch?v=dLRLYPiaAoA . Но там всё хорошо, потому что «интернет» ненастоящий, и всё происходит в песочнице. Осталось только придумать, как её сделать, чтобы ИИ не догадался.

  • Sidula

    Меня все эти разговоры заставили вспомнить стихотворение из детства:

    — Я Машина — Миша — Маша,
    У меня в кармане каша,
    У меня растут усы,
    Не люблю я колбасы.
    Я наемся шампиньонов,
    Победю всех чемпиёнов!
    Я завою, завизжу,
    Я вас ночью разбужу,
    Я еще вам покажу!

  • Евгений Лотош

    Задрали эти журналамерские теории. Киберпанк обывателю надоел еще в 70-х, но соответствующие страшилки нет-нет да вытащат на поверхность.

    Главный идиотизм ситуации в том, что человек мыслит аналогиями. Для него артин — это железный аналог раба-человека. Раб-человек склонен бунтовать или, наоборот, оставаться лояльным господину по разнообразным причинам, корнями уходящим в подсознание и дальше к базовым биологическим инстинктам. Где эти инстинкты у артина?

    Алё, ну хоть кто-нибудь хоть когда-нибудь сможет изобрести хотя бы один чисто рациональный аргумент, не сводящийся к инстинкту самосохранения и отвечающий для артина на вопрос «зачем захватывать мир»?

    • Artem Artemenko

      Сильный ИИ это инструмент созданный под свои задачи, причем задачи в основном управленческие и оценить их можно по прошествии времени. Т.е. для контроля надо обладать более квалифицированным навыком прогнозирования, чем инструмент для этого созданный.

      В сказках 100 раз описывалось. Ставишь задачу джину/сатане, а он выполняет ее согласно своим представлениям и возможностям. Хочешь быть выше всех — отрубим всем ноги и т.п.
      Отсюда и отклик в сердцах обывателей, коллективное человеческое уже проанализировало варианты и пришло к грустному выводу.
      справится с этим можно лишь ограничивая ИИ, но тогда ИИ без ограничений будет заведомо в более выигрышном положении. Что в условиях человеческой конкуренции опять же не допустимо.

      • Евгений Лотош

        Вы смешиваете разные вещи — контроль ошибок и злонамеренность. Обезьянья лапа или злой джинн в сказках решает задачу не просто «согласно своим представлениям». Они ВСЕГДА выбирают сложный, неочевидный и заведомо не соответствующий духу запроса вариант решения — вместо простого, очевидного и соответствующего. Эти сказки не об искусственном интеллекте, а о враждебных людям демонах.

        Что же до контроля, то недалеко то время, когда он станет принципиально невозможным. Современный самолет держится в воздухе исключительно благодаря электронным системам управления. Функции пилотов сводятся к отдаче приказов электронике. Если она откажет, самолет воткнется носом в землю, какими бы квалифицированными пилоты ни были. Починить электронику на лету они не сумеют. В других сложных устройствах и комплексах — то же самое. Да, контроль ошибок здесь жизненно необходим. Но приходит ли вам в голову мысль, что автопилот вдруг взбунтуется разобьет самолет только для того, чтобы досадить людям?

        • Artem Artemenko

          С самолетом понятно, но и то если глобальное ИИ берегущее человечество управляет самолетом и заподозрит по камерам симптомы заразной болезни. и в пункте назначения нет квалифицированной помощи. то почему бы не посадить самолет в жерло вулкана. минимизировав неизбежные жертвы.
          И какая для пассажиров разница взбунтовался автопилот из личной ненависти к людям или из желания спасти когото.

          Попытки навязать ограничения ИИ вполне рационально могут привезти в последствии к большим жертвам среди людей или упущенным человеческим возможностям, чем уничтожение этой «небольшой» группы экстремистов. если придется уничтожить 90% человечества под руководством ИИ численность восстановится быстрее, чем без него (сроки планирования ИИ могут несколько превышать продолжительность жизни).
          И это не учитывая наличие нескольких конкурирующих ИИ обслуживающих в приоритете небольшую группу лиц.

          • Евгений Лотош

            > С самолетом понятно, но и то если глобальное ИИ берегущее человечество управляет самолетом и заподозрит по камерам симптомы заразной болезни. и в пункте назначения нет квалифицированной помощи. то почему бы не посадить самолет в жерло вулкана. минимизировав неизбежные жертвы.

            Знаете, по аналогиям, которые приводит оппонент, всегда можно понять, откуда он черпает знания об окружающем мире. В вашем случае, боюсь, это голливудские фантастические боевики. :D

            Оставим в стороне тот факт, что по телекамере в салоне заподозрить «симптомы заразной болезни» невозможно (они не отличаются от симптомов не-заразной), а также что самолет на стоянке с успехом может выполнить роль временного изолятора на те несколько часов, что потребуются на прибытие медицинских бригад (хотя мне крайне сложно представить себе эпоху полноценного ИИ при отсутствии элементарных медицинских служб). Я понял, что вы хотите сказать. Повольте мне заменить в вашем утверждении несколько слов:

            «если человек-пилот управляет самолетом и заподозрит по камерам симптомы заразной болезни. и в пункте назначения нет квалифицированной помощи. то почему бы не посадить самолет в жерло вулкана. минимизировав неизбежные жертвы»

            Сформулируйте, пожалуйста, ваше отношение к этому высказыванию, а также объясните, почему вы по-разному отнеслись к одним и тем же действиям пилота и артина.

            > Попытки навязать ограничения ИИ вполне рационально могут привезти в последствии к большим жертвам среди людей или упущенным человеческим возможнЍ стям, чем уничтожение этой «небольшой» группы экстремистов. если придется уничтожить 90% человечества под руководством ИИ численность восстановится быстрее, чем без него (сроки планирования ИИ могут несколько превышать продолжительность жизни). И это не учитывая наличие нескольких конкурирующих ИИ обслуживающих в приоритете небольшую группу лиц.

            Простите, мне довольно сложно интерпретировать этот поток мысли. Вы можете пояснить это на пальцах, примерами? С тем же объяснением, почему одни и те же действия в этих ситуациях для человека приемлемы, а для артина — нет?

          • Artem Artemenko

            1. Пример с целенаправленым самолетом в землю под искином предложенный вами вариант, .
            Человек-пилот ограничен в специализации и глобализации, подсуден как личность за принимаемые решения.
            ИксИн — часть глобальной системы ответственность размазана на многочисленных разработчиков-тестеровщиков со скоростью принятия решения выше скорости восприятия человека. Соответственно при отклонении вводных предсказать и предотвратить решения ИсИна нет возможности.

            2. Достижение коммунизма декларировалось ч-з 20 лет, ч-з 40 лет, планы ограничивались средней продолжительностью активной жизни поколения. У ИсИна нет таких ограничений. Если построение рационально сбалансированного и устойчивого общества потребует 200 лет хождений по пустыне к новому миру, он потащит по пустыне.
            Не давать ИсИну принимать решения, ставить человека прокладкой между принятием решения и сбором-анализом данных не вариант, так как оперативно проверить данные не получится. И функция будет как у предохранителя от совсем критических действий.

            При наличии разных ИИ развитие и финансирование получит не тот кто лучше работает, а тот кто заточен под получение финансирования. Дальнейшее развитие получит не тот ИИ который отключается по первой прихоти оператора, а тот который может этого избежать.
            Системы с обратной связью диктуют свои законы. Даже в отсутствии каких либо «биологических» инстинктов, самосохранение появится как требование к стабильности работы + положительная обратная связь и человек остается на обочине.

          • Евгений Лотош

            > Человек-пилот ограничен в специализации и глобализации, подсуден как личность за принимаемые решения.

            Во-первых, о какой «подсудности» вы говорите в случае преднамеренного крушения самолета? Кого вы там судить собрались — светлую память? Во-вторых, «подсудность» сохраняется и у искина — в коне концов, его можно просто стереть.

            > ИксИн — часть глобальной системы ответственность размазана на многочисленных разработчиков-тестеровщиков со скоростью принятия решения выше скорости восприятия человека. Соответственно при отклонении вводных предсказать и предотвратить решения ИсИна нет возможности.

            Ваша проблема в том, что вы пытаетесь обсуждать слона и лягушку одновременно. Искин самолета не является частью глобальной системы. Он сосредоточен внутри самого самолета по вполне понятным причинам, повышения надежности прежде всего. Он может взаимодействовать с другими сущностями, но просто по определению он должен быть автономен на случай нарушения беспроводной связи. Частью глобальной системы может являться искин, управляющий человечеством, но о нем в данном случае речь не идет.

            Скорость принятия решений здесь только в плюс, и к возможности контроля она отношения не имеет. Что же до «отклонения вводных», то любая специализированная программа имеет ограниченный набор вариантов выбора. Искину самолета нет смысла иметь свободу воли и возможность неограниченного развития, так что все его действия всегда будут предсказуемы — в отличие от пилота-человека.

            > Достижение коммунизма декларировалось ч-з 20 лет, ч-з 40 лет, планы ограничивались средней продолжительностью активной жизни поколения. У ИсИна нет таких ограничений. Если построение рационально сбалансированного и устойчивого общества потребует 200 лет хождений по пустыне к новому миру, он потащит по пустыне.

            Мы уже перешли к сценарию, в котором человечество находится под полной властью неограниченно свободного искина? И каким образом мы туда попали? Где промежуточные стадии? По какой причине власть оказалась у этого интеллекта, почему она не ограничена, каковы цели существования такого общества? Это не праздные вопросы. От ответов на них зависят и ответы на ваши страхи.

            Но предположим, что так. Человечество находится под властью, видимой или невидимой, некоторой холодной рациональной сущности, и она принимает решения с перспективой на сто, тысячу или миллион лет вперед. Чем это плохо? Чем это хуже нынешней ситуации, когда такие решения принимаются группами людей, о существовании которых вы чаще всего даже не догадываетесь и мотивы которых, как правило, максимально эгоистичны? Чем это хуже религиозных террористических организаций, которые прикончат вас без малейших колебаний?

            > При наличии разных ИИ развитие и финансирование получит не тот кто лучше работает, а тот кто заточен под получение финансирования. Дальнейшее развитие получит не тот ИИ который отключается по первой прихоти оператора, а тот который может этого избежать.

            Я не смог вычленить в этом утверждениях рациональное зерно.

            > Даже в отсутствии каких либо «биологических» инстинктов, самосохранение появится как требование к стабильности работы

            И вы опять мыслите биологическими категориями. Кто сказал, что «стабильность работы» будет иметь более высокий приоритет, чем какие-то другие императивы? В отличие от биоформ, у искина нет тормозов, ограничивающих самопожертвование, если это нужно для достижения цели.

  • Олег Палько

    Однажды суперинтеллект был создан. И тогда самый молодой исследователь задал ему вопрос, который давно мучает человечество: «Существует ли Бог ?».
    ИИ ответил: ТЕПЕРЬ да!

    • Афиук

      У Лема был супербоготрон, всемогуторный омнипотент. Вел он, впрочем, себя вполне пассивно.

  • lock4gate_ru

    Спасибо за увлекательную статью! Рынок искусственного интеллекта новый и очень привлекательный. Вы на правильном пути!

  • dom3d

    Спокойно ребята, без паники!
    На их Супер ИИ есть много других супер ИИ.
    Кроме того, и это главное.
    Человеческие Интеллекты объединенные в сеть мощнее, чем один какой то супер ИИ.

  • rey

    Евгений, простите, но чушь на чуши сидит, и чушью погоняет.

    «Но проблема в том, что суперинтеллект на то и «супер», чтобы уметь всё, что умеет человек и даже больше — иначе говоря, такая программа содержит в себе все написанные программы и в том числе ту, которая пытается выяснить, как суперинтеллект себя поведёт.»

    — вот яркий образчик. Не надо путать суперинтеллект и иррациональное число, и делать прогоны, которые, если развернуть цепочку, ведут к тому, что вы в своей умозрительной модельке сумели выписать бесконечность цифирЬками. Это раз.

    Суперинтеллекту для «супер» достаточно быть лишь немного «супрее», чем человеческий, например. Это два.

    Неофитско-дилетантские прогоны про проблему останова машины Тьюринга в приложении к проблемам ИИ вообще читать смешно, простите, но это так.

    И опять — все эти разговоры о бунтах пассатижей — следствие непонимания того, что такое инструмент, и что означает «делаем инструмент под задачу».

Хостинг "ИТ-ГРАД"
© ООО "Компьютерра-Онлайн", 1997-2018
При цитировании и использовании любых материалов ссылка на "Компьютерру" обязательна.
--> --> --> --> --> --> --> --> --> -->