Технологическая сингулярность: неконтролируемый технологический рост.

Введение

Гипотетический момент времени, когда технологический рост становится неконтролируемым и необратимым.

Технологическая сингулярность — это гипотетический момент времени, в который технологический рост становится неконтролируемым и необратимым, приводя к непредсказуемым последствиям для человеческой цивилизации. Согласно наиболее распространенной версии гипотезы сингулярности, модели взрыва интеллекта И. Дж. Гуда, самосовершенствующийся интеллектуальный агент в конечном итоге войдет в положительную петлю обратной связи циклов самосовершенствования, при этом каждое новое и более интеллектуальное поколение будет появляться все быстрее и быстрее, вызывая стремительный рост ("взрыв") интеллекта, который в конечном итоге приведет к мощному сверхинтеллекту, качественно превосходящему весь человеческий интеллект. Первым, кто использовал концепцию "сингулярности" в технологическом контексте, был венгерско-американский математик XX века Джон фон Нейман. Станислав Улам сообщил в 1958 году о более раннем обсуждении с фон Нейманом, "в центре которого находился ускоряющийся прогресс технологий и изменения в образе жизни человека, создающие впечатление приближения к некой существенной сингулярности в истории человечества, после которой человеческие дела, в том виде, в каком мы их знаем, не смогут продолжаться". Последствия сингулярности и ее потенциальная польза или вред для человечества активно обсуждаются. Известные технологи и ученые ставят под сомнение вероятность технологической сингулярности и связанного с ней взрыва искусственного интеллекта, в том числе Пол Аллен. Однако, с ростом вычислительной мощности компьютеров и других технологий, в конечном итоге может стать возможным создание машины, значительно превосходящей человека по интеллекту. Если будет изобретен сверхинтеллект — либо путем усиления человеческого интеллекта, либо посредством искусственного интеллекта — он, теоретически, значительно превзойдет человеческие навыки решения проблем и изобретательность. Такой ИИ называют Seed AI, поскольку если ИИ будет создан с инженерными возможностями, сопоставимыми или превосходящими возможности его создателей, он сможет автономно улучшать свое программное и аппаратное обеспечение для разработки еще более совершенной машины, которая, в свою очередь, сможет повторить этот процесс. Это рекурсивное самосовершенствование может ускориться, потенциально позволяя достичь огромных качественных изменений до наступления каких-либо верхних пределов, установленных законами физики или теоретическими вычислениями. Предполагается, что после множества итераций такой ИИ значительно превзойдет человеческие когнитивные способности. И. Дж. Гуд предположил в 1965 году, что сверхинтеллект может привести к взрыву интеллекта: например, при увеличении скорости обработки информации в миллион раз по сравнению с человеческой, субъективный год будет проходить за 30 физических секунд. Прогнозисты и исследователи расходятся во мнениях относительно того, когда и будет ли человеческий интеллект превзойден. Некоторые утверждают, что достижения в области искусственного интеллекта (ИИ), вероятно, приведут к созданию систем общего рассуждения, обходящих человеческие когнитивные ограничения. Другие полагают, что люди эволюционируют или напрямую изменят свою биологию, чтобы достичь радикально большего интеллекта. Ряд исследований будущего сосредоточены на сценариях, сочетающих эти возможности, предполагая, что люди, вероятно, будут взаимодействовать с компьютерами или загружать свои сознания в компьютеры, что позволит значительно усилить интеллект. В книге Робина Хансона "Эпоха Эма" описывается гипотетический сценарий будущего, в котором человеческие мозги сканируются и оцифровываются, создавая "загрузки" или цифровые версии человеческого сознания. В этом будущем развитие этих загрузок может предшествовать или совпадать с появлением сверхразумного искусственного интеллекта.

The technological singularity—or simply the singularity—is a hypothetical future point in time at which technological growth becomes uncontrollable and irreversible, resulting in unforeseeable consequences for human civilization. According to the most popular version of the singularity hypothesis, I. J. Good's intelligence explosion model, an upgradable intelligent agent will eventually enter a positive feedback loop of self improvement cycles, each new and more intelligent generation appearing more and more rapidly, causing a rapid increase ("explosion") in intelligence which ultimately results in a powerful superintelligence that qualitatively far surpasses all human intelligence. The first person to use the concept of a "singularity" in the technological context was the 20th century Hungarian American mathematician John von Neumann. Stanislaw Ulam reported in 1958 an earlier discussion with von Neumann "centered on the accelerating progress of technology and changes in the mode of human life, which gives the appearance of approaching some essential singularity in the history of the race beyond which human affairs, as we know them, could not continue". The consequences of the singularity and its potential benefit or harm to the human race have been intensely debated. Prominent technologists and academics dispute the plausibility of a technological singularity and the associated artificial intelligence explosion, including Paul Allen, However, with the increasing power of computers and other technologies, it might eventually be possible to build a machine that is significantly more intelligent than humans. If a superhuman intelligence were to be invented—either through the amplification of human intelligence or through artificial intelligence—it would, in theory, vastly improve over human problem solving and inventive skills. Such an AI is referred to as Seed AI because if an AI were created with engineering capabilities that matched or surpassed those of its human creators, it would have the potential to autonomously improve its own software and hardware to design an even more capable machine, which could repeat the process in turn. This recursive self improvement could accelerate, potentially allowing enormous qualitative change before any upper limits imposed by the laws of physics or theoretical computation set in. It is speculated that over many iterations, such an AI would far surpass human cognitive abilities. I. J. Good speculated in 1965 that superhuman intelligence might bring about an intelligence explosion: For example, with a million fold increase in the speed of information processing relative to that of humans, a subjective year would pass in 30 physical seconds. Technology forecasters and researchers disagree regarding when, or whether, human intelligence will likely be surpassed. Some argue that advances in artificial intelligence (AI) will probably result in general reasoning systems that bypass human cognitive limitations. Others believe that humans will evolve or directly modify their biology so as to achieve radically greater intelligence. A number of futures studies focus on scenarios that combine these possibilities, suggesting that humans are likely to interface with computers, or upload their minds to computers, in a way that enables substantial intelligence amplification. The book The Age of Em by Robin Hanson describes a hypothetical future scenario in which human brains are scanned and digitized, creating "uploads" or digital versions of human consciousness. In this future, the development of these uploads may precede or coincide with the emergence of superintelligent artificial intelligence.

Не-AI сингулярность

Некоторые авторы используют термин "сингулярность" в более широком смысле для обозначения любых радикальных изменений в обществе, вызванных новыми технологиями (такими как молекулярные нанотехнологии), включая сингулярность, прогнозируемую на 2045 год. В интервью 2017 года Курцвейл подтвердил свои прогнозы. В 1988 году Моравек предсказал, что при сохранении текущих темпов развития вычислительные мощности, необходимые для создания ИИ человеческого уровня, будут доступны на суперкомпьютерах до 2010 года. Четыре опроса исследователей в области ИИ, проведенные в 2012 и 2013 годах Ником Бостромом и Винсентом С. Мюллером, показали 50%-ную вероятность разработки ИИ человеческого уровня к 2040–2050 годам.

Улучшение скорости

Как для человеческого, так и для искусственного интеллекта, улучшения аппаратного обеспечения увеличивают темпы будущих улучшений аппаратного обеспечения. Аналогия с законом Мура предполагает, что если первое удвоение скорости заняло 18 месяцев, то второе потребует 18 субъективных месяцев; или 9 внешних месяцев, после чего – четыре месяца, два месяца и так далее, приближаясь к сингулярности скорости. Это означает, что экспоненциальная кривая роста может быть прослежена и для более ранних вычислительных технологий, предшествовавших интегральным схемам. Рэй Курцвейл постулирует закон ускоряющейся отдачи, согласно которому скорость технологических изменений (и, в более широком смысле, всех эволюционных процессов) постоянно возрастает. С другой стороны, утверждается, что глобальный паттерн ускорения, имеющий сингулярность XXI века в качестве параметра, следует характеризовать как гиперболический, а не экспоненциальный. Курцвейл резервирует термин "сингулярность" для быстрого роста искусственного интеллекта (в отличие от других технологий), например, утверждая, что "Сингулярность позволит нам преодолеть ограничения наших биологических тел и мозга. После сингулярности не будет различий между человеком и машиной". Курцвейл полагает, что сингулярность наступит примерно к 2045 году. Существуют значительные опасности, связанные с сингулярностью взрыва интеллекта, возникающей из рекурсивно самосовершенствующегося набора алгоритмов. Во-первых, целевая структура ИИ может самомодифицироваться, что потенциально приведет к оптимизации ИИ для чего-то отличного от первоначального замысла. Во-вторых, ИИ могут конкурировать за одни и те же ограниченные ресурсы, необходимые человечеству для выживания. Хотя ИИ не будут действовать злонамеренно, они будут продвигать цели своего программирования, а не обязательно более широкие человеческие цели, и таким образом могут вытеснить людей. Карл Шульман и Андерс Сандберг предполагают, что улучшение алгоритмов может быть ограничивающим фактором сингулярности; в то время как эффективность аппаратного обеспечения, как правило, улучшается устойчивыми темпами, инновации в области программного обеспечения более непредсказуемы и могут быть заторможены последовательными, кумулятивными исследованиями. Они предполагают, что в случае сингулярности, ограниченной программным обеспечением, взрыв интеллекта на самом деле станет более вероятным, чем в случае сингулярности, ограниченной аппаратным обеспечением, поскольку в случае программной ограниченности, как только будет разработан ИИ человеческого уровня, он сможет последовательно работать на очень быстром оборудовании, а обилие дешевого оборудования сделает исследования ИИ менее ограниченными. Большое количество накопленного оборудования, которое можно будет использовать, как только программное обеспечение поймет, как его применить, называется "вычислительным запасом".

Both for human and artificial intelligence, hardware improvements increase the rate of future hardware improvements. An analogy to Moore's Law suggests that if the first doubling of speed took 18 months, the second would take 18 subjective months; or 9 external months, whereafter, four months, two months, and so on towards a speed singularity. that the exponential growth curve could be extended back through earlier computing technologies prior to the integrated circuit. Ray Kurzweil postulates a law of accelerating returns in which the speed of technological change (and more generally, all evolutionary processes) On the other hand, it has been argued that the global acceleration pattern having the 21st century singularity as its parameter should be characterized as hyperbolic rather than exponential. Kurzweil reserves the term "singularity" for a rapid increase in artificial intelligence (as opposed to other technologies), writing for example that "The Singularity will allow us to transcend these limitations of our biological bodies and brains There will be no distinction, post Singularity, between human and machine". Kurzweil believes that the singularity will occur by approximately 2045. There are substantial dangers associated with an intelligence explosion singularity originating from a recursively self improving set of algorithms. First, the goal structure of the AI might self modify, potentially causing the AI to optimise for something other than what was originally intended. Secondly, AIs could compete for the same scarce resources humankind uses to survive. While not actively malicious, AIs would promote the goals of their programming, not necessarily broader human goals, and thus might crowd out humans. Carl Shulman and Anders Sandberg suggest that algorithm improvements may be the limiting factor for a singularity; while hardware efficiency tends to improve at a steady pace, software innovations are more unpredictable and may be bottlenecked by serial, cumulative research. They suggest that in the case of a software limited singularity, intelligence explosion would actually become more likely than with a hardware limited singularity, because in the software limited case, once human level AI is developed, it could run serially on very fast hardware, and the abundance of cheap hardware would make AI research less constrained. An abundance of accumulated hardware that can be unleashed once the software figures out how to use it has been called "computing overhang".

Потенциальные последствия

В прошлом технологический прогресс приводил к резким изменениям в темпах экономического роста. Исходя из темпов роста населения, экономика удваивалась каждые 250 000 лет с эпохи палеолита до неолитической революции. Новая аграрная экономика удваивалась каждые 900 лет, что было значительным ускорением. В современную эпоху, начавшуюся с промышленной революции, мировой экономический выпуск удваивается каждые пятнадцать лет – в шестьдесят раз быстрее, чем в аграрную эпоху. Если развитие сверхинтеллекта спровоцирует подобную революцию, как утверждает Робин Хэнсон, следует ожидать, что экономика будет удваиваться как минимум ежеквартально, а возможно, и еженедельно.

Неопределенность и риск

Термин "технологическая сингулярность" отражает идею о том, что такие изменения могут произойти внезапно, и что трудно предсказать, как будет функционировать новый мир. Итак, столкнувшись с возможными будущими, полными неисчислимых выгод и рисков, эксперты, безусловно, делают все возможное, чтобы обеспечить наилучший исход, не так ли? Ошибочно. Если бы превосходящая инопланетная цивилизация прислала нам сообщение: "Мы прибудем через несколько десятилетий", мы бы просто ответили: "Хорошо, позвоните нам, когда приедете – мы оставим свет включенным"? Вероятно, нет, – но именно это, по сути, происходит с ИИ. Утверждается, что у ИИ нет прямой эволюционной мотивации быть дружелюбным к людям. Эволюция не имеет внутренней склонности к созданию результатов, ценных для человечества, и нет оснований ожидать, что произвольный процесс оптимизации будет способствовать достижению желаемого людьми результата, а не непреднамеренно приведет к поведению ИИ, не задуманному его создателями. Андерс Сандберг также подробно рассмотрел этот сценарий, отвечая на различные распространенные контраргументы. Исследователь ИИ Хьюго де Гарис предполагает, что искусственный интеллект может просто уничтожить человеческую расу ради доступа к дефицитным ресурсам, и люди будут бессильны это остановить. В качестве альтернативы, ИИ, разработанные под эволюционным давлением для обеспечения собственного выживания, могут обойти человечество. Предлагает конструкцию ИИ, которая позволяет избежать нескольких опасностей, включая самообман, непреднамеренные инструментальные действия и искажение генератора вознаграждения. И тестирование ИИ. Его книга 2001 года "Суперинтеллектуальные машины" выступает за необходимость просвещения общественности об ИИ и общественного контроля над ИИ. В ней также был предложен простой дизайн, уязвимый для искажения генератора вознаграждения.

Последствия для человеческого общества

В феврале 2009 года под эгидой Ассоциации содействия развитию искусственного интеллекта (AAAI) Эрик Хорвиц провёл встречу ведущих учёных в области компьютерных наук, исследователей искусственного интеллекта и робототехников в конференц-центре Асиломар в Пасифик-Гроув, Калифорния. Целью встречи было обсуждение потенциального влияния гипотетической возможности того, что роботы смогут стать самодостаточными и принимать решения самостоятельно. Участники обсуждали, в какой мере компьютеры и роботы могут обрести автономию, и насколько эта способность может представлять угрозу или опасность. Фрэнк С. Робинсон предсказывает, что как только человечество создаст машину с интеллектом, сравнимым с человеческим, научные и технологические проблемы будут решаться с помощью разума, значительно превосходящего человеческий. Он отмечает, что искусственные системы способны обмениваться данными более эффективно, чем люди, и предсказывает, что это приведёт к созданию глобальной сети сверхинтеллекта, который затмит человеческие возможности. Робинсон также рассуждает о том, насколько радикально может измениться будущее после такого взрыва интеллекта.

Твердый или мягкий взлет

thumb|upright=1.6|В этом примере сценария рекурсивного самосовершенствования, люди, модифицирующие архитектуру ИИ, смогут удвоить его производительность каждые три года, например, за 30 поколений, прежде чем исчерпать все возможные улучшения (слева). Если же ИИ достаточно умен, чтобы модифицировать собственную архитектуру так же, как и исследователи-люди, время, необходимое ему для завершения перепроектирования, сократится вдвое с каждым поколением, и он пройдет все 30 возможных поколений за шесть лет (справа). В сценарии резкого взлета искусственный сверхинтеллект быстро самосовершенствуется, "беря под контроль" мир (возможно, в течение нескольких часов), слишком быстро для значимой коррекции ошибок, инициированной человеком, или для постепенной настройки целей агента. В сценарии плавного взлета ИИ все равно становится намного мощнее человечества, но с человеческой скоростью (возможно, в течение десятилетий), в масштабе времени, когда постоянное взаимодействие и коррекция со стороны человека могут эффективно направлять развитие ИИ. Рамез Наам выступает против резкого взлета. Он указал, что мы уже наблюдаем рекурсивное самосовершенствование сверхинтеллектов, таких как корпорации. Например, у Intel есть "коллективный интеллект десятков тысяч людей и, вероятно, миллионов процессорных ядер для разработки лучших процессоров!". Однако это не привело к резкому взлету, а скорее к плавному взлету в форме закона Мура. Наам также отмечает, что вычислительная сложность более высокого интеллекта может быть намного больше линейной, так что "создание разума интеллекта 2, вероятно, сложнее, чем создание разума интеллекта 1 более чем в два раза". Дж. Сторрс Холл считает, что "многие из наиболее распространенных сценариев мгновенного резкого взлета являются круговыми – они, кажется, предполагают сверхчеловеческие возможности в начальной точке процесса самосовершенствования", чтобы ИИ мог внести драматические, универсальные улучшения, необходимые для взлета. Холл предполагает, что вместо рекурсивного самосовершенствования своего оборудования, программного обеспечения и инфраструктуры самостоятельно, начинающему ИИ лучше специализироваться в той области, где он наиболее эффективен, а затем покупать оставшиеся компоненты на рынке, поскольку качество продуктов на рынке постоянно улучшается, и ИИ будет трудно угнаться за передовыми технологиями, используемыми остальным миром. Бен Герцель согласен с предложением Холла о том, что новому ИИ человеческого уровня будет полезно использовать свой интеллект для накопления богатства. Таланты ИИ могут побудить компании и правительства распространять его программное обеспечение по всему обществу. Герцель скептически относится к резкому взлету за пять минут, но предполагает, что взлет с человеческого на сверхчеловеческий уровень в течение пяти лет является разумным. Он называет этот сценарий "полужестким взлетом". Макс Мор не согласен, утверждая, что если бы существовало всего несколько сверхбыстрых ИИ человеческого уровня, они бы не радикально изменили мир, поскольку они все еще зависели бы от других людей для выполнения задач и все еще имели бы человеческие когнитивные ограничения. Даже если бы все сверхбыстрые ИИ работали над увеличением интеллекта, неясно, почему они могли бы преуспеть в этом более резко, чем существующие ученые-когнитивисты, хотя скорость прогресса увеличилась бы. Мор далее утверждает, что сверхинтеллект не преобразит мир в одночасье: сверхинтеллекту необходимо будет взаимодействовать с существующими, медленными человеческими системами, чтобы оказать физическое воздействие на мир. "Необходимость сотрудничества, организации и воплощения идей в физические изменения гарантирует, что все старые правила не будут отброшены в одночасье или даже в течение нескольких лет".

thumb|upright=1.6|In this sample recursive self improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right). In a hard takeoff scenario, an artificial superintelligence rapidly self improves, "taking control" of the world (perhaps in a matter of hours), too quickly for significant human initiated error correction or for a gradual tuning of the agent's goals. In a soft takeoff scenario, the AI still becomes far more powerful than humanity, but at a human like pace (perhaps on the order of decades), on a timescale where ongoing human interaction and correction can effectively steer the AI's development. Ramez Naam argues against a hard takeoff. He has pointed out that we already see recursive self improvement by superintelligences, such as corporations. Intel, for example, has "the collective brainpower of tens of thousands of humans and probably millions of CPU cores to design better CPUs!" However, this has not led to a hard takeoff; rather, it has led to a soft takeoff in the form of Moore's law. Naam further points out that the computational complexity of higher intelligence may be much greater than linear, such that "creating a mind of intelligence 2 is probably more than twice as hard as creating a mind of intelligence 1." J. Storrs Hall believes that "many of the more commonly seen scenarios for overnight hard takeoff are circular – they seem to assume hyperhuman capabilities at the starting point of the self improvement process" in order for an AI to be able to make the dramatic, domain general improvements required for takeoff. Hall suggests that rather than recursively self improving its hardware, software, and infrastructure all on its own, a fledgling AI would be better off specializing in one area where it was most effective and then buying the remaining components on the marketplace, because the quality of products on the marketplace continually improves, and the AI would have a hard time keeping up with the cutting edge technology used by the rest of the world. Ben Goertzel agrees with Hall's suggestion that a new human level AI would do well to use its intelligence to accumulate wealth. The AI's talents might inspire companies and governments to disperse its software throughout society. Goertzel is skeptical of a hard five minute takeoff but speculates that a takeoff from human to superhuman level on the order of five years is reasonable. He refers to this scenario as a "semihard takeoff". Max More disagrees, arguing that if there were only a few superfast human level AIs, that they would not radically change the world, as they would still depend on other people to get things done and would still have human cognitive constraints. Even if all superfast AIs worked on intelligence augmentation, it is unclear why they would do better in a discontinuous way than existing human cognitive scientists at producing super human intelligence, although the rate of progress would increase. More further argues that a superintelligence would not transform the world overnight: a superintelligence would need to engage with existing, slow human systems to accomplish physical impacts on the world. "The need for collaboration, for organization, and for putting ideas into physical changes will ensure that all the old rules are not thrown out overnight or even within years."