CC BY
75Scientific review
Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
УДК 330.341.13
https://doi.org/10.32686/1812-5220-2019-16-3-62-77
ISSN 1812-5220
© Проблемы анализа риска, 2019
Экзистенциальный риск технологической сингулярности
Ю.И.Соколов, Аннотация
Российское научное общество В статье рассматриваются риски, связанные с так называемым феноменом технологиче-анализа риска, ской сингулярности.
121614, Россия, г. Москва, _
ул. Крылатские Холмы, д. 30
Ключевые слова: сингулярность, технологическая сингулярность, сингулярная точка, глобальный катастрофический риск, экспоненциальная функция, сверхинтеллект, постчеловек.
Для цитирования: Соколов Ю. И. Экзистенциальный риск технологической сингулярности // Проблемы анализа риска. Т. 16. 2019. № 3. С. 62—77, https://doi.org/10.32686/1812-5220-2019-16-3-62-77
Existential risk of technological singularity
Yury I. Sokolov,
Annotation
Russian Scientific Organization of The article deals with the risks associated with the so-called phenomenon of technological sin-Risk Analysis, gularity.
121614, Russia, Moscow, _
Krylatskie Holmy St., 30
Keywords: singularity, technological singularity, singular point, global catastrophic risk, exponential function, superintelligence, posthuman.
For citation: Sokolov Yury I. Existential risk of technological singularity // Issues of Risk Analysis. Vol. 16. 2019. No. 3. P. 62—77, https://doi.org/10.32686/1812-5220-2019-16-3-62-77
Содержание
Введение
1. Глобальные катастрофические риски
2. Технологическая сингулярность
3. Три явных признака наступающей технологической сингулярности
4. Как выжить в технологической сингулярности?
5. Что за сингулярностью?
6. Сотворение бога
7. Возможные последствия технологической сингулярности Заключение
Литература
Yury I. Sokolov
Existential risk of technological singularity
Мы на грани великих перемен. Все, на что, как считалось, нужны «тысячи веков», случится в ближайшие сто лет. И несмотря на весь свой оптимизм, мне было бы комфортнее, если бы от этих сверхъестественных событий нас отделяли тысяча лет, а не двадцать. Вернор Виндж, американский математик и писатель-фантаст http://www.rgo-sib.ru/science/221.htm ...Мы живем в уникальный период истории человечества. У математиков есть термин для его описания — это сингулярность. Речь идет о все более ускоряющихся и все менее предсказуемых изменениях технологической и социальной реальности.
В. Садовничий, ректор МГУ Пленарное заседание съезда Российского союза ректоров 26 апреля 2018 г. ...Сингулярность — это хорошее слово. Где-нибудь скажу — буду выглядеть приличным человеком.
В. Путин
http://kremlin.ru/events/president/news/57367/photos
Введение
Некоторые современные исследования предлагают вариант хотя и не в полном смысле научного, но в достаточной степени рационального подхода к измерению объективных параметров эволюции цивилизации с возможностью однозначного предсказания ее развития на ближайшие десятилетия. Эти исследования связаны с так называемым феноменом технологической сингулярности. В последнее десятилетие живо обсуждается тема наступления в ближайшем будущем человечества некоего особого момента, так называемой сингулярной точки.
Сингулярность указывает на то, что в реальности должен появиться новый феномен, новый процесс, для описания которого необходима другая логика. Ну а если в одной временной области совпадает множество сингулярных решений, это означает, что должно появиться нечто существенно новое, принципиально новая реальность, новый эволюционный этап. По масштабу новационных изменений грядущий сингулярный переход, наверное, следует сравнивать с событиями появления жизни и человека разумного, то есть формирования биосферы и цивилизации.
Если говорить о настоящем времени и ближайшем будущем, то многие современные исследователи сходятся на мысли, что человечество существует и будет вынуждено существовать в зоне серьезных рисков, чреватых катастрофическими событиями, — хотя бы в смысле влиятельной концепции «общества риска» немецкого социолога У Бека, всерьез опасавшегося, что чрезвычайное положение может стать нормой для социума XXI в.
В последнее время мысль о том, что очень быстрый технический прогресс приближает человечество к точке «сингулярности», перешла из области научной фантастики в сферу серьезных научных дебатов.
1. Глобальные катастрофические риски
Лидеры современных исследований глобальных катастрофических рисков (ГКР) — шведский философ, профессор Оксфордского университета, известный своими работами об антропном принципе Ник Бостром и сербский астроном и трансгуманист Милан Чиркович определяют феномен ГКР следующим образом: это «риск, который мог бы потенциально причинить серьезный урон человеческому благополучию в глобальном масштабе», включая подмножество экзистенциальных рисков («угроз существованию»), связанных с возможным вымиранием человечества или необратимым ограничением его потенциала [1].
Классификация возможных глобальных катастроф:
1) риски, исходящие от природы (например, вспышки сверхновых, всплески гамма-излучения, мощные солнечные вспышки, риск столкновения Земли с крупным астероидом или кометой, земной супервулканизм);
2) риски, исходящие от преднамеренных последствий человеческой деятельности (например, глобальные климатические изменения, пандемии, искусственный интеллект, вышедший из-под контроля, социально-экономическая катастрофа);
3) риски, исходящие от враждебных действий (например, ядерная война, ядерный и биотерроризм, боевые нанотехнологии).
К числу ГКР относят и «технологическую сингулярность».
Scientific review
Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
Онтологические принципы концепции ГКР
1. Принцип несвязанности прошлого и будущего, приводящей к неопределенному и непредсказуемому характеру развития.
Специфика глобальных катастроф состоит именно в том, что они во всех смыслах беспрецедентны. Н. Бостром пишет, что «...наш прошлый успех не дает никаких оснований ожидать успеха в будущем» и «хотя легко думать об эволюции как о жизни, происходящей от простых к более сложным формам, мы не должны некритически предполагать, что это всегда так... здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения информационная ценность этого одного свидетельства очень ограничена».
Прошлое могло бы быть совершенно иным; оно нерепрезентативно относительно многих явлений будущего: «ошибочно веря, что прошлое предсказуемо, люди пришли к выводу, что будущее тоже предсказуемо... Люди удивляются катастрофам, которых они не ожидали, которые лежат за пределами известных им исторически вероятных распределений», отмечает в этой связи Элиезер Юдковский — американский специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности.
2. Принцип «равноправия» возможностей («в равной степени возможно все») и абсолютизации случайности, определяющих характер процессов в наблюдаемой Вселенной.
Н. Бостром в этой связи отмечал, что «в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущенного в далекой галактике миллиард лет назад».
3. Принцип конечности человека и ограниченности прогрессивного развития материи в наблюдаемой Вселенной.
Н. Бостром и М. Чиркович подчеркивают, что «не только технологически трудно, но и физически невозможно для разумного информационного процесса продолжаться за пределами некоторого конечного времени в будущем. Если так, то исчезновение (человечества) — это только вопрос времени».
Действительно, согласно расчетам возрастающая светимость Солнца приведет к гибели сложных форм жизни на Земле уже через 0,9—1,5 млрд лет.
И полностью «стерилизует» планету через 3,5 млрд лет. Правда, авторы оговариваются о возможности более долговременного существования разумной жизни за счет колонизации космического пространства. Однако и в этом случае, по их мнению, «разумный информационный процесс» обречен в силу предопределенной деградации сложных форм материи в расширяющейся Вселенной.
2. Технологическая сингулярность
Вообще термин «сингулярность» в переводе с латинского означает «единственный», «особенный». Используется во многих науках, в математике — обозначение «особых» точек функций, в которых функция стремится к бесконечности, в астрономии и астрофизике — описание черных дыр, согласно теории Большого взрыва, состояния Вселенной в момент образования, в философии — единичность существа, события или явления. Термин «сингулярность» использовали в своих научных трудах Джон фон Нейман, Алан Тьюринг, Альберт Эйнштейн и многие другие ученые в области математики, физики, астрофизики.
Термин «технологическая сингулярность» (его создателем является американский математик и писатель-фантаст Вернор Виндж) означает, что когда-нибудь наступит момент, когда технический прогресс благодаря новым технологиям, охватывающим все сферы человеческой жизнедеятельности, будет настолько сложным и стремительным, что перестанет поддаваться пониманию. После этого остановить прогресс станет уже невозможно, а человечество, скорее всего, перейдет на совершенно новую стадию своего развития.
Сингулярность — это такое слово, которое ученые используют вместо «дао» (одна из важнейших категорий китайской философии. Конфуций и ранние конфуцианцы придали ему этическое значение, истолковав как «путь человека»), — нечто, для описания чего не существует слов, теорий и формул. С чего начался Большой взрыв? С сингулярности. Что будет, когда технологии войдут в непрерывный цикл совершенствования? Сингулярность. Что тогда случится с нами? Сингулярность...
Сингулярность — это наиболее значительное событие в истории человечества. Она наступит в результате одновременного действия трех продвинутых технологий: искусственного интеллекта,
Yury I. Sokolov
Existential risk of technological singularity
молекулярной нанотехнологии и молекулярной биотехнологии. Скорость продвижения к точке сингулярности вначале увеличивается постепенно, но механизм обратной связи с каждым укорачивающимся циклом все быстрее ведет нас к сингулярности. При достижении сингулярности способности человечества становятся действительно потрясающими — полный контроль над структурой материи на атомном уровне, полное знание биологических процессов от макро- до микро- и молекулярного уровня и сверхчеловеческий искусственный интеллект [2].
Каждая из этих трех технологий достигает физического предела в сингулярности. Распад общества и нашего образа жизни будет полным, сингулярность будет предвестником начала новой эры, в которой физическое и умственное совершенство будут нормой наряду с невообразимым благосостоянием и свободой.
В конце прошлого столетия известным американским изобретателем и футурологом Реймондом Курцвейлом были опубликованы три книги, в их названиях был отражен весь сдвиг его интересов к духовной утопии от технологической: «Эпоха духовных машин», «Эпоха мыслящих машин», «Сингулярность уже близко». Последняя книга в Америке стала бестселлером.
Число последователей Курцвейла постоянно растет во всех странах мира, центр движения находится в Кремниевой долине и в Калифорнийском технологическом институте (США). Курцвейл вместе с Ларри Пейджем, руководителем корпорации Google, основали Университет сингулярности как частное образовательное учреждение. Основной идеей образовательного учреждения является: вдохновлять и обучать лидеров, чтобы они использовали экспоненциальные технологии для решения главных проблем человечества.
Курцвейл считает, что человечество уже достигло стадии в эволюции, когда оно может постичь свой интеллект, может получить доступ к исходному коду и расширить его или изменить при желании, чтобы преодолеть биологические границы. Курцвейл уверен, что «преодоление границ» — это не просто желаемая возможность, а необходимая задача перед человечеством, если оно хочет выжить в долгосрочной перспективе.
Он предсказывает три революции на ближайшее будущее, которые преобразят биологию в областях на-
нотехнологий, генетики, робототехники, и произойдет создание сверхинтеллекта. Курцвейл: «Нанотехнологии оперируют на стыке физического и информационного миров, они способны снабдить человечество инструментарием, используя который, можно будет перестраивать физический мир, в том числе наш мозг и наше тело. Человек сможет не просто распоряжаться своим телом, но и сможет преодолеть самое последнее биологическое препятствие — смерть».
В книге «Сингулярность уже близко» можно четко отследить ноты мессианства в его проекте. Что представляет собой сингулярность? В определении Курцвейла «сингулярность» — это определенное событие, которое может разорвать ткань всей человеческой истории. Период будущего, когда скорость, с которой будут происходить технологические изменения, будет настолько быстрой, а влияние изменений столь глубоким, что человеческая жизнь неминуемо трансформируется. Сингулярность преобразует не только человечество, но и всю Вселенную. Человек сможет наполнить ее креативностью и интеллектом, сможет преодолеть скорость света, а это конечная цель сингулярности и будущая судьба всей Вселенной.
Курцвейл предсказывает, что это событие случится в 2045 г., дата выбрана неслучайно. Движение трансгуманистов следует макроисторическому видению всей человеческой истории, этим видением они объясняют естественную историю и человеческую, включая в него историю Вселенной. Они объясняют все одной единственной концепцией — концепцией экспоненциальной функции, которую впервые сформулировал Гордон Мур, один из основателей компании Intel, в 1965 г.
Курцвейл расширил экспоненциальную концепцию максимально и вывел свой закон — ускоряющей отдачи. Он пишет, что скорость экспоненциального роста сама по себе теперь экспоненциально возрастает. Закон Курцвейла более радикальный в трех отношениях: он рекурсивный (результаты влияют на скорость, с которой достигаются изменения, влияющие на будущее, удвоение также происходит каждые 18 месяцев). Экспоненциальный рост почти неограничен (новые возможности в технологиях позволяют искать новые пути обхода ограничений). Рост безграничный (каждое ограничение приводит к тому, что рост начинается на более высоком уровне). Рост не ограничивается возможностями
Scientific review
Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
компьютерных технологий, он затрагивает весь эволюционный процесс (экспоненциальная функция — Вселенная от Большого взрыва до конца человеческих дней) [https://lenta.ru/articles/2015/08/09/ cosmism/].
Другим сторонником этого явления является генеральный директор японской телекоммуникационной медиакорпорации SoftBank Масаёси Сон. Сон недавно принимал участие в «Инвестиционной инициативе будущего», мероприятии, проходившем в Эр-Рияде (Саудовская Аравия), где он уверенно предположил, что технологическая сингулярность может настать примерно через 30 лет, когда искусственный интеллект разовьет свой IQ до 10 000. А чтобы это случилось наверняка, его корпорация решила инвестировать 100 миллиардов долларов в разработку технологий, которые смогут поддерживать такой уровень IQ. Следует отметить, что такой показатель IQ выходит далеко за пределы среднестатистического человеческого, составляющего около 100—120 единиц, и, безусловно, выше даже самых гениальных примеров интеллекта с показателем 200 единиц.
«Сингулярность представлена концептом превосходства над человеческим мозгом. Это переломная точка, точка пересечения, когда искусственный интеллект, компьютерный интеллект превзойдет возможности человеческого мозга. И это событие определенно произойдет в этом столетии. Я бы сказал, что здесь даже не о чем спорить, потому что никаких сомнений в этом нет», — цитирует слова японского миллиардера американское агентство CNBC [csef.ru/ru/direction/print/6376].
По мнению Сона, крайний срок наступления сингулярности — 2047 г. И это, следует отметить, весьма близко к предсказаниям того же Курцвей-ла, который ранее заявил, что событие состоится в 2045 г. Но в отличие от Курцвейла компания SoftBank постарается сделать так, чтобы сингулярность действительно пришла. Последние инвестиции медиагиганта связаны со сферой искусственного интеллекта. Недавно SoftBank подписала соглашение о сотрудничестве с создателями IBM Watson, компаниями Fetch Robotics и Honda, а также купила британского производителя ARM-процессоров, компанию ARM TechCon.
Не все разделяют энтузиазм Сона по поводу сингулярности. И это вполне очевидно. Некоторых
экспертов, включая генерального директора Tesla Илона Маска, физика и популяризатора науки Стивена Хокинга, а также соучредителя Microsoft Билла Гейтса, очень беспокоят перспективы развития ситуации после вероятного наступления сингулярности. По их мнению, когда роботы станут умнее человека, мы определенно столкнемся с последствиями этого. И некоторые из этих последствий могут быть катастрофическими для нашего дальнейшего существования. Именно поэтому тот же Маск решил инвестировать в технологии, которые, по его мнению, помогут повысить наши шансы на выживание в случае, если мир попытаются захватить умные машины.
3. Три явных признака наступающей технологической сингулярности
Наступление сингулярности подготовлено экспоненциальным развитием передовых технологий.
Сингулярность — взрыв нанотехнологии, биотехнологии и компьютерной технологии. Сингулярность — это беспрецедентное событие в истории людей, когда жизнь, какой мы ее знаем, изменится от «обыденного дела» до состояния виртуально неограниченных возможностей [3].
1. Симбиоз человека и машины
Американский математик и писатель-фантаст
Вернор Виндж в своей статье от 1993 г. предположил, что рано или поздно компьютеры обретут сознание (самостоятельно или в результате действий человека — неважно), и тогда возникнет сверхчеловеческий интеллект. О возникновении сверхинтеллекта говорить пока рано: да, исследования в этой области, несомненно, ведутся.
Отдельно человек и компьютер суперинтеллектом не обладают, зато вместе — вполне. Да, искусственный интеллект, конечно, нечто более грандиозное, но и та малость, которую мы имеем, уже может привести к технологической сингулярности.
2. Идеи и информация мгновенно становятся достоянием общественности
Этот признак напрямую связан с первым. Мы живем в эпоху Интернета, и, как уже говорилось, любая нужная нам информация может быть найдена за несколько минут. Как только происходит нечто важное, будь то событие на другом континенте, научное открытие или чье-то персональное дости-
Yury I. Sokolov
Existential risk of technological singularity
жение, об этом потенциально может узнать каждый человек, если задастся такой целью.
3. Улучшение человеческого тела и его возможностей посредством технологий
Говоря об улучшении человеческого тела, мы имеем в виду не только само тело, но и мозг. Сейчас потерянные конечности можно заменить искусственными, которые будут ничуть не хуже: некоторые люди ведут вполне полноценную жизнь с искусственным сердцем, другие обретают потерянное зрение при помощи глазных имплантов, а стволовые клетки теперь возможно печатать на ЭБ-принтере.
Что касается мозга, то в наши дни серьезная роль отводится оптогенетике: теория состоит в том, что в мембраны нервных клеток можно внедрить специальные каналы — опсины, реагирующие
на возбуждение светом. Это позволит использовать свет для контроля и управления некоторыми участками мозга и в перспективе справиться с болезнями Альцгеймера и Паркинсона, т. е. избежать потери функциональности мозга, а в еще более далекой перспективе — увеличить возможности мозга и заставить его работать еще быстрее.
Считается, что главным признаком наступления технологической сингулярности станет появление «постчеловека» — существа, владеющего невероятными технологиями и обладающего невозможными для нас физическими и умственными способностями. В постлюдей можем превратиться мы, наши потомки, которые овладеют своей биологической природой, нашпигуют тела электроникой и нанома-шинами, станут почти бессмертными (рис. 1).
Рис. 1. Симбиоз человека и машины [4]
Figure 1. Symbiosis of man and machine
Scientific review
Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
Но в последние годы нас обходит сильный конкурент, претендующий на ту же роль, — искусственный интеллект (ИИ), для которого люди могут стать лишь досадной помехой на пути к окончательной эффективности.
4. Как выжить в технологической сингулярности?
Валерия Удалова, одна из создателей Российского трансгуманистического движения, говорит: «Вероятность негативного сценария сингулярности очень высока. Настолько, что перед ее лицом нам остается стиснуть зубы и спешить вперед, к тому, чтобы самим стать постлюдьми и спасти человечество от недружественного искусственного интеллекта (ИИ). По счастью, сильный ИИ — способный осознавать свое существование — развивается не так быстро, как «обычный» слабый, который используется сегодня. Так что шансы у нас есть» [4].
Homo сверхчеловек
Благодаря развитию медицины ожидаемая продолжительность жизни растет уже два века. Для родившихся в 1955 г. она составляла лишь 48 лет, а к 1995 г. достигла 65. По данным ВОЗ, средняя ожидаемая продолжительность жизни у родившихся в 2015 г. составляет 71,4 года — больше, чем когда-либо в истории человечества. Миллионы людей, появившихся на свет в начале XXI в., доживут до следующего столетия. Это будет уже незнакомое нам по предыдущим эпохам человечество. Глубокое понимание работы генома позволит избавиться от наследственных болезней, лечить диабет и рак, старческую деменцию.
Медицина станет персонализированной: лекарства будут назначаться и синтезироваться с учетом индивидуальных особенностей организма каждого больного. Нанороботы станут бороться с инфекциями и опухолями, поддерживая и усиливая иммунитет.
Некоторые футурологи прогнозируют воссоздание нейронной структуры мозга в компьютере и последующую «загрузку» в нее человеческого сознания. Другие защищают противоположный путь — совершенствование организма, интеграцию в него электроники. Если подумать, мы идем обоими путями сразу. С одной стороны, наши образы в соц-
сетях — уже что-то вроде зачатка новой личности со своей историей жизни в сетевом «облаке». С другой — еще более реальными прообразами будущего постчеловека служат контактные линзы, искусственные водители сердечного ритма, управляемые командами мозга протезы.
Впрочем, ключевой способностью людей будущего должен стать «усиленный интеллект» (IA, Intelligence Amplificated), многократно превосходящий наш. К этому на встрече Code Conference 2016 призвал глава компаний Tesla и SpaceX Илон Маск. «Думаю, одним из решений станет добавление в мозг нового слоя ИИ, — сказал он, — который будет работать в симбиозе с остальными частями тела». Маск видит в этом единственный шанс угнаться за стремительной эволюцией искусственного интеллекта и не оказаться чем-то вроде домашних животных у нового хозяина планеты — электронного постчеловека.
Мозг трудно назвать вычисляющей системой наподобие калькулятора. Он не слишком приспособлен для сложения или выделения квадратного корня. Его конек — способность оперировать абстрактными концепциями и выстраивать сложные ассоциации. Но компьютеру под силу и это: ИИ организован, по сути, так же, как и нейронные сети человеческого мозга. Первые слои «нейронов» ИИ вычленяют характеристики входного сигнала, следующие их анализируют и комбинируют для получения выводов. Как и в мозге, гибкость связей между слоями ИИ позволяет системе обучаться и совершенствоваться.
При этом ИИ не связан черепашьим шагом биологической эволюции и развивается в миллионы раз быстрее. Уже сегодня он выполняет многие сложные задачи эффективнее человека. Он не устает и не болеет, не стареет и совершенствуется непрерывно, он не знает ограничений человеческой морали. Так что на вопрос, будут ли компьютеры умнее нас, можно ответить: будут, но недолго. Вскоре мы наверняка станем обузой для машин, способных самостоятельно познавать мир, учиться и улучшаться.
Руководитель направления Интернет вещей российского отделения Huawei Марат Нуриев считает одним из ключевых направлений развития информационных технологий рост
Yury I. Sokolov
Existential risk of technological singularity
«интеллектуальности» окружения человека и внедрения ИИ в повседневную жизнь. «Благодаря этому неодушевленные предметы получат индивидуальное подключение к Сети и смогут "общаться" между собой без участия человека. Подобные системы уже внедряются в виде решений для "Умного дома", "Умного города" и т. п. — говорит он. — Однако и это не предел: вслед за Интернетом вещей ожидается появление Интернета думающих машин, когда интеллектуальные, автономные предметы станут подстраиваться под наши привычки и особенности поведения» [4].
Пришествие постчеловека
Уже сейчас ИИ окружает нас повсюду. Его элементы реализованы в выпадающих подсказках, которые выдает интернет-поисковик, и в советах по покупкам в онлайн-магазинах. Они используются для регулирования воздушного движения и биржевой торговли. Агентство Associated Press пользуется ИИ для написания корпоративных новостей. Континент задач, которые были прерогативой человека, стремительно поглощает океан ИИ. Сегодня этот прилив кажется неостановимым, как цунами. В марте 2016 г. он прорвал еще одну плотину, выиграв матч у одного из сильнейших в мире мастеров го. До сих пор эта древняя игра считалась незыблемым бастионом человеческого мышления. Ведь каждый ход в ней может быть сделан в любое перекрестие сетки из 19x19 линий, и минимальное количество неповторяющихся партий в го оценивается в умопомрачительную величину 10360. Эти числа неподвластны ни компьютерному перебору, ни средствам его оптимизации — таким, как метод Монте-Карло, который некогда помог компьютеру Deep Blue победить Гарри Каспарова. Но тем болезненней оказался проигрыш: компьютер буквально разгромил обладателя высших титулов го Ли Седоля, доминируя на поле в четырех партиях из пяти.
5. Что за сингулярностью?
По мнению российского астрофизика Александра Панова, соавтора «кривой Снукса — Панова», описывающей сингулярность, которая увязывает воедино эволюцию Вселенной, биосферы и общества и тоже срывается в бесконечность где-то
в середине нынешнего века, люди, являясь естественным фрагментом общего эволюционного процесса, не являются его конечным звеном. Эволюция может и должна идти дальше, и каким образом это произойдет, зависит от нас. Надо ощутить как встроенность в глобальные процессы, так и смысл собственного существования в контексте этих процессов. Это очень важно [http://www.rusrep.ru/ar-^/2012/04/25^^^^1].
На стадии сингулярности развитие технологий уподобится развитию Вселенной в момент Большого взрыва: тогда в первую секунду событий произошло больше, чем за все последующие 13,5 млрд лет. Адепты сингулярности полагают, что эта стадия наступит с созданием интеллекта, значительно превосходящего человеческий: компьютерного, сетевого или, вероятнее всего, симбиотического, связанного с технологическим усилением возможностей человеческого мозга. И дольше века будет длиться день, в который этот сверхинтеллект станет все быстрее совершенствовать себя, достигнув непостижимых для нашего ограниченного ума высот. Что будет дальше, предсказать невозможно.
Важно отметить, что проход через точку сингулярности ни в коем случае не означает неминуемую катастрофу для человечества. Это означает только, что цивилизация входит в новый рукав истории. Скорее всего, точка кризиса глобального аттрактора истории является и точкой бифуркации — возможны разные результаты преодоления точки сингулярности, и возможны разные траектории развития в постсингулярной стадии. От деталей поведения цивилизации зависит, что это будет за траектория. Глобальная катастрофа, к сожалению, остается одной из возможностей [7].
«Сингулярность — это некий период фазового перехода, когда ломается прежний режим эволюции, потому что чисто математически она не может ускоряться тем же самым способом», — говорит Александр Панов.
«Все существующие правила и законы развития должны кардинально измениться. Как? Никто не знает, — разводит руками Панов. — Ясно одно: это будет очень серьезный вызов. Зона сингулярности — это фактически концентрация кризисов. Это будет непростая жизнь — чтобы выжить,
Scientific review
Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
нам придется создать и поддерживать множество механизмов компенсации кризисов: экономического, энергетического, информационного, мировоззренческого.
Развитие технологий стремительно приближает нас к рубежу, за которым начнется дерзкое вмешательство в человеческую природу. Искусственный глаз не будет знать болезней и усталости, позволит приближать и удалять объекты, видеть в инфракрасном и ультрафиолетовом свете. Генная инженерия даст возможность менять программы, формирующие наше тело и психику. Мы сможем программировать свой мозг, непосредственно подсоединять его к «надмозгу» — нейросети, объединяющей людей, компьютеры и киборгов.
Практически никто не имеет достаточного опыта анализа экспоненциального технологического развития. Это не является частью нашего обычного окружения. Мы эволюционно и культурно запрограммированы на ожидание незаметной скорости перемен. У нас нет нейронных структур познания для моделирования экспоненциальной скорости перемен.
Свидетельством служит проект по расшифровке генома человека. В первое десятилетие прогресс был настолько слабым, что многие эксперты предрекали, что для его завершения потребуется еще 200 лет. Свыше 50 процентов исходных данных было получено в последние девять месяцев пятнадцатилетнего проекта» [2].
Когда достижения постоянно удваиваются в последовательно равных периодах времени, то этот процесс представляет собой первый порядок экспоненциального развития. Когда период времени удвоения со временем сокращается, то это — второй порядок экспоненциального развития. Жизнь после сингулярности будет сильно отличаться от той, что была раньше, но она не будет непостижимой. Рекурсивно самосовершенствующийся ИИ разовьет разум, который в количественном отношении быстро превзойдет сегодняшний человеческий уровень интеллекта. Эти количественные улучшения будут включать расширение способностей, увеличение точности и скорости обработки данных. Количественные улучшения являются лишь расширением имеющихся у нас познавательных способностей.
6. Сотворение бога
Бог — это разум, переросший границы нашего понимания.
Фримен Дайсон, американский физик-теоретик
Ситуация вокруг ИИ напоминает историю с глобальным потеплением. Климатологи десятилетиями пугали человечество опасными процессами, которые начинаются на планете, но только сегодня, видя происходящее своими глазами, мы готовы согласиться с ними. То же происходит с ИИ: «Люди, чье развитие ограничено темпами биологической эволюции, окажутся неспособны соперничать с подобной системой», — предупреждал физик Стивен Хокинг [4].
Вообще, что бы мы ни понимали под словом «думать», делаем мы это не слишком хорошо. Способность сложным образом обрабатывать сенсорную информацию, выделять абстрактные понятия, связывать их и делать обоснованные выводы — сравнительно недавнее приобретение живой материи. Тонкая эволюционная надстройка над механизмами движения, пищеварения или иммунитета, которые оттачивались миллиарды лет. А вот ИИ создан только затем, чтобы думать. На этой задаче он полностью сосредотачивает вычислительные ресурсы, эволюционирует и обучается на порядки быстрее нас. Когда его «разум» станет больше общего «разума человечества», он может счесть нас атавизмом, преградой на своем пути к вечному познанию Вселенной.
Создание искусственного интеллекта на Земле ничуть не опаснее чужого ИИ, пришедшего с иной планеты. В любом случае у этого ИИ будут собственные ценности, мораль, чувства и интересы. Полагать, что интересы ИИ будут совпадать с нашими, абсурдно наивно, а для того чтобы понять, каков может быть эффект от конфликта интересов, стоит подумать, что человек сделал с природой и живыми существами на Земле. Таким образом, нам необходимо подготовиться к неизбежному появлению разумного ИИ. Все это — угроза существованию нашего собственного вида.
Мы редко понимаем потенциальную угрозу наших собственных изобретений. Когда начинаем сознавать, уже обычно слишком поздно. Человечест-
Yury I. Sokolov
Existential risk of technological singularity
во выживет, если мы станем умнее, гораздо умнее, и сможем опережать машины.
Если же мы говорим об ИИ, который превосходит человека абсолютно во всем, то здесь нужно сначала понять, как работает наш собственный разум. И только потом уже можно задуматься о создании чего-либо, что превосходит нас. Мозг человека до сих пор остается сложнейшей проблемой, решить которую пока не могут лучшие из лучших. Мозг человека определенно сложнее, чем самые сложные нейросети или комплексы нейросетей. У нас около 100 миллиардов нейронов в мозге. Не только их количество, но прежде всего их структура и принцип взаимодействия дают нам возможность думать и действовать.
Сверхчеловеческий искусственный интеллект (СИИ) — это компьютерный разум, который выше человеческого уровня по эрудиции, мышлению и способности познавать окружающий мир. Практические возможности применения СИИ в человеческой деятельности, в таких областях, как наука, инженерия, политика, бизнес, медицина и развлечения, практически безграничны.
Момент сингулярности в истории человечества может настать, если экспоненциальный технологический прогресс принесет с собой такие масштабные перемены, что деятельности человека, как мы ее понимаем сейчас, придет конец.
Экстраполяционные расчеты, проведенные по формуле логарифмического ускорения эволюции, привели к выводу, что около середины XXI века гиперболическая кривая может превратиться в вертикаль, т. е. скорость глобальных изменений устремится к бесконечности, а интервалы между глобальными фазовыми переходами — к нулю [5].
В российской научной традиции этот математический образ обозначен как вертикаль Снук-са — Панова: австралийский экономист и историк Г. Д. Снукс и русский физик-теоретик А. Д. Панов в 1996 и в 2003 гг. опубликовали логарифмическую формулу ускорения с ее экстраполяционным выводом (Панов, не зная о работе Снукса, опирался на другие источники и использовал более строгий математический аппарат).
Сравнение длительности исторических эпох позволило обнаружить, что каждая последующая фаза эволюции планетарной системы в среднем
в а = 2,67 + 0,15 раза короче предыдущей. Режим масштабно-инвариантного ускорения приводит к неожиданному, но, по-видимому, совершенно неотвратимому выводу: так, как эволюция протекала в течение четырех миллиардов лет, с момента возникновения жизни и до наших дней, она может продолжаться лишь конечное время, причем сегодня мы вплотную подошли к точке окончания масштабно-инвариантной планетарной истории, которая получила название точки сингулярности. Эта сингулярность относится не только к человеческой истории, но и ко всей планетарной эволюции, так как всю ее охватывает масштабная инвариантность. Длительность фаз развития вблизи сингулярности должна стремиться к нулю, а количество переходов в единицу времени — к бесконечности. Как реально растет плотность планетарных революций, показано на рис. 2 [https://interfax-era.ru/metodologiya/ analiticheskie-obzory/monitoring-globalnogo-krizisa/ раЛ2-3].
Технологическая сингулярность — момент времени, по прошествии которого прогресс станет слишком активным и непостижимым для человека, следовательно, и не контролируемым. Подобную идею впервые описал Фридрих Энгельс: «Наука движется вперед пропорционально массе знаний, унаследованных ею от предшествующего поколения».
0,1
ч 0,01
0 1_
со
> ^
1 1Е-3
о со ш ср о со
У 1Е-4
X ^
о :с
1Е-5
-120000 -80000 -40 000 0
Рис. 2. Рост плотности планетарных революций
Figure 2. The increase in the density of planetary revolutions
Информационная революция ■ Пар, электричество I
Промышленная революция^
Средние века ^ Осевая революция р Городская революция^
Неолит 4 /
/
Верхний палеолит ^ ^
Мустье _ _ •
Scientific review Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
Рис. 3. Зависимость уровня организации на Земле от времени ее образования
Figure 3. The dependence of the level of organization on Earth from the time of its formation
По его мнению, скорость прогресса возрастает пропорционально квадрату расстояния во времени от ее возникновения. На рис. 3 на оси х показано истинное время, а на оси у — время между революциями. Из графика следует, что время между событиями стремительно уменьшается, что говорит нам о теоретической возможности и правильности описанной выше концепции. Так когда же наступит сингулярность? Для ответа на вопрос познакомимся с новым термином — «точка сингулярности». Точка сингулярности — точка на временном потоке, начавшая технологическую сингулярность, научный прорыв [http://www.mirprognozov.ru/prognosis/sci-ence/tehnologicheskaya-singulyarnost-vsadniki-apoka-lipsisa-progressa/tr].
Какая же предметная реальность может скрываться за загадочным математическим результатом? Насколько достоверны прогнозы, вытекающие из экстраполяции логарифмической кривой? Не являются ли они очередной редакцией «квазирелигиозных» ожиданий конца света, апокалипсиса, Царства Христова и т. д.? А если вырисовывающаяся сингулярность прогностически релевантна, то как будет изменяться в ближайшие десятилетия содержание «глобальных проблем»?
Привычные нам институты — экономика, правительство, государство, закон — могут не сохраниться в их нынешней форме. На смену базовым общечеловеческим ценностям — неприкосновенности жизни, стремлению к счастью, свободе выбора — могут прийти другие ценности. Само наше представление, что означает быть человеком — быть личностью, быть живым, осознавать себя, занимать определенное положение в обществе, — все это может быть оспорено, причем не просто в рамках философских рассуждений, а в силу обстоятельств, прямых и непосредственных. Каким должен быть технический прогресс, чтобы вызвать такой переворот [6]?
Возникновению подобной технологической сингулярности может способствовать значительный прогресс в одной из двух областей (или в обеих): искусственного интеллекта или нейротехноло-гий. Мы уже научились вмешиваться в саму основу жизни — в гены и ДНК. Влияние биотехнологий достаточно внушительно, но оно меркнет перед масштабом возможных последствий нашего вмешательства в «механизмы разума». Сейчас интеллект по большей части неизменен, и это ограничивает как масштаб, так и скорость технического прогресса. Естественно, объем человеческих знаний накапливался тысячелетиями, одновременно расширялись наши возможности распространения этих знаний — благодаря письму, печати и Интернету. Но орган, производящий знания, — мозг homo sapiens — за этот период практически не изменился, несмотря на его непревзойденные способности познания мира. Все изменится, если сбудется то, что обещают искусственный интеллект и нейротехнологии.
Если интеллект станет не только источником технологий, но и их продуктом, может возникнуть цикл обратной связи с непредсказуемыми и потенциально взрывоопасными последствиями. Если конструируется сам разум, который одновременно является автором такого конструирования, он может вступить в цикл самосовершенствования. В соответствии с гипотезой сингулярности в скором времени обычный человек выйдет из игры, потому что больше не будет в состоянии поспевать за пришедшими ему на смену машинами с искусственным интеллектом или биологическим интеллектом с улучшенными когнитивными способностями.
Yury I. Sokolov
Existential risk of technological singularity
Один из аргументов в пользу ее серьезного рассмотрения заключается в том, что Рэй Курцвейл называет «законом ускорения отдачи». В области технологии действует закон ускорения отдачи, если скорость, с которой совершенствуется технология, пропорциональна качеству самой технологии. Иначе говоря, чем совершеннее технология, тем быстрее она улучшается, что в результате дает экспоненциальное во времени совершенствование.
Эти факты дают некоторым комментаторам основания утверждать, что человеческая раса «оседлала» кривую резко растущей сложности, берущую начало в далеком прошлом. Если это так, то надо лишь экстраполировать технологическую часть этой кривой чуть в будущее, чтобы увидеть важный переломный момент — точку, в которой технология совершенствования человека делает обычного человека безнадежно устаревшим с технологической точки зрения [6].
Естественно, по законам физики любой экспоненциальный тренд в технологии должен рано или поздно выйти на пологий участок, и есть масса экономических, политических или научных причин, по которым экспоненциальный тренд может прекратиться до достижения своего теоретического предела. Но представим себе, что развитие технологий, имеющих самое непосредственное отношение к ИИ и нейротехнологиям, сохранит свой темп роста, и в результате такого расширения возможностей конструирования разума мы научимся синтезировать сам интеллект и манипулировать им. На этом этапе сам интеллект, искусственный или человеческий, может подчиняться закону ускорения отдачи, а отсюда остается один небольшой шаг до признания возможности технической сингулярности, а если технологическая сингулярность действительно произойдет, последствия для человечества будут фундаментальными.
Вероятность технологической сингулярности создает как экзистенциальный риск, так и экзистенциальные возможности. Экзистенциальный риск заключается в угрозе самому выживанию человека как вида. Это может казаться преувеличением, но новые современные технологии обладают невиданными ранее возможностями. Несложно представить себе, как беспринципный ученый создает исключительно заразный, устойчивый к ле-
карствам вирус, способный погубить все человечество. Только сумасшедший может преднамеренно сотворить такую вещь. Но для создания вируса, способного превратиться в подобного монстра, требуется чуть больше, чем простое безрассудство. Причины, по которым развитый ИИ создает экзистенциальный риск, аналогичны, но существенно тоньше.
Способность конструировать разум открывает нам возможность выйти за доставшиеся нам от природы биологические пределы и избавиться от обусловленных ими ограничений. Самое главное из этих ограничений — смертность. Живое тело — очень хрупкая вещь, подверженная болезням, разрушению и разложению, а биологический мозг, без которого (сейчас) невозможно сознание человека, — всего лишь часть этого тела. Но если мы научимся восполнять любой ущерб, причиненный телу, и в конечном итоге воссоздавать его с нуля, может, даже на небиологической основе, тогда ничто не сумеет остановить неограниченное расширение сознания. Продление жизни — один из аспектов направления, известного как «трансгуманизм». Почему нас должна удовлетворять такая жизнь человека, какой мы ее знаем? Если мы сумеем воссоздать мозг, то что сможет запретить нам перепроектировать или улучшить его?
Можно улучшать память, внимание и способности к обучению с помощью фармакологических средств. Но способность полностью перепроектировать мозг предполагает возможность более радикальных форм улучшения и реорганизации процессов познания. Что мы можем и должны делать с помощью таких средств преобразования? Некоторые говорят, что это как минимум снижает экзистенциальный риск со стороны суперинтеллектуальных машин. Весьма вероятно, что нам удастся поспеть за их возможностями, но в процессе мы рискуем измениться до неузнаваемости.
Самый крупный и вызывающий экзистенциальный аспект технологической сингулярности можно осознать, только полностью абстрагировавшись от человека и заняв более космологическую точку зрения. Ясно, что антропоцентрическому мышлению свойственно полагать, будто история материи в нашем уголке Вселенной замыкается на человеческом обществе и мириадах живых мозгов.
Scientific review
Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
Но не исключено, что у материи есть масса других возможностей увеличения масштаба сложности. Вероятно, в будущем возникнут более совершенные формы сознания, нежели наше. Должны ли мы опасаться такой перспективы или приветствовать ее? Сможем ли мы в принципе воспринять такую идею? Независимо от того, приближается точка сингулярности на самом деле или нет, эти вопросы стоит задавать, и не в последнюю очередь потому, что попытки ответов на них способны пролить свет на нас самих и наше место в миропорядке.
В будущем рост технологий будет сопровождаться увеличением мощности и снижением стоимости. Ярким примером является iPhone. Он в миллион раз дешевле и в миллион раз меньше, а также в тысячу раз мощнее суперкомпьютера стоимостью 60 миллионов долларов, который поражал своими размерами 40 лет назад. Через 20 лет компьютеры станут в миллиард раз мощнее, в сотни тысяч раз меньше — и кто его знает, насколько дешевле. Программное обеспечение и искусственный интеллект, которые будут заправлять этой машинкой, тоже будут на высоте. Все это существенно изменит природу человеческих взаимоотношений, как это однажды сделал Интернет [8].
Экономист Джеффри Сакс сказал, что мобильный телефон — это самый мощный инструмент, поднимающий людей из бедности. Выводы были сделаны на основе наблюдений за 14 изолированными и бедными городами Африки, которые были оснащены мобильными технологиями. 10% вовлеченности в мобильную связь гарантируют 0,6-процентный рост ВВП. В 2000 г. в Кении было продано 17 000 мобильников, к 2010 г. это количество достигло 18 000 000. В стране появились новые отрасли, новые рабочие места, новая информация и пути развития людей. Исследование, проведенное ООН, подтвердило, что мобильные телефоны стали самой эффективной «таблеткой от бедности» в истории технологий.
Ежегодно от автомобильных аварий гибнет 1,3 миллиона человек. В 90% случаев виноваты люди. К 2020 г. число погибших увеличится до 1,9 миллиона, если верить прогнозам. Самоуправляемые автомобили будут спасать миллион жизней ежегодно, экономить триллионы долларов и многое другое. Конечно, в краткосрочной пер-
спективе экономика серьезно пострадает, но разве оно того не стоит?
Все чаще интеллектуальное программное обеспечение в сочетании с гибкой машинерией справляется со сложными задачами, на выполнение которых, как правило, способны только люди.
7. Возможные последствия технологической сингулярности
Событие это девальвирует весь свод человеческих законов за ненадобностью. Возможно, это произойдет очень быстро. Изменения будут развиваться по экспоненте без всякой надежды на восстановление контроля над ситуацией. Это событие Виндж назвал Сингулярностью (именно так, с большой буквы). «Это точка, в которой наши старые модели придется отбросить, воцарится новая реальность. Это мир, очертания которого будут становиться все четче, надвигаясь на современное человечество, пока эта новая реальность не заслонит собой окружающую действительность, став обыденностью. И все же, когда мы такой точки, наконец, достигнем, это событие все равно станет великой неожиданностью и еще большей неизвестностью» [9].
Виндж напоминает, что несмотря на то, что предотвратить сингулярность мы не сможем, инициатором все же выступает человек. А значит, в нашей власти менять начальные условия этого неуправляемого процесса, чтобы все происходило с минимальным для нас ущербом. Будет ли прок от предвидения и планирования? Зависит от того, будет ли переход к сингулярности резким или тихим. Резкий переход — это тот, при котором сдвиг к сверхчеловеческому контролю произойдет за несколько сотен часов. Спланировать такой переход трудно. Тихий переход может занять десятки лет, может быть, более века. В такой ситуации планирование возможно, можно вдумчиво экспериментировать.
Технологическая сингулярность — это вероятное взрывное ускорение научно-технического прогресса, которое приведет к полному изменению общества, морали и самого человека (включая не только разум, но и тело). Суть — в процессе технического прогресса будет создан сверхчеловеческий разум, действия и дальнейшее развитие которого сегодня даже спрогнозировать невозможно. Также предполагается, что после наступления технологической
Yury I. Sokolov
Existential risk of technological singularity
сингулярности будущее невозможно будет предположить в принципе.
Кстати, возможные последствия технологической сингулярности, возникшей в процессе развития нанотехнологий, абсолютно серьезно рассматривались Комиссией по экономической политике Конгресса США еще в 2007 г.
К сожалению, научный метод, основанный на экстраполяции текущей траектории движения системы в будущее (безусловно работающий на физическом уровне — на уровне «снарядов»), напрямую неприменим к движению такой системы, как цивилизация. Конечно, проведя статистическую обработку измерений некоего параметра частного процесса (скажем, экономического) и выявив закономерность в изменении во времени этого параметра, можно предсказать его будущие значения. Но делать такие предсказания удается лишь для отдельных процессов и на незначительных временных отрезках. Для экстраполяции движения такой сложной системы, как социум в целом, мы до сих пор не обладаем знанием законов ее эволюции. Возможные последствия технологической сингулярности пока никто не может определить однозначно [10].
На первый взгляд, идеальный добрый мир может стать вполне реальным. Однако общечеловеческие проблемы, которые могут неожиданно нарушить «идеальность» подобного мира, видятся философам, прогнозирующим технологическую сингулярность, поистине катастрофическими. Если разум поместить в непроницаемые границы, то он через большой промежуток времени может превратиться в закольцованную пленку, в то время как сама индивидуальная личность будет просто утеряна, а это значит, что вожделенное бессмертие превратится в кошмар для человечества, а затем и в причину его гибели. Проявление сингулярности в чистом виде, без непосредственного воздействия искусственного интеллекта, может выглядеть следующим образом. Обычно, когда обсуждают существ с суперразумом, имеют в виду некий научно-фантастический проект по созданию искусственного интеллекта.
Однако философы, писавшие о сингулярности, прогнозировали и альтернативные пути к сверхчеловеческим технологиям. Например, человеко-машинные интерфейсы и компьютерные сети, хотя и кажутся обывателям более реальными и даже
несколько приземленными, однако итогом их постоянного функционирования вполне может быть сингулярность.
Итогом подобной эволюции может стать решение сложнейших проблем развития, а затем уверенное воспроизводство «сверхразумных систем», аналогичных им интеллектуальных машин. Виндж пытается обратить пристальное внимание на проблему создания всемирных сетей и интерфейсов. Он считает, что в подобной «всемирной паутине» скрывается нечто роковое, что может привести к трагедии технологической сингулярности и, как следствие, гибели всего человечества.
Каким образом технологическая сингулярность может оказаться прямой причиной гибели мира людей?
1. Искусственным увеличением биологических возможностей человека.
2. Симбиозом наиболее сильных сторон человека как биологического организма и искусственного интеллекта.
3. Максимально интенсивным использованием информационных технологий и средств коммуникации для увеличения интеллектуальных возможностей биологического организма. Разумеется, все в руках человека разумного.
Если он окажется способным организовать сверхтехнологии, контролировать их, направлять в нужное русло, то человечество сможет жить еще достаточно долго. Основная проблема развития трагического сценария заключается не только в том, что технологическая сингулярность может стать основной причиной полного исчезновения людей, а в том, что этот процесс является абсолютно чуждым общепринятому понятию бытия.
Такая точка Сингулярности ровно разделит весь мир на «до» и «после», такие перемены можно сравнить разве что с появлением человека на Земле. Как полагают, все старые модели мира, возможно даже некоторые физические законы должны будут остаться в части «до» сингулярности; в новом же мире «после» будут построены новые модели, многие из которых будут непонятны человеку. Но самое главное, что это событие все равно настигнет людей совершенно неожиданно, как бы сильно не велась подготовка к нему. Если наступление сингулярности доказано, то как же понять, что то, что будет проис-
Scientific review
Discussion club Issues of Risk Analysis, Vol. 16, 2019, No. 3
ходить в какой-то момент времени, и есть сингулярность? Иначе говоря, речь идет о критериях этого события [11].
Точно известно, что произошедшее событие, возможно, полностью отодвинет все законы человечества на второй план либо вовсе их ликвидирует. Управлять ситуацией станет невозможно, цепная реакция нескольких событий в различных сферах науки приведет к еще более быстрому и большому скачку в технологиях, и все изменения, которые предположительно должны были случиться через тысячи лет (т. е. без учета сингулярности), произойдут за несколько десятков лет или меньше. В данном случае можно будет наблюдать так называемую точку невозврата, после которой человечество уже не сможет восстановить былой порядок и будет максимально быстро развиваться в плане технического прогресса, возможно, даже не по своей воле.
Технология является единственной сферой человеческой деятельности, где тенденции прошлого отражают будущее. Попробуйте просто представить жизнь будущего, где всех наших проблем практически не существует, а знаний бесконечно больше, чем у нас есть сегодня. В 2050 г. 90% того, что мы знаем сегодня, будет открыто за несколько лет. Особенную роль в этом всем сыграет Интернет.
Заключение
Великий Сократ в свое время переживал, что мысли, записанные на бумаге, приведут к атрофии мозга, поскольку никому не нужно запоминать то, что записано. Несмотря на мудрость Сократа, в этом вопросе он был близорук. Оглядываясь назад, мы понимаем, что стали умнее, поскольку начали регистрировать события, которые отразились в песках времени.
Экспоненциальный рост технологий и прогресса, который наблюдается сейчас, ведет к точке во временном промежутке от 2020 до 2070 г. Имеется огромное количество различных методов прогнозирования этой даты, некоторые методы пессимистичны, а некоторые, наоборот, слишком оптимистичны.
Много раз было сказано, что предотвратить наступление технологической сингулярности нельзя. Но сингулярность наступит как следствие естественных действий человека, а значит, именно чело-
век — инициатор конца и начала одновременно. Следовательно, человек может изменить начальные условия возникновения сингулярности так, чтобы сам переход не принес максимальный ущерб, а постсингулярный мир был более позитивно окрашен.
Есть несколько путей, выбирая которые, человечество придет к сингулярности, и каждый путь влечет за собой разные возможности этого Нового мира. Зная его негативные стороны, Человек должен суметь контролировать наступление сингулярности. Зная, что сингулярность непосредственно связана с существованием сверхчеловеческого, неподвластного ни контролю, ни прогнозу, стоит помнить о том, кто создаст сверхчеловеческое, — о человеке. Опять именно человек может предотвратить вымирание рода от «рук» своего собственного детища. Как? Золотое правило нравственности, которое в формулировке И. Канта звучит следующим образом: «поступай так, чтобы ты всегда относился к человечеству и в своем лице, и в лице всякого другого так же, как к цели, и никогда не относился бы к нему только как к средству» (Кант И. Соч. Т. 4, ч. 1. М., 1965).
Литература [References]
1. Внутских А. Ю. Глобальные катастрофические риски в свете концепции единого закономерного мирового процесса. Вестник Пермского ун-та. 2017. № 3, 4. [Vnutskikh A. Yu. Global catastrophic risks in the light of the concept of a single natural world process. // Bulletin of Perm University. 2017. No. 3, 4. 2. (Russia).]
2. Майк Диринг. Рассвет сингулярности http://www. proza.ru/2008/11/10/410 [Mike Deering. Dawn of the singularity]
3. Вернор Виндж. 3 явных признака наступающей технологической сингулярности. https://www.publy.ru/ post/3866 [Vernor Vinge. 3 clear signs of an upcoming technological singularity]
4. Фишман Роман. Невообразимое. Как выжить в технологической сингулярности? Популярная механика № 8, август 2008. https://www.popmech.ru/science/250202-kak-vyzhit-v-tekhnologicheskoy-singulyarnosti/ [Fishman Roman. Unimaginable. How to survive in the technological singularity? Popular mechanics number 8, August 2008.]
5. Назаретян А. П. Середина XXI века: загадка сингулярности. Размышление над книгой «Гипотезы сингулярности. Естественнонаучная и философская оценка»
Yury I. Sokolov
Existential risk of technological singularity
http://temnyjles.ru/Nazaretian/Belg.shtml [Nazaretyan A.P. The middle of the XXI century: the mystery of singularity. Reflection on the book "Singularity hypotheses. Natural science and philosophical evaluation".]
6. Технологическая сингулярность / Мюррей Шанахан: Пер. с англ. М.: Издательская группа «Точка», Альпи-на Паблишер, 2017. [Technological singularity / Murray Shanahan: Trans. from English. M.: Publishing Group "Tochka", Alpina Publisher, 2017.]
7. Панов А. Д. Сингулярная точка эволюции. http:// futurologija.ru/texts/singulyarnaya-tochka-evolyucii/ [Panov A.D. Singular point of evolution (Russia).]
8. Хель И. Технологическая сингулярность: за и против. https://hi-news.ru/technology/chtivo-texnologicheskaya-singulyarnost-za-i-protiv.html [Hel I. Technological singularity: pros and cons]
9. Виндж Вернор. Технологическая Сингулярность. 2004. https://www.booklot.ru/authors/vindj-vernor-stefan/ book/tehnologicheskaya-singulyarnost/content/458424-vernor-vindj-tehnologicheskaya-singulyarnost/ [Vinge Vernor. Technological Singularity. 2004.]
10. Сингулярность. Образы «постчеловечества» (сборник) / Сост. Константин Фрумкин. ООО «ТД Ал-
горитм», 2016. http://ogrik2.ru/b/kollektiv-avtorov/ singulyarnost-obrazy-postchelovechestva-sbornik/19967/ singulyarnost-obrazy-postchelovechestva-sbornik-sostavitel-konstantin-frumkin/0 [Singularity. Images of "post-humanity" (collection). Compiled by Konstantin Frumkin. TD Algorithm LLC, 2016.] 11. Сидоренко О. О., Михайлова Т. Л. Технологическая сингулярность как неминуемое событие: позитивная и негативная стороны вопроса. https://www. scienceforum.ru/2015/1090/10659 [Sidorenko O.O., Mikhailova T.L. Technological singularity as an inevitable event: the positive and negative sides of the issue.]
Сведения об авторе
Соколов Юрий Иосифович: полковник в отставке, Российское научное общество анализа риска Количество публикаций: более 200
Область научных интересов: риски ЧС и высоких технологий
Контактная информация:
Адрес: 121614, г. Москва, ул. Крылатские Холмы, д. 30, к. 4 Тел.: +7 (495) 413 84 50 E-mail: filat1937@yandex.ru
Автор заявляет об отсутствии конфликта интересов. Дата поступления: 15.08.2018 Дата принятия к публикации: 04.02.2019 Дата публикации: 28.06.2019
The author declare no conflict of interest. Came to edition: 15.08.2018 Date of acceptance to the publication: 04.02.2019 Date of publication: 28.06.2019
