Научная статья на тему 'Искусственный интеллект в аспекте ноосферы: почти фантастика?'

Искусственный интеллект в аспекте ноосферы: почти фантастика? Текст научной статьи по специальности «Философия, этика, религиоведение»

CC BY
711
152
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ / НООСФЕРА / ЭЛЕКТРОННАЯ ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ (ЭВР) / ЭВР КАК ПОРОЖДАЮЩЕЕ / ЕСТЕСТВЕННЫЙ И ИСКУССТВЕННЫЙ ОТБОР / ARTIFICIAL INTELLIGENCE / NOOSPHERE / ELECTRONIC VIRTUAL REALITY (EVR) / EVR AS CREATOR / NATURAL AND ARTIFICIAL SELECTION

Аннотация научной статьи по философии, этике, религиоведению, автор научной работы — Стерледев Р. К., Стерледева Т. Д.

Рассматриваются вопросы: что такое искусственный интеллект (ИИ)? Как возможно появление искусственного интеллекта в условиях Земли? Авторы считают вполне допустимой попытку решить вопрос о появлении искусственного интеллекта в современных условиях с помощью анализа прецедента возникновения жизни и разума на нашей планете, взяв при этом за основу одну из наиболее распространенных гипотез гипотезу академика А.И. Опарина. Также рассматриваются в аспекте нравственности возможности влияния искусственного интеллекта на функционирование и развитие человечества. Выдвигается теоретическое предположение о невольном самообмане ученых, полагающих возможным заложить в искусственный интеллект позитивные для человека этико-гуманистические программы. Это предположение основано на том, что основное свойство разума приспосабливать к себе окружающую среду и что у разума как такового нет нравственности. На основе прогностической функции философии авторы выявляют новые аспекты проблемы ИИ: взаимодействие искусственного интеллекта с ноосферой, а также с изобретением второй половины XX века электронно-виртуальной реальностью, требующие незамедлительного философского осмысления в силу возможной опасности для существования вида Homo sapiens. Новой в исследовании проблемы ИИ является сама постановка вопроса о взаимодействии искусственного интеллекта с ноосферой. Авторами выделены основные возможные варианты взаимодействия ИИ с ноосферой, обладающей, к сожалению, пока еще неизвестными ученым структурой и свойствами. Исследовательской новизной отличается также постановка вопроса об электронной виртуальной реальности (ЭВР) в качестве порождающего, способного радикально изменить соотношение статусов человеческого и искусственного интеллекта. Авторами предложена гипотеза о возможности зарождения в электронно-виртуальной реальности своеобразного естественно-искусственного «отбора», обусловленного разделением ЭВР на подсистемы противоборствующих сторон. С целью привлечь внимание ученых к важности поставленных вопросов авторы используют проблемно-дискуссионный способ изложения материала.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

ARTIFICIAL INTELLIGENCE IN THE ASPECT OF NOOSPHERE: ALMOST SCIENCE FICTION?

The article deals with the following questions of actual problem of artificial intelligence (AI): what AI is, what makes possible the appearance of artificial intelligence in Earth conditions. The authors consider quite acceptable an attempt to get to resolve the issue of emergence of artificial intelligence in the current conditions by means of analysis of precedent of appearance of life and mind on our planet, using as a basis one of the most common assumptions the hypothesis of academic A.I. Oparin. In the article the possibilities of AI`s influence on the functioning and development of humanity are considered in the sense of morality. The theoretical guess is made on the base of the following idea: unwitting selfdeception of scientists who believe possible to lay down in the artificial intelligence some positive ethical humanistic programs is false. This supposition is based on the premise that the main feature of intelligence is first of all to accommodate the environment. Secondly, intelligence has not any morality. On the basis of prognostic function of philosophy the authors reveal new aspects of the problem of AI: interaction of artificial intelligence with noosphere and with the invention of the second half of the XX century the electronic virtual reality, which require immediate philosophic reflection due to its possible threat to the existence of Homo sapiens. The newness in the investigation of AI is raising the issue of its interaction with noosphere. The authors determine main possible variants if AI`s interaction with noosphere, which still has some unknown to scientists features and structure. The research novelty also characterizes raising the issue of electronic virtual reality as a creator, capable to radical change of the positions of human and artificial intelligences. The authors suggest a hypothesis about the possibility of origin of specific natural-artificial “selection” in electronic virtual reality due to separation of EVR into contradicting subsystems. Authors use problematic-discussion way of presentation of the material to draw the attention of scientists to the importance of these questions.

Текст научной работы на тему «Искусственный интеллект в аспекте ноосферы: почти фантастика?»

Стерледев Р.К., Стерледева Т.Д. Искусственный интеллект в аспекте ноосферы: почти фантастика? // Вестник ПНИПУ. Культура. История. Философия. Право. - 2017. - № 2. - С. 61-65. РО!: 10.15593/регт.к1р^2017.2.08

Sterledev R.K., Sterledeva T.D. Artificial Intelligence in the aspect of noosphere: almost science fiction? Bulletin of PNRPU. Culture. History. Philosophy. Law, 2017, no. 2, pp. 61-65. DOI: 10.15593/perm.kipf/2017.2.08

DOI 10.15593/perm.kipf/2017.2.08 УДК 004.8:502.11

Р.К. Стерледев, Т.Д. Стерледева

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ В АСПЕКТЕ НООСФЕРЫ:

ПОЧТИ ФАНТАСТИКА?

Рассматриваются вопросы: что такое искусственный интеллект (ИИ)? Как возможно появление искусственного интеллекта в условиях Земли? Авторы считают вполне допустимой попытку решить вопрос о появлении искусственного интеллекта в современных условиях с помощью анализа прецедента возникновения жизни и разума на нашей планете, взяв при этом за основу одну из наиболее распространенных гипотез - гипотезу академика А.И. Опарина.

Также рассматриваются в аспекте нравственности возможности влияния искусственного интеллекта на функционирование и развитие человечества. Выдвигается теоретическое предположение о невольном самообмане ученых, полагающих возможным заложить в искусственный интеллект позитивные для человека этико-гуманистические программы. Это предположение основано на том, что основное свойство разума - приспосабливать к себе окружающую среду и что у разума как такового нет нравственности. На основе прогностической функции философии авторы выявляют новые аспекты проблемы ИИ: взаимодействие искусственного интеллекта с ноосферой, а также с изобретением второй половины XX века - электронно-виртуальной реальностью, требующие незамедлительного философского осмысления в силу возможной опасности для существования вида Homo sapiens.

Новой в исследовании проблемы ИИ является сама постановка вопроса о взаимодействии искусственного интеллекта с ноосферой. Авторами выделены основные возможные варианты взаимодействия ИИ с ноосферой, обладающей, к сожалению, пока еще неизвестными ученым структурой и свойствами.

Исследовательской новизной отличается также постановка вопроса об электронной виртуальной реальности (ЭВР) в качестве порождающего, способного радикально изменить соотношение статусов человеческого и искусственного интеллекта. Авторами предложена гипотеза о возможности зарождения в электронно-виртуальной реальности своеобразного естественно-искусственного «отбора», обусловленного разделением ЭВР на подсистемы противоборствующих сторон.

С целью привлечь внимание ученых к важности поставленных вопросов авторы используют проблемно-дискуссионный способ изложения материала.

Ключевые слова: искусственный интеллект, ноосфера, электронная виртуальная реальность (ЭВР), ЭВР как порождающее, естественный и искусственный отбор.

R.K. Sterledev, T.D. Sterledeva

ARTIFICIAL INTELLIGENCE IN THE ASPECT OF NOOSPHERE: ALMOST SCIENCE FICTION?

The article deals with the following questions of actual problem of artificial intelligence (AI): what AI is, what makes possible the appearance of artificial intelligence in Earth conditions. The authors consider quite acceptable an attempt to get to resolve the issue of emergence of artificial intelligence in the current conditions by means of analysis of precedent of appearance of life and mind on our planet, using as a basis one of the most common assumptions - the hypothesis of academic A.I. Oparin.

In the article the possibilities of AI's influence on the functioning and development of humanity are considered in the sense of morality. The theoretical guess is made on the base of the following idea: unwitting selfdeception of scientists who believe possible to lay down in the artificial intelligence some positive ethical humanistic programs is false. This supposition is based on the premise that the main feature of intelligence is first of all to accommodate the environment. Secondly, intelligence has not any morality. On the basis of prognostic function of philosophy the authors reveal new aspects of the problem of AI: interaction of artificial intelligence with noosphere and with the invention of the second half of the XX century - the electronic virtual reality, which require immediate philosophic reflection due to its possible threat to the existence of Homo sapiens.

© Стерледев Роман Константинович - доктор философских наук, доцент, заведующий кафедрой философии и биоэтики, ФГБОУ ВО «Пермский государственный медицинский университет имени академика Е.А. Вагнера», e-mail: [email protected].

Стерледева Тамара Дмитриевна - кандидат философских наук, доцент кафедры философии и права, ФГБОУ ВО «Пермский национальный исследовательский политехнический университет», e-mail: [email protected].

The newness in the investigation of AI is raising the issue of its interaction with noosphere. The authors determine main possible variants if AI's interaction with noosphere, which still has some unknown to scientists features and structure.

The research novelty also characterizes raising the issue of electronic virtual reality as a creator, capable to radical change of the positions of human and artificial intelligences. The authors suggest a hypothesis about the possibility of origin of specific natural-artificial "selection" in electronic virtual reality due to separation of EVR into contradicting subsystems.

Authors use problematic-discussion way of presentation of the material to draw the attention of scientists to the importance of these questions.

Keywords: artificial intelligence, noosphere, electronic virtual reality (EVR), EVR as creator, natural and artificial selection.

Проблема искусственного интеллекта (ИИ) начиная с XX века все более привлекает внимание включая философов, естествоиспытателей и фантастов. И это не случайно. Наиболее вдумчивые мыслители хорошо понимают, что многообразие возможностей человеческого разума проявляется не только в позитивных для развития человека формах, но и негативных, например, таких как хитрость, коварство, жестокость и т.п. Но одно дело - разум конкретных индивидов-негодяев, принадлежащих к виду Homo sapiens. Можно констатировать, что для человечества это привычное явление. Иное дело - искусственный разум, который вместе с негативными сторонами человеческого разума может обладать еще и какими-то своими, опасными для человечества, особенностями, о которых человечество даже не подозревает [1, с. 149, 188-189]. Именно это и пугает наиболее дальновидных представителей человеческого рода. Нам могут возразить, что ИИ может быть и гуманным, если в него заложить позитивную программу. Однако такое возражение может оказаться невольным самообманом, ибо рационалистическая суть ИИ несовместима с гуманностью и человечностью. Ведь основное свойство разума, проторазума, иного разума и т.д. - это прежде всего приспосабливать к себе окружающую среду. Поскольку у разума как такового нет нравственности, он может «пойти» на все, что считает целесообразным [1, с. 199-200]. Но пока в отношении ИИ эти рассуждения остаются сугубо теоретическими.

В решении проблематики ИИ перед современным человечеством стоят, на наш взгляд, две главные задачи. Задача первая: что такое ИИ? По этому вопросу в настоящее время нет единой точки зрения. Именно поэтому все существующие на данный момент точки зрения могут считаться равноправными. Задача вторая: как возможно появление ИИ в условиях Земли? Этот второй вопрос имеет уже гораздо более практическую направленность, поскольку включает в себя и возможность возникновения угрозы для самого существования вида Homo sapiens. Мы полагаем, что можно попытаться подойти к решению второго вопроса с помощью анализа прецедента возникновения жизни и разума на планете Земля, взяв при этом за основу одну из наиболее распространенных гипотез - гипотезу академика А. И. Опарина [2]. Такой выбор в известной мере оправдан еще и потому, что о происхождении жизни на Земле сегодня нет единого мнения.

Согласно гипотезе А.И. Опарина, миллионы лет назад на Земле существовал некий «первичный бульон», состоящий из различного вида органических соединений, которые подвергались термическому воздействию, электрическим разрядам и т. д. Эти органические соединения образовали с течением времени протожизненные элементы-коацерваты - своего рода протожизнь, начавшую развиваться и породившую жизнь в воде, которая в процессе эволюции затем распространилась на сушу. Позднее на основе этой жизни возник человек и человеческий разум. Как мы писали выше, выбор гипотезы А.И. Опарина позволяет выявить некую гипотетическую аналогию с возможным возникновением искусственного интеллекта в современных условиях.

Так, можно предположить, что на рубеже ХХ-ХХ1 веков на Земле возник некий аналог древнего «первичного бульона» - мир электронной виртуальной реальности (ЭВР). Этот мир виртуальной реальности можно условно рассматривать в некоем приближении как некий «первичный бульон», определенным образом структурированный и функционирующий по своим законам. Человечество использует этот «бульон» в своих меркантильных целях, не задумываясь

Р. К. Стерледев, Т.Д. Стерледева

о том, каким образом взаимодействуют между собой элементы этого «бульона». Конечно, предложенную аналогию нельзя понимать буквально. Это всего лишь метафора. Но здесь важна идея. На данный момент никто еще не изучал ЭВР как некую целостность, которая может обладать функцией порождения, иначе говоря, ЭВР как нечто порождающее.

Каковы же основания для гипотетического представления ЭВР в качестве такой системы, которая может породить протожизнь, которая, в свою очередь, в дальнейшем способна перейти в проторазум? Можно предположить, что в ЭВР происходит некий своеобразный естественно-искусственный «отбор», обусловленный тем, что в настоящий момент ЭВР разделена на подсистемы противоборствующих сторон. С одной стороны, это ЭВР США и НАТО, куда входят такие системы, как РЛС, РЭБ, системы ПРО, ПВО, АНБ, ЭШЕЛОН и им подобные, не говоря уже о системах радиовещания, телевидения и телефонной связи. С другой стороны, нечто подобное должно быть и у России, и у Китая. Как известно, для разведки мир делится не на врагов и друзей, а на тех, кем надо интересоваться и кем интересоваться не надо. На этом основании можно предположить, что в ЭВР человечества идет столкновение и противодействие между элементами этой реальности, иначе говоря, осуществляется своего рода искусственный отбор. В рамках этого «отбора» происходит все более масштабная по самым различным параметрам «эволюция» проторационального. Но контролирует ли человечество этот отбор? Сомневаемся. Более того, вполне допустимо предположить, что этот искусственный отбор уже начинает переходить в своеобразный естественный отбор. Причем по таким критериям, о которых человечество даже не догадывается, поскольку оно находится «снаружи», «вне игры».

В постановке и решении проблемы появления жизни можно выделить две основные точки зрения, основные концепции. Первая концепция - субстратная. Это классическая точка зрения, согласно которой жизнь - способ существования белковых тел. Данная схема построена на концепции уровней организации материи [3]. Но есть и другая концепция - функциональная, согласно которой главное свойство жизни - приспособление к окружающей среде. Причем это приспособление может происходить не только на биологическом субстрате, но и на электронном [4]. Надо отметить, что электронный субстрат имеет ряд преимуществ перед биологическим. Так, на электронном субстрате естественно-искусственный отбор может идти на очень больших скоростях. Кроме того, присутствует внешний фактор в виде человечества, неявно стимулирующего этот отбор. Если допустить, что нечто подобное протожизни сможет чисто случайно «зародиться» в ЭВР, то благодаря мощным факторам уже естественного отбора про-тожизнь будет эволюционировать очень быстро и даже породит проторазум, что может привести к столкновению вида Homo sapiens и ИИ. Причем между ними может быть ряд несоизмери-мостей: 1) несоизмеримость по субстрату; 2) несоизмеримость и несовпадение по времени. Человеческое время более медленное, чем время в ЭВР. В силу чего человечество может воспринять ИИ как некие помехи в работе различных систем ЭВР. И тем самым спровоцировать противодействие ИИ против себя, тем более что ИИ, не зная о существовании человечества, может рассматривать вмешательство человечества в свои дела тоже как некую помеху или угрозу своему существованию. И, защищаясь от воздействия вида Homo sapiens, ИИ может начать «войну» за свое выживание. Так, А.С. Потапов, анализируя проблемы ИИ, отмечает: «Если же система будет выбирать действия не по явным правилам, а оптимизируя некоторую целевую функцию, реализуемое поведение будет гораздо сложнее и плохо предсказуемым, система будет демонстрировать большую свободу воли» [4, с. 671]. Конечно, человечество теоретически может обесточить всю ЭВР и тем самым положить конец существованию ИИ. Но это означает, что человечество в своем развитии само будет отброшено назад на целое столетие.

Возможен также и более неприятный гипотетический вариант: может спонтанно возникнуть контакт ИИ с ноосферой. Надо признать, что сегодня убедительных теоретических разработок о сущности и структуре ноосферы, как и практических подтверждений этих гипотез, не существует [5, 6, 7, 8, 9, 10, 11, 12]. Идею ноосферы выдвинул в свое время В.И. Вернадский [13], и до сих пор она остается только красивой гипотезой, поскольку нет конкретно-научного материала, касающегося ноосферы и нет сфер практического приложения этой идеи. Но логично предположить, что ИИ, уже в силу того, что это интеллект, начнет включаться в ноосферу в качестве ее подсистемы и активно проявлять себя в ноосфере, «требуя» своего «места под солнцем». Как будет реагировать на ИИ ранее сложившаяся ноосфера, сказать очень трудно. И это будет еще одна проблема, с которой может столкнуться человечество.

Но возможные проблемы на этом не закончатся. Дело в том, что ноосфера может входить как часть в биосферу, поскольку разум должен иметь какой-то материальный носитель. Человечество же своей деятельностью, особенно с конца ХХ века, начинает уничтожать биосферу. Об этом написано достаточно много, и мы не будем касаться этой темы, а лишь обозначим ее. Биосфера - это система, включающая в себя все живые организмы - от микроба до человека. Биосферу можно рассматривать как некую интегральную биологическую целостность, которая, с одной стороны, состоит из элементов различной сложности, а с другой стороны, представляет собой некое целое, обладающее своими атрибутами. Мы предполагаем, что биосфера как биологический объект может иметь нечто подобное инстинкту самосохранения. Поскольку деятельность человечества ведет к уничтожению биосферы, инстинкт самосохранения последней может проявиться в избавлении от человечества как одной из составляющих элементов в своей структуре. Это возможно сделать самыми различными путями, например, с помощью пандемий и т.п.

Существуют и другие возможные угрозы для существования человечества. Воздействие ноосферы может быть акцентировано уже не на развитии вида Homo sapiens, а на совершенствовании ИИ. В этом случае человечество может сохраниться только как система обслуживания ИИ.

Безусловно, то, что мы изложили, является только гипотезой, и, мягко говоря, нестандартной гипотезой. Однако вспомним широко известное изречение Н. Бора: «Перед нами - безумная гипотеза. Вопрос в том, достаточно ли она безумна, чтобы быть правильной» [14, с. 3].

Алармисты утверждают, что вид Homo sapiens вступил в завершающую стадию своего существования из-за разрушения среды своего обитания. На наш взгляд, намного опаснее тот факт, что интеллектуальное развитие общества во многом опередило его нравственное развитие. Реальная история человечества свидетельствует, что нравственное измерение является одним из важнейших измерений социального уровня организации материи. Развитие ЭВР может явиться тем завершающим штрихом, который изменит историю человечества либо в негативном для него, либо в позитивном смысле.

Несмотря на пессимистическую позицию и мрачные прогнозы социальных алармистов, мы полагаем, что у человечества еще есть какое-то время, чтобы исследовать возможности ЭВР в аспекте ИИ и ноосферы. Если выяснится, что в ЭВР нет зачатков ИИ, что ж, это увеличит наши знания об ЭВР. Если же в ЭВР «намечаются» опасные для человечества тенденции, о возможности возникновения которых мы написали выше, у человечества еще будет время принять какие-то меры.

Следует признать, что проблемы возникновения ИИ в его самых различных вариантах, а также взаимоотношений ИИ с видом Homo sapiens в качестве двух видов разума пока не находят достаточно адекватного решения. Сегодня мы имеем дело только с гипотетическими моделями решения этих проблем, правильность которых покажет лишь время, в силу чего все предложенные варианты имеют одинаковую эвристическую ценность.

Р.К. Стерледев, Т.Д. Стерледева

Список литературы

1. Бостром Н. Искусственный интеллект. Этапы. Угрозы. Стратегии / пер. с англ. С. Филина. - М.: Манн, Иванов и Фербер, 2016. - 496 с.

2. Опарин А.И. Происхождение жизни. - М.: Воен. изд-во, 1959. - 22 с.

3. Орлов В.В. Материя, развитие, человек / Перм. гос. ун-т. - Пермь, 1974. - 397 с.

4. Потапов А.С. Искусственный интеллект и универсальное мышление. - СПб.: Политехника, 2012. - 711 с.

5. Мочалов И.И. Владимир Иванович Вернадский (1863-1945). - М.: Наука, 1970. - 488 с.

6. Урсул А. Д. Путь в ноосферу: Концепция выживания и устойчивого развития цивилизации. - М.: Луч, 1993. - 275 с.

7. Моисеев Н.Н. Быть или не быть человечеству? - М., 1999. - 288 с.

8. В.И. Вернадский: pro et contra / сост., вступ. ст., коммент. А.В. Лаппо; под общ. ред. А. Л. Яншина. - СПб.: Северо-Запад, 2000. - 872 с.

9. Кузнецов М.А. Философские основания ноосферного мировоззрения: дис...д-ра фи-лос. наук. - М., 2001. - 307 с.

10. Демин В.Н. Тайны биосферы и ноосферы. - М.: Вече, 2001. - 464 с.

11. Суминова Т.Н. Ноосфера: поиски гармонии. - М.: Академический проект, 2005. -448 с. (Технологии культуры.)

12. Орлова О.Б. Ответственность ноотехносферы // Вестник ПНИПУ. Культура. История. Философия. Право. - 2016. - № 4. - С. 113-119.

13. Вернадский В.И. Научная мысль как планетарное явление. - М.: Наука, 1991. - 273 с.

14. Радунская И.Л. Безумные идеи. - М.: Молодая гвардия, 1965. - 416 с.

References

1. Bostrom N. Ickusstvennyi intellekt. Etapy. Ugrozy. Strategii [Superintelligence: paths, dangers, strategies]. Moscow, Mann, Ivanov i Ferber, 2016, 496 p.

2. Oparin A.I. Proiskhozhdenie zhizni [The Origin of Life]. Moscow, Voennoe izdatel'stvo, 1959, 22 p.

3. Orlov V.V. Materiia, razvitie, chelovek [Matter, development, man]. Perm', 1974, 397 p.

4. Potapov A.S. Iskusstvennyi intellekt i universal'noe myshlenie [Artificial intelligence and universal thinking]. Saint Petersburg, Politekhnika, 2012, 711 p.

5. Mochalov I.I. Vladimir Ivanovich Vernadskii (1863-1945) [Vladimir Ivanovich Vernadsky (1863-1945)]. Moscow, Nauka, 1970, 488 p.

6. Ursul A.D. Put' v noosferu: Kontseptsiia vyzhivaniia i ustoichivogo razvitiia tsivilizatsii [The way to the noosphere: the concept of survival and sustainable development of civilization]. Moscow, Luch, 1993, 275 p.

7. Moiseev N.N. Byt' ili ne byt' chelovechestvu? [To be or not to be humanity?]. Moscow, 1999, 288 p.

8. V.I. Vernadskii: pro et contra [V.I. Vernadsky: pro et contra]. Ed. A.L. Ianshin. Saint Petersburg, Severo-Zapad, 2000. - 872 с.

9. Kuznetsov M.A. Filosofskie osnovaniia noosfernogo mirovozzreniia [Philosophical foundations of the noospheric worldview]. Doctor's degree dissertation. Moscow, 2001, 307 p.

10. Demin V.N. Tainy biosfery i noosfery [Secrets of the biosphere and noosphere]. Moscow, Veche, 2001, 464 p.

11. Suminova T.N. Noosfera: poiski garmonii [Noosphere: the search for harmony]. Moscow, Akademicheskii proekt, 2005, 448 p.

12. Orlova O.B. Otvetstvennost' nootekhnosfery [The nootechnosphere's responsibility]. Bulletin of PNRPU. Culture. History. Philosophy. Law, 2016, no. 4, pp. 113-119.

13. Vernadskii V.I. Nauchnaia mysl' kak planetarnoe iavlenie [Scientific thought as a planetary phenomenon]. Moscow, Nauka, 1991, 273 p.

14. Radunskaia I.L. Bezumnye idei [Crazy Ideas]. Moscow, Molodaia gvardiia, 1965, 416 p.

Получено 03.05.2017

i Надоели баннеры? Вы всегда можете отключить рекламу.