CC BY
37
УДК 165
DOI 10.17726ДОШТ.2021.1.1
Естественные морфологические вычисления как основа способности к обучению у людей, других живых существ и интеллектуальных машин1
Додиг-Црнкович Гордана,
профессор, Технологический университет Чалмерса и Гетеборгский университет, факультет информатики и инженерии, Швеция, Гетеборг, 40482, Университет Мелардален, Школа инноваций, дизайна и инженерии, Швеция, Вестерос, 721 23
Аннотация. Современная натурфилософия динамично развивается как сфера науки и является основой для комплексного подхода к рассмотрению естественных, искусственных практик и социально-гуманитарного знания. Как теоретические, так и практические знания приобретаются, систематизируются, накапливаются в активном и пассивном виде в процессе обучения. В данной статье рассматривается взаимосвязь между современными достижениями в понимании процесса обучения в различных научных сферах: прикладных науках об искусственном интеллекте (глубокое обучение, робототехника), естественных науках (нейробиология, когнитивистика, биология) и философии (вычислительная философия, философия сознания,
1 Dodig-Crnkovic, G. Natural Morphological Computation as Foundation of Learning to Learn in Humans, Other Living Organisms, and Intelligent Machines // Philosophies. - 2020. - № 3. Vol. 5. - P. 97-115. DOI 10.3390/philosophies5030017.
Статья впервые опубликована в журнале «Philosophies» и входит в специальное издание «Contemporary Natural Philosophy and Philosophies» (опубликована: 1 сентября 2020 г.). Перевод статьи на русский язык публикуется с любезного разрешения автора и издательства MDPI на основании лицензии Creative Common CC BY. Перевод выполнен обучающимися Института переводоведения, русистики и многоязычия (ИПРиМ) Пятигорского государственного университета (студенты 1-го курса магистратуры программы «Теория перевода и межъязыковая коммуникация» В. С. Саркисян, А. О. Демченко, С. В. Акимова; студентка 5-го курса специалитета направления «Перевод и переводоведение» А. А. Вой-тенко; аспирант ИПКВК ПГУ М. Н. Атакуев; редактор и руководитель проекта - заведующая кафедрой теории и практики перевода ИПРиМ кандидат филологических наук, доцент Л. А. Горохова).
натурфилософия). Рассматривается вопрос о том, что именно может помочь текущему развитию машинного обучения и искусственного интеллекта на данном этапе, вдохновленному естественными процессами, в частности: вычислительными моделями, например информационно-вычислительными методами морфологических вычислений. Помимо этого рассматривается, в какой степени модели и эксперименты в области машинного обучения и робототехники могут стимулировать исследования в области вычислительной когнитивной науки, нейробиологии и природных вычислений. Мы предполагаем, что понимание механизмов формирования способности к обучению может стать важным шагом в развитии глубокого обучения в контексте вычисления/обработки информации в рамках подхода, объединяющего коннекционизм и символьный подход. Так как все естественные интеллектуальные системы являются когнитивными, мы приводим аргументы в пользу эволюционного подхода к изучению познавательных процессов. Из этого следует, что достижение человеческого уровня интеллекта для иных систем возможно только через эволюцию и развитие. Таким образом, данная статья представляет собой вклад в теорию познания в рамках современной философии природы.
Ключевые слова: обучение; способность к обучению; глубокое обучение; обработка информации; естественные вычисления; морфологические вычисления; инфокомпьютинг; коннекционизм; символизм; познание; робототехника; искусственный интеллект.
Natural morphological computation as foundation of learning to learn in humans, other living organisms, and intelligent machines
Dodig-Crnkovic Gordana,
professor,
Department of Computer Science and Engineering, Chalmers University of Technology and the University of Gothenburg, 40482 Gothenburg, Sweden; School of Innovation, Design and Engineering, Malardalen University, 721 23 Vasteras, Sweden
Abstract. The emerging contemporary natural philosophy provides a common ground for the integrative view of the natural, the artificial, and the human-social knowledge and practices. Learning process is central for acquiring,
maintaining, and managing knowledge, both theoretical and practical. This paper explores the relationships between the present advances in understanding of learning in the sciences of the artificial (deep learning, robotics), natural sciences (neuroscience, cognitive science, biology), and philosophy (philosophy of computing, philosophy of mind, natural philosophy). The question is, what at this stage of the development the inspiration from nature, specifically its computational models such as info-computation through morphological computing, can contribute to machine learning and artificial intelligence, and how much on the other hand models and experiments in machine learning and robotics can motivate, justify, and inform research in computational cognitive science, neurosciences, and computing nature. We propose that one contribution can be understanding of the mechanisms of 'learning to learn', as a step towards deep learning with symbolic layer of computation/information processing in a framework linking connectionism with symbolism. As all natural systems possessing intelligence are cognitive systems, we describe the evolutionary arguments for the necessity of learning to learn for a system to reach humanlevel intelligence through evolution and development. The paper thus presents a contribution to the epistemology of the contemporary philosophy of nature.
Keywords: learning; learning to learn; deep learning; information processing; natural computing; morphological computing; infocomputation; connectionism; symbolism; cognition; robotics; artificial intelligence.
1. Введение
В настоящее время наблюдается стремительное развитие машинного обучения как формы искусственного интеллекта, особенно ощутимое в сфере глубокого обучения (deep learning - DL) [1]. Алгоритмы, используемые в процессах глубокого обучения, были вдохновлены моделями аналогичных процессов человеческого мозга. И хотя мы еще не все знаем о работе мозга, наши знания в этой области пополняются с каждым днем. В данной работе термин «обучение» выражает двусторонний процесс, где в компьютинг привносятся знания из сферы нейробиологии, а в нейро-биологии, в свою очередь, используются модели обработки информации из вычислительных процессов. Этот процесс является цикличным, что показано в [2; 3; 4].
В основе технологии глубокого обучения лежат искусственные нейронные сети, по своему принципу напоминающие нейронные сети
URL: https://cyberspace.pgu.ru
мозга: высокоэффективные графические процессоры с параллельной архитектурой обрабатывают огромные объемы (размеченных) данных. Процесс, названный машинным обучением на примерах, обычно проходит под контролем человека. Он является статичным и строится на предположении, что поведение окружающего мира предсказуемо, а область применения полученных результатов близка к области, послужившей источником данных. И какой бы впечатляющей ни казалась нам эта технология, у глубокого обучения есть ахиллесова пята: суждения машины не могут основываться на здравом смысле [5; 6; 7]. Когда компьютер распознает изображения, он делает это с помощью пикселей. Поэтому даже незначительные изменения, не видимые человеческим глазом, могут сбить с толку алгоритм глубокого обучения и привести к неожиданным ошибкам. Канадский ученый Й. Бенжио [5] считает, что механизмы глубокого обучения не способны к обобщению вне обучающей выборки и композициональности.
По мнению Д. Канемана [8], человеческий интеллект имеет два четко различимых механизма обучения, которые уже были распознаны и проанализированы [8; 9; 10]: быстрый, восходящий, от частных элементов к общим шаблонам (Система 1) и медленный, нисходящий, от языка к объектам (Система 2). Изначально символический искусственный интеллект (GOFAI - Good Old-Fashioned Artificial Intelligence) использовал только Систему 2 - символьное, языковое и логическое мышление, планирование и принятие решений. Игнорируя принципы Системы 1, искусственный интеллект не был способен к символьному обоснованию, так как его выводы всегда строились из отношений символов к символам и не имели отношения к физическому миру.
В настоящее время процессы глубокого обучения основывают свои суждения на наблюдаемых/полученных/измеренных данных, но искусственный интеллект лишен возможностей Системы 2 -обобщения/генерации символов, управления символами и языка. Наличие этих функций критично для достижения человеческого уровня интеллекта и его способности к обучению и метаобуче-нию, то есть умению обучаться. В источнике [5] предлагается переход от Системы 1, основанной на данных (или больших данных), к манипулированию несколькими понятиями, как в рассуждении высокого уровня Системы 2. В предложенном переходе используются концепции агентности, резонансности и причинности. Ожи-
дается, что «агентный подход» поможет наложить ограничения на изученные представления и таким образом вобрать в себя причинные переменные и возможности. Бенжио предполагает, что «агентный подход» к обучению представлениям «должен способствовать повторному использованию изученных компонентов новыми способами ... тем самым создавая ресурсы для более мощных форм композиционального обобщения, в частности обобщения вне обучающей выборки, основанного на гипотезе локализованных (во времени, пространстве и концептуальном пространстве) изменений в окружающей среде из-за вмешательства агентов» [5].
Переход от Системы 1, используемой в современном глубоком обучении, к Системе 2 (познанию более высокого уровня) откроет искусственному интеллекту новые и еще более впечатляющие возможности. Вопреки предположениям, выдвинутым сторонниками GOFAI ранее, переход от Системы 1 к Системе 2 не станет шагом в неизвестное, что подтверждается в новых разработках в когнитивной науке и нейробиологии. В данной статье мы сосредоточимся на моделировании Системы 1 и ее отношений с Системой 2 в рамках вычислительной модели познания, основанной на естественных информационных вычислениях [3; 4].
Следует признать, что представление о необходимости выведения отношений между коннекционизмом и символизмом не является новой идеей. В 1990 году Марвин Минский сформулировал эту связь в работе «Логическое против аналогического, символизм против коннекционизма, аккуратность против запутанности» [11]. С более новыми разработками в этой области можно ознакомиться в источниках [12; 13; 14].
Данная статья имеет следующую структуру. За введением следует часть, описывающая изучение мира через концепцию агент-ности. Следующий раздел описывает обучение в вычисляющих природных объектах, включая обучение с эволюционной точки зрения. Затем рассматривается обучение как вычисление в сетях агентов, а также инфокомпьютационное обучение посредством морфологических вычислений. В последней части рассматривается способность к обучению на основе необработанных данных по принципу вертикальной агентности (ир^епсу) в переходе от Системы 1 к Системе 2. В заключении представлены выводы и способы применения полученных результатов.
2. Познание мира посредством агентов
В основу обсуждения легла проблема вычисляющей природы в формах инфокомпьютационализма. Для того чтобы информация могла выполнять агентные функции [15], необходим окружающий мир (обозначаемый термином Umwelt), динамика которого рассматривается как вычисление [16]. Информация и вычисления относительны для наблюдателя [17; 18; 19].
Рассматривая познание как всеобъемлющий биоинформационный процесс, мы используем понятие агента, то есть системы, способной действовать самостоятельно, преследуя объективную цель [17; 20]. Агентность в биологических системах в интересующем нас смысле была исследована в источниках [21; 22], где приводятся аргументы в пользу того, что мир с позиции агента зависит от типа агента и типа взаимодействия, через которое агент познает мир [17]. Агенты общаются, обмениваясь сообщениями (информацией), что помогает им координировать свои действия, основываясь на представленной информации, и в последующем делиться ею посредством социального познания.
Чтобы нечто рассматривалось как информация, должен существовать агент, для которого это нечто вносит «существенное различие» [23]. Когда мы утверждаем, что структура окружающего мира состоит из информации [24], возникает следующий вопрос: кто или что является агентом в этом контексте. Агент может рассматриваться как некто (нечто), взаимодействующий с точками неоднородности (существенными различиями или данными как атомами информации), устанавливающий связи между представленными данными и данными, которые составляют самого агента (например, частицу или систему). Существуют мириады агентов, для которых информация окружающего мира является существенной, - от элементарных частиц до молекул, клеток, организмов и целых обществ... Все они взаимодействуют и обмениваются информацией на разных уровнях, эта информационная динамика и называется естественным вычислением [25; 26].
Наше понимание агентности и познания как свойства всех живых организмов основывается на трудах Maturana, Varela, Stewart [27; 28; 29]. Актуальным для искусственного интеллекта представляется следующий вопрос: как создать искусственного агента таким образом, чтобы он обладал познанием и, впоследствии, даже сознанием. Возможно ли это вообще, учитывая, что познание в жи-
вых организмах основывается на биологических процессах? Язык, наряду с рассуждением, считается познавательной деятельностью высокого уровня, которую способен осуществлять только человек. В живых организмах уровни познания развивались в процессе эволюции, начиная с базовых автоматических форм поведения, как, например, у бактерий [30; 31; 32; 33] или насекомых, и заканчивая все более сложным поведением в сложных многоклеточных формах жизни, как у млекопитающих [34]. Сможет ли искусственный интеллект «перепрыгнуть» через эволюционные ступени познания, чтобы достичь и даже превзойти уровень человеческого интеллекта?
И хотя идее биологической природы познания уделялось много внимания [27; 28; 29], до сих пор неясно, как когнитивные процессы во всех формах жизни связаны (в той или иной степени) с сознанием. Сознание, по Бенжио [7], является свойством Системы 2: «Мы тесно связываем сознательную обработку с когнитивными способностями Системы 2, предложенной Д. Канеманом» [Ка^етап, 2011]. Бенжио также принимает теорию сознания глобального рабочего пространства Баарса [35]. В процессе обучения и выработки способности к обучению сознание играет важную роль посредством внимания, которое выбирает для обработки крошечное подмножество информации/данных вместо того, чтобы без разбора обрабатывать огромные массивы данных, что требует больших затрат энергии и увеличивает время реакции [7].
Если бы мы параллельно пытались выявить не только «минимальный уровень познания» [36], но и «минимальный уровень сознания» в живом организме, что бы мы получили? То, в какой именно момент эволюции появилось сознание, остается дискуссионным вопросом. Некоторые ученые, например Лильенстрем и Орхем, предполагают, что только человек наделен сознанием, в то время как другие готовы признать наличие сознания у животных, проявляющих эмоции [37; 38]. С информационно-вычислительной точки зрения, первым шагом в эволюции сознания стали когнитивные агенты с нервной системой, внутренняя модель которых впервые стала проводить грань между внутренним «я» и «остальными», тем самым обозначив «реальность» для агента на основе этого различия [4; 39].
3. Обучение в вычисляющей природе
Для сторонников натуралистического подхода природа является единственной существующей реальностью [40]. Ее описывают через структуры, процессы и отношения, используя при этом научный подход [41; 42]. Натурализм изучает эволюцию всего природного мира, в том числе жизнь и развитие человека и человечества как части природы. Социальные и культурные явления изучаются через их физические проявления. Примером современного натуралистического подхода является исследовательская область социального познания, включающая сетевые исследования социального поведения. Уже в работах Тьюринга подчеркивался социальный характер обучения [43]. Он также разрабатывался такими учеными, как Минский [44] и Деннет [45].
Вычислительный натурализм (панкомпьютационализм, натуралистический подход к компьютационализму, вычисляющая природа) [46; 47; 48, см. также 3; 4] - это подход, предполагающий, что вся природа представляет собой огромную сеть вычислительных процессов, которая, согласно физическим законам, вычисляет (динамически развивает) собственное последующее состояние, исходя из текущего. Среди видных представителей этого подхода можно выделить Цузе, Фредкина, Вольфрама, Хайтина и Ллойда, которые предложили свои варианты вычислительного натурализма. Согласно идее вычисляющей природы, временное развитие (динамика) физических состояний может рассматриваться как обработка информации (естественное вычисление). К таким процессам относятся самоупорядочивание, самоорганизация, процессы развития, системы генной регуляции, сборка генов, системы белкового взаимодействия, биологические транспортные системы, социальные вычисления, эволюция и другие подобные процессы морфогенеза (создания формы). Идеи вычисляющей природы и взаимосвязей между двумя основными понятиями информации и вычислений исследуются в работах [17; 18; 19; 25].
В вычисляющей природе познание - это естественный процесс, рассматривающийся как результат природных биохимических процессов. Все живые организмы обладают некоторой степенью познания. Для простейших из них, таких как бактерии, познание заключается в обмене веществ и (по нашему мнению) в передвижении [17]. «Степень» познания понимается не как непрерывная функция, а как качественная характеристика возраста-
ния познавательной способности по мере перехода от простейших организмов к наиболее сложным. Процесс взаимодействия с окружающей средой вызывает изменения в информационных структурах, которые соотносятся с организмом объекта и его механизмами управления, что и определяет его будущие взаимодействия с миром и проводимую им обработку информации [49]. Информационные структуры объекта становятся семантической информацией (то есть получают эксплицитный метакогнитивный смысл через Систему 2, которая генерирует метапознание для агента) сначала в случае способных к рассуждению высокоинтеллектуальных объектов, каковыми, как мы знаем, являются некоторые птицы.
Недавние эмпирические исследования выявили непредвиденное множество когнитивных форм поведения (восприятие, обработка информации, память, принятие решений) у таких простых организмов, как бактерии [30; 31; 32; 33]. Одиночные бактерии являются маленькими по размеру, обычно они составляют 0,5-5,0 мкм в длину и взаимодействуют только со своим непосредственным окружением. Как отдельный механизм они живут слишком мало, чтобы быть в состоянии запомнить значительное количество информации. Биологически, на уровне колонии бактерии бессмертны, так как две дочерние бактерии, появившиеся путем клеточного деления родительской бактерии, рассматриваются как два новых микроорганизма. Таким образом, бактериальные колонии, рои и пленки, которые занимают большую площадь и могут выживать дольше, имеют более долгосрочную память и демонстрируют неожиданную сложность поведения, которое, несомненно, можно охарактеризовать как познание [50; 51, см. также 45]. Более впечатляющими являются случаи с еще более простыми объектами, такими как вирусы, которые, находясь на грани выживания, следуют принципу, что сохраняются и размножаются наиболее жизнеспособные особи, в то время как другие исчезают [52; 53]. Память и обучение являются ключевыми способностями живых организмов [50]. И в простейшем случае память основана на изменении формы [54], проявляющемся в различных масштабах и уровнях организации [55]. Филдс и Левин добавляют к характеристике памяти эволюционный аспект и утверждают, что «геном - только один из нескольких видов многопоколенной биологической памяти». Кроме того, память сохраняется также в цитоплазме и клеточной мембране - частях клетки, имеющих-
ся у всех живых организмов на всем протяжении эволюции [56]. Из-за сложной структуры клетки биологическая память не может быть описана одной конкретной шкалой; к тому же информация распространяется и сохраняется в негеномных клеточных структурах, что меняет современное понимание биологической памяти [55; 56]. Она также образуется в различных временных масштабах [57].
Начиная с бактерий и архей [58], все организмы без нервной системы способны познавать, то есть воспринимать окружающую их среду, обрабатывать информацию, обучаться, запоминать и взаимодействовать. Поскольку они являются природными организмами, способными обрабатывать информацию, некоторые из них, такие как слизевики, многоядерные или многоклеточные амебо-зои, использовались в качестве естественных вычислительных/ информационных процессоров, используемых для вычисления кратчайших путей. Даже растения обладают познанием, несмотря на то, что их часто считают живыми системами, не обладающими когнитивными способностями [59]. Было обнаружено, что растения обладают памятью (она содержится в их телесных структурах, изменяющихся в результате прошлых событий), способностью к обучению (пластичностью, способностью адаптироваться при помощи морфодинамики) и, благодаря этому, способностью предвидеть и корректировать свое поведение. Согласно некоторым исследованиям [60, с. 121; 61, с. 7; 34, с. 61]), растения обладают рудиментарными формами знания.
Таким образом, в данной статье под базовым познанием мы понимаем совокупность процессов самогенерации/самоорганизации, саморегуляции и самостоятельного поддержания жизнедеятельности, позволяющих организмам выживать, обрабатывая поступающую из окружающей среды информацию. Осмысление познания, каким оно представляется в зависимости от уровня организации живых организмов в природе, может помочь нам лучше понять грань, проводимую между неживой и живой материей, начиная с первых автокаталитических химических реакций и заканчивая первыми аутопоэзными протоклетками. Оно также позволяет понять эволюцию жизни и обучения.
Обучение с эволюционной точки зрения
Последней тенденцией в инженерии и дизайне является подражание природе, биомиметика. Глубокое обучение - одна из технологий, разработанных в рамках биомиметики. Что касается интеллекта, нам еще многое предстоит узнать - изучая природу - о том, как функционируют наш собственный мозг, интеллект и обучение. Одна из стратегий состоит в том, чтобы начать изучение с простейших организмов, что поможет раскрыть базовые механизмы упомянутых процессов. Эволюцию можно рассматривать как процесс решения возникших проблем [34]. «Начиная с амебы и заканчивая Эйнштейном, процесс приобретения знания всегда один и тот же: мы пытаемся решить наши проблемы и получить, методом исключения, некое качество, близкое по эффективности к предполагаемому решению» [62, с. 261]. Все приобретенное знание - вне зависимости от того, приобретается ли оно в процессе генетической эволюции или в процессе индивидуального обучения, - состоит (и это центральное утверждение Поппера) в модификации «некоторой формы уже существующего знания или предрасположенности» и «в переустановке врожденных представлений» [62, с. 71].
Теория Поппера о расширении знания путем основанных на различных гипотезах попыток решения проблем методом проб и ошибок разделяет основной подход эволюционной эпистемологии. Согласно Кэмпбеллу [63], любой процесс получения знания можно рассматривать как «процесс изменения и селективного сохранения информации при эволюционной адаптации» [64]. Тагард [65] подвергает критике позицию Поппера, Кэмпбелла, Тулмина и других ученых, предложивших дарвиновские модели расширения (научного) знания. Эволюционная эпистемология ставит во главу угла аналогию, проводимую между развитием биологических видов и расширением научного знания, основанным на процессах изменения, селекции и передачи. Тагард, со своей стороны, считает, что различия играют более важную роль, чем сходства, а научное знание руководствуется «намеренным, абдуктивным построением теории научного открытия, отбором теорий в соответствии с общими критериями, достижением прогресса путем непрерывного использования имеющихся критериев и передачей выбранных теорий в рамках высокоорганизованных научных сообществ». Несмотря на то, что научное знание - специфический, формальный вид знания, оно все же является знанием.
Подобная критика эволюционной эпистемологии касается понимания эволюции через дарвинизм, взятый в узком смысле. Однако современный расширенный эволюционный синтез представляет механизмы, выходящие за рамки слепого и узкого толкования дарвинизма, и может включать в себя обучение, прогнозирование и интенциональность [66; 67; 68; 69]. В рамках аналогичного, более широкого эволюционного подхода Уотсон и Сатмари задаются вопросом: «Способна ли эволюция обучаться?» [70] и высказывают предположение, что «эволюция способна учиться в более сложном смысле, чем считалось ранее». В этом случае «система демонстрирует обучение, если ее результативность при решении какой-то задачи улучшается с опытом». Они предлагают новые теоретические подходы для изучения эволюции способности развития и, помимо прочего, эволюции экологических организаций. Они ссылаются на Тьюринга, который создал алгоритмическую вычислительную модель (машину Тьюринга) и установил связь между обучением и интеллектом с помощью алгоритмического подхода [71]. Связь между обучением и эволюцией устанавливается через понятие обучения с подкреплением, поскольку «повторное использование моделей поведения, которые приводили к успешному результату в прошлом (обучение с подкреплением), является интуитивно похожим на то, как отбор увеличивает долю подходящих фенотипов в популяции». В работе Уотсона и Сатмари перечисляются различные типы обучения, включая различные подходы к машинному обучению, и утверждается, что существует четкая аналогия между эволюцией и процессом обучения и что мы можем лучше понять эволюцию, если будем рассматривать ее как обучение.
Несмотря на упоминание новаторской на момент выхода работы Тьюринга на тему алгоритмического обучения, Уотсон и Сатма-ри предполагают существование «инкрементной» (прирастающей) адаптации (например, от положительного и/или отрицательного подкрепления)».
Критики эволюционного подхода высказываются в пользу невозможности создания очень сложных структур, таких как разумные живые организмы, в результате такого инкрементного процесса. В качестве иллюстрации часто используется пример с обезьяной, непроизвольно напечатавшей произведение Шекспира. В качестве контраргумента Хайтин [72] указывает, что вышеизложенный аргумент не учитывает физические законы Вселенной,
которые резко ограничивают то, что может быть напечатано. Более того, Вселенная - это не пишущая машинка, а, скорее, компьютер, поэтому обезьяна вводит случайные данные в компьютер. Компьютер же интерпретирует строки как программы. Или, говоря словами Гершенфельда: «В вашем геноме не хранится информация, что у вас есть пять пальцев. В нем хранится программа развития, и когда вы запускаете ее, вы получаете пять пальцев» [73].
Сломан утверждает, что «многие события в биологической эволюции, которые до сих пор не поняты, а в некоторых случаях остались незамеченными, были связаны с изменениями в обработке информации. То же самое относится и к изменениям в индивидуальном развитии и обучении: они часто порождают новые формы обработки информации». Он ссылается на этот феномен через призму вычислительных идей относительно морфогенеза и метаморфогенеза [74]. Его подход предлагает новый взгляд, согласно которому изменчивость является алгоритмичной. К вычислительному подходу Сломана мы бы добавили, что ступени изменчивости - это морфологические вычисления, другими словами, физические вычисления, которые способны произвольно изменять гены и выполнять морфологические установки, представляющие собой не плавные инкрементные изменения, а значительные скачки в свойствах структур и процессов. Морфологические вычисления затрагивают также генную регуляцию - еще один процесс, неизвестный как Дарвину, так и сторонникам идеи эволюции как современного синтеза. Первоначально считалось, что гены являются кодом для определенных белков, при этом все гены считались активными. Генная регуляция включает в себя механизмы, которые могут подавлять или провоцировать экспрессию гена. Согласно журналу «Nature» [75], «к ним относятся структурные и химические изменения генетического материала, связывание белков с определенными элементами ДНК для регуляции расшифровки или механизмы, модулирующие трансляцию мРНК».
4. Обучение как вычисление в сетях агентов
Далее мы сосредоточимся на инфокомпьютационной структуре обучения. Информационные структуры, составляющие ткань физической природы, - это сети сетей, которые представляют собой семантические отношения между данными для агента [18].
Информация организована по уровням или слоям - от квантового уровня до атомного, молекулярного, клеточного, организменного, социального и т.д. Вычисление/обработка информации включает в себя обмен структурами данных в информационных сетях, которые доступно представлены в модели акторов Карла Хьюитта [76]. В природе разные типы вычислений возникают на разных уровнях организации как обмены информационными структурами между узлами (вычислительными агентами) в сети [17].
Исследования в области вычисляющей природы/естественных вычислений характеризуются двунаправленным обменом знаниями посредством взаимодействия между компьютингом (машинным преобразованием данных) и естественными науками [54]. Естественные науки перенимают инструменты, методологию и идеи обработки информации, а компьютинг, в свою очередь, расширяет понятие вычисления, определяя обработку информации в природе как вычисление [2; 77]. Исходя из этого, Деннинг утверждает, что компьютинг сегодня является естественной наукой, четвертой крупной областью научной деятельности [78; 79]. Вычисление в природе - это физический процесс, в котором природа осуществляет вычисления с физическими телами как с объектами. Законы физики управляют вычислительными процессами, которые проявляются в природе на множестве различных уровней организации.
Благодаря многоуровневой вычислительной архитектуре, естественные вычисления способствуют формированию единого понимания феноменов воплощенного познания, интеллекта и обучения (генерации знаний), включая метаобучение (обучение обучению) [47; 80]. Естественное вычисление можно смоделировать как процесс обмена информацией в сети информационных агентов [76], то есть сущностей, способных действовать от своего имени (что является применением модели акторов Хьюитта к естественным агентам).
Один вид вычислений обнаруживается на квантово-механи-ческом уровне, где агенты являются элементарными частицами, а обмен сообщениями (носителями информации) осуществляется посредством переносчиков взаимодействия. Однако различные типы вычислений могут быть найдены и на других уровнях природной организации. В биологии обработка информации происходит в клетках, тканях, органах, организмах и экосистемах с соответствующими агентами и типами сообщений. В биологических
вычислениях носителями сообщений являются фрагменты информации, например молекулы, в то время как в социальных вычислениях это предложения; вычислительными узлами (агентами) в биологических вычислениях являются молекулы, клетки и организмы, а в социальных вычислениях - группы/общества [19].
5. Инфокомпьютационное обучение
с помощью морфологических вычислений
Понятие вычислений в этой структуре относится к наиболее общей концепции внутренних вычислений, то есть спонтанных вычислительных процессов в природе [2; 77], которые служат основой для вычислений, выполняемых с помощью вычислительной техники [81]. В число внутренних естественных вычислений входят квантовые вычисления [81; 82], процессы самоорганизации, самоупорядочивание, процессы развития, сети регуляции генов, сборки генов, сети белок-белковых взаимодействий, биологические транспортные сети и т.д. Они могут быть как аналоговыми (например, в динамических системах), так и цифровыми. Большинство инфокомпьютационных процессов являются субсимволическими, а некоторые из них - символическими (например, суждения и языки).
В рамках инфокомпьютационной структуры, или вычисляющей природы [18], вычисление на заданном уровне организации информации представляет собой реализацию/актуализацию законов, управляющих взаимодействиями между ее составными частями. На базовом уровне вычисление - это проявление каузальности в физическом субстрате [83]. На каждом следующем уровне организации набор правил, управляющих системой, переходит в новый эмерджентный режим. Еще не установлено, как именно этот процесс протекает в природе и как возникают эмерджентные свойства [84]. Ожидается, что исследования в области естественных вычислений раскроют эти механизмы. Как отмечают Розенберг и Кари, «Наша задача - не что иное как сформировать новое, более широкое понятие вычислений и понять окружающий нас мир с точки зрения обработки информации» [2].
В исследованиях в области сложных динамических систем, биологии, нейронауки, когнитивной науки, сетей, параллелизма и т.д. постоянно появляются идеи и открытия, важные для инфо-
компьютационной природы. Здесь следует отметить, что идея вычисляющей природы со «смелыми» физическими вычислениями [85] является максимально физикалистским подходом к вычислениям. Существуют и менее радикальные подходы, такие как, например, подход Хорсмана, Степни и др. [86; 87; 88], известный как теория абстракции/репрезентации (теория AR), в которой «физические вычисления - это использование физической системы для предсказания результата абстрактной эволюции», где вычисления определяют отношения между физическими системами и абстрактными понятиями/представлениями. В отличие от теории AR, инфокомпьютационализм также включает в себя вычисления без представления, например в работах Брукса [89] или Пфайфера [90]. Несмотря на то, что уже установлено, что исходная вычислительная модель Тьюринга специфична и представляет собой человека, выполняющего вычисления (как указывает Коупленд [91]), даже сам Тьюринг исследовал вычисления за пределами модели машины Тьюринга.
Статью Тьюринга 1952 года [92] можно рассматривать как предпосылку теории естественных вычислений. В ней описывается процесс морфогенеза и предлагается химическая модель в качестве объяснения развития биологических паттернов, таких как пятна и полосы на коже животных. Тьюринг не утверждал, что физическая система, производящая паттерны, действительно выполняет вычисления. Сегодня с точки зрения вычислительной природы мы можем утверждать, что морфогенез - это процесс морфологических вычислений. Информационная структура (как представление воплощенной физической структуры) представляет собой программу, управляющую вычислительным процессом [93], который, в свою очередь, изменяет эту исходную информационную структуру, следуя физическим законам и реализуя их.
Морфология является центральной идеей в нашем понимании связи между вычислениями и информацией. Морфологические/ морфогенетические вычисления на основе этой информационной структуры приводят к появлению новых информационных структур посредством процессов самоорганизации информации. Сама эволюция - это процесс морфологических вычислений в долгосрочном масштабе. Важно также учитывать процесс морфогенеза второго порядка (морфогенеза морфогенеза), как это сделал Сломан [74].
Тесно связанным с идеей естественных вычислений является взгляд Валианта [94] на эволюцию с помощью «экоритмов» - алгоритмов обучения, которые выполняют «вероятностные аппроксимативно правильные» (PAC - probably approximately correct) вычисления. В отличие от классической модели машины Тьюринга, «экоритмические» вычисления не дают идеальных результатов, но они достаточно хороши (для агента). Это относится к естественным вычислениям в случае биологических агентов, которые всегда действуют в условиях ограниченных ресурсов, особенно времени, энергии и материальных ресурсов, в отличие от модели вычислений машины Тьюринга, которая по определению работает с неограниченными ресурсами. Более старым термином для PAC, введенным Саймоном, является «удовлетворительные» [95, с. 129]: «Очевидно, организмы адаптируются, пока не достигнут минимального удовлетворительного уровня; они, как правило, не «оптимизируются»».
6. Обучение обучению на основе исходных данных
и принцип вертикальной агентности (up-agency)
от Системы 1 к Системе 2
Познание - это результат процессов морфологических вычислений на информационных структурах когнитивного агента во взаимодействии с физическим миром, причем эти процессы протекают как на субсимволическом, так и на символическом уровнях [4]. Это морфологическое вычисление устанавливает связи между организмом агента, его нервной системой (системой контроля) и окружающей средой [49]. Посредством воплощенного взаимодействия с информационными структурами окружающей среды, с помощью сенсомоторной координации, информационные структуры индуцируются (стимулируются, производятся) на основе сенсорных данных когнитивного агента, тем самым реализуя восприятие, категоризацию и обучение. Эти процессы приводят к постоянному обновлению памяти и других структур, поддерживающих поведение, особенно ожидание. Воплощенные и соответствующие индуцированные информационные структуры (в понимании виртуальной машины Сломаном) [96] являются основой всей познавательной деятельности, включая феноменальное сознание и язык как средства поддержания «реальности» или представления мира в агенте.
Основные информационные структуры (от простейших познающих агентов, таких как бактерии, до сложных биологических организмов с нервной системой и мозгом) претерпевают трансформации посредством морфологических вычислений в процессе развития и эволюционного формообразования - морфогенеза. Живые организмы как сложные агенты наследуют телесные структуры, возникающие в результате длительного эволюционного развития видов. Эти структуры являются воплощенной памятью эволюционного прошлого [54]. Они предоставляют агентам средства для взаимодействия с миром, получения новой информации, вызывающей воплощенные воспоминания; изучения новых моделей поведения и изучения/конструирования новых знаний. Согласно теории обучения Хебба1, в мозге (где нейроны соединяются и активируются вместе, а привычки увеличивают вероятность их активации) мир формирует информационные структуры человека (или животного). Наглядным примером являются нейронные сети, которые «самоорганизуют стабильный код распознавания паттернов в реальном времени в ответ на произвольные последовательности входных паттернов» [97].
На фундаментальном уровне квантово-механического субстрата информационные процессы представляют собой действие законов физики. Ученые уже работают над переформулировкой постулатов физики с точки зрения информации [98; 99; 100; 101; 102; 103]. Эти изменения можно связать с идеей Уилера «it from bit» [104] и ur-альтернативами фон Вайцзеккера [105].
Согласно естественно-вычислительному подходу, вычисляющая природа состоит из физических структур, образующих уровни организации, на которых возникают вычислительные процессы. Некоторые исследователи утверждают, что на более низких уровнях организации конечные автоматы (или машины Тьюринга) могут служить адекватной моделью вычислений, а в случае человеческого познания на уровне всего мозга необходимы сверхтью-ринговые вычисления (см. работы Эресманна [106], Гоша [107] и др.). Символы на более высоких уровнях абстракции (Система 2) связаны с несколькими возможными субсимволическими реали-
1 Теория Хебба - нейробиологическая теория, утверждающая, что увеличение синаптической эффективности возникает из-за повторяющейся и постоянной стимуляции постсинаптической клетки пресинаптической клеткой. Это попытка объяснить синаптическую пластичность, адаптацию нейронов мозга в процессе обучения.
зациями, которые они обобщают, как показывают модели Эресма-на. Одну из недавних попыток реализации вычислительного/алгоритмического подхода к причинности представляет собой работа Зенила и др. о казуальности алгоритмических генеративных моделей в целях «декомпозиции наблюдения на его наиболее вероятные алгоритмические генеративные модели» [108]. Алгоритмические вычисления являются очень важной частью вычислительных моделей, определенных Тьюрингом, на основе манипуляции символами. Связь с субсимволическим осуществляется с помощью алгоритмической теории информации.
Помимо «Руководства по естественным вычислениям» [77], в котором представлены конкретные модели естественных вычислений, интересные работы по вычислительному моделированию биохимии и реакционных сетей были выполнены Карделли [109; 110; 111; 112], включая изучение морфизмов реакционных сетей, связывающих структуру с функцией. Что касается когнитивных вычислений, физические вычисления и их роль в познании описаны в работах Фреско [113].
Биологические принципы морфологических вычислений и самоорганизации данных также применяются и в робототехнике. Морфологические вычисления - это новая идея в робототехнике, возникшая в последние годы (см. [3; 4] и содержащиеся в этих работах ссылки). Первоначально робототехника рассматривала отдельно организм как машину, а его управление как программу. Между тем стало очевидно, что воплощение само по себе является фундаментальным для познания, порождения поведения, интеллекта и обучения. Воплощение является центральным, потому что познание возникает из взаимодействия мозга, тела и окружающей среды [90]. Поведение агентов развивается через воплощенное взаимодействие с окружающей средой, в частности через сенсорно-моторную координацию, когда в сенсорных данных индуцируется информационная структура, что является причиной восприятия, обучения и категоризации [48]. Морфологические вычисления также применяются в мягкой робототехнике, системах самоупорядочивания, молекулярной и воплощенной робототехнике и т.д. Несмотря на то, что использование морфологических вычислений в робототехнике несколько отличается от их использования в вычисляющей природе, они имеют общую основу, а также возможность учиться друг у друга на междисциплинарном уровне. То же
самое относится и к исследованиям в области когнитивной информатики и когнитивных вычислений. С этой сферой исследований также тесно связаны вычислительная механика, алгоритмическая информационная динамика (вероятностная структура алгоритмической информационной динамики, используемая для казуального анализа), а также нейро-символические вычисления, сочетающие символическую и нейронную обработку. Их связи друг с другом еще предстоит изучить.
7. Выводы и дальнейшая деятельность
Инфокомпьютационный вычислительный подход, разработанный автором на основе естественных морфологических вычислений, используется в применении к обучению и формированию способности к обучению людей, других живых организмов и интеллектуальных машин. Данная статья является вкладом в эпистемологию философии природы, предлагая новый взгляд на процесс обучения как в системах искусственной обработки информации, таких как роботы и системы искусственного интеллекта, так и в системах обработки информации в природе, таких как живые организмы.
Морфологическое вычисление предлагается рассматривать как механизм обучения и метаобучения, необходимый для соединения досимволической (предсознательной) обработки информации с символической (сознательной). В рамках инфокомпьютаци-онной вычисляющей природы морфологические вычисления - это (пере)структурирование информации с помощью вычислительных процессов, которые подчиняются физическим законам. Оно основывается на концепции агентности, при этом каузальность представлена морфологическими вычислениями.
Морфология является центральной идеей в понимании связи между (морфологическим/морфогенетическим) вычислением и информацией. Морфология относится к форме, образцу и структуре. Материалы представляют собой морфологию на нижележащем уровне организации. Материалом для организации молекулярных и атомных структур являются протоны, нейтроны и электроны на нижележащем уровне.
Морфологические вычисления можно представить как обмен информацией между агентами/акторами модели Хьюитта, распре-
деленный в пространстве, где вычислительные устройства взаимодействуют асинхронно и все вычисления, как правило, не находятся в каком-либо четко определенном состоянии [3]. В отличие от вычислений Тьюринга, которые являются математико-логической моделью, вычисления Хьюитта - это физическая модель. Для морфологических вычислений как (пере)структурирования информации с помощью вычислительных процессов, которые подчиняются физическим законам, вычисления Хьюитта обеспечивают последующую формализацию. На базовом уровне морфологические вычисления - это естественные вычисления, в которых физические объекты выполняют вычислительные операции. Символьная обработка данных в данном случае является манипуляцией физическим объектом в духе утверждения Брукса о том, что «мир - это его собственная лучшая модель». Это становится актуальным в робототехнике и глубоком обучении, которые управляют непосредственным поведением агента в физическом мире.
В морфологических вычислениях познание - это переструктурирование агента посредством взаимодействия с миром, поэтому все живые организмы обладают некоторой степенью познания. В результате эволюции все более сложные живые организмы возникают из простых, способных выживать и адаптироваться к окружающей среде. Это означает, что они способны регистрировать входные данные (показатели) из окружающей среды, структурировать их в информацию, а в более развитых организмах - в знания. Эволюционное преимущество использования структурированных, основанных на компонентах подходов заключается в улучшении времени отклика и эффективности когнитивных процессов организма, что способствует развитию от организмов с обучением на уровне Системы 1 к тем, которые сверх того приобретают возможности Системы 2. У более сложных когнитивных агентов знание строится не только на действии обратной связи на входящую информацию, но и на внутренней обработке информации с преднамеренным выбором, который зависит от систем ценностей, хранящихся и организованных в памяти агентов.
Генерация знаний ставит в центр внимания информацию и вычисления (коммуникацию), поскольку информация и ее обработка являются важными структурными и динамическими элементами. При этом структурирование входных данных (данные ^ информация ^ знания ^ метазнания) характеризуется интерактивным
вычислительным процессом, происходящим в агенте во время адаптивного взаимодействия с окружающей средой.
В природе, в процессе эволюции и развития живые системы учатся выживать и процветать в окружающей среде. Взаимодействия представляют собой формы обучения с подкреплением или обучения Хебба, благодаря которым существующие успешные стратегии становятся предпочтительнее в будущем [70]. Это происходит на различных уровнях организации. На метауровне мета-морфологические вычисления (как виртуальная машина Сломана) [96] управляют формированием способности к обучению.
В случае человеческого обучения мозг как сеть вычислительных агентов обрабатывает информацию, полученную посредством воплощенной коммуникации с окружающей средой, а также внутреннюю информацию от организма. Феноменальное сознание - это процесс интеграции информации в мозг [35]; оно получает огромное количество данных/информации, с которыми мозг не может справиться в реальном времени, поэтому сознание использует механизм внимания, чтобы сосредоточиться на конкретном подмножестве информации, обычно относящейся к агентным процессам в мире. Изменения в обстановке являются следствием взаимодействий агентов и развертыванием физических процессов морфологических вычислений. Причинно-следственная связь или, скорее, стабильные корреляции между структурами и процессами в мире (с точки зрения агента) следуют из того, что именно люди изучают/запоминают, поскольку они организуются изнутри с помощью принципов Хебба, когда нейроны, которые срабатывают вместе, соединяются вместе.
А. Сломан, разработавший теорию метаморфогенеза, исходил из того, что изменения в индивидуальном развитии и обучении агента порождают новые формы обработки информации [74]. Его подход предлагает новый взгляд, согласно которому изменчивость является алгоритмичной. Взаимодействие между структурой и процессом имеет большое значение для обучения, поскольку прошлый опыт, хранящийся в структурах, влияет на возможность будущих процессов и стратегий обучения и на способность к освоению нового. К морфогенетическому подходу Сломана мы бы добавили, что ступени изменчивости - это результаты морфологических вычислений, то есть физических вычислений, способных, например, модифицировать гены и выполнять морфологические
программы, которые представляют собой не плавные инкремент-ные изменения, а скачки в свойствах структур и процессов. Морфологические вычисления затрагивают также генную регуляцию -еще один процесс, неизвестный как Дарвину, так и сторонникам идеи эволюции как современного синтеза.
Поскольку современный искусственный интеллект, ориентированный на глубокое обучение (имеющий дело с познанием на уровне человека и выше), постепенно развивается от нынешней Системы 1 (коннекционистской и субсимволической) к Системе 2 (символической), для которой характерны агентность, причинность, феноменальное сознание и внимание как механизмы обучения и метаобучения [5; 114], он ищет механизмы перехода между двумя системами. Человеческий мозг, являясь источником идей для развития технологий, представляет интерес как центр обучения у людей, который является самоорганизованным, устойчивым, отказоустойчивым, пластичным, вычислительно мощным и энергетически эффективным. В своем развитии, как и в прошлом, глубокое обучение вдохновляется природой, усваивая идеи нейронауки, когнитивной науки, биологии и многого другого. Подход искусственного интеллекта к пониманию через декомпозицию и построение близок к другим вычислительным моделям природы в том, что он ищет проверяемые и применимые модели, основанные на обработке данных и информации. Идея Бенжио об агентном подходе [5], необходимом для перехода от Системы 1 к обучению посредством Системы 2, может быть связана с моделью обучения, основанной на морфологических вычислениях.
В будущем еще предстоит проделать большую межотраслевую/междисциплинарную/трансдисциплинарную работу, чтобы лучше понять связи между когнитивными процессами низкого и высокого уровня, обучением и метаобучением. Также будет полезно найти связь между (уровнями/степенями) познания и феноменального сознания как механизмами, помогающими уменьшить число переменных, которыми манипулирует агент с целью восприятия, рассуждения, принятия решений, планирования действий/деятельности и обучения.
Цели искусственного интеллекта, как и робототехники, отличаются от целей вычисляющей природы и морфологических вычислений. Искусственный интеллект создает решения для практических задач, при этом он обычно фокусируется на максимально
возможном уровне интеллекта, хотя среди областей искусственного интеллекта, вдохновленных вычисляющей природой, есть развивающая робототехника, которая имеет более исследовательский характер.
Приоритетом инфокомпьютационного натурализма является понимание и систематизация знаний о природе, в то время как многие современные технологии черпают вдохновение в природе в поисках новых технологических решений. Эти два направления пересекаются, и взаимный обмен идеями выгоден обеим сторонам. Специализированным областям науки и философии также необходимо тесное взаимодействие и обмен идеями. Обучение и мета-обучение в вычисляющей природе является настолько важной темой, что требует дополнительных знаний из различных областей. В данной статье не только представлены выводы о том, что уже известно, но также делается попытка очертить круг того, что еще предстоит сделать. Финансирование
Данное исследование финансируется Шведским исследовательским советом, грантом виртуальной реальности MORCOM@ COG.
Благодарность
Автор хотел бы поблагодарить анонимных рецензентов за очень полезные, конструктивные и поучительные комментарии. Конфликт интересов
Автор заявляет об отсутствии конфликта интересов. Спонсоры не играли никакой роли в разработке исследования, в написании рукописи или в решении опубликовать результаты.
Литература
1. Lecun Y., Bengio Y., Hinton G. Deep Learning. Nature. - 2015, 521, 436444; Rozenberg G., Kari L. The Many Facets of Natural Computing. Commun. ACM 2008, 51, 72-83.
2. Dodig-Crnkovic G. Nature as a network of morphological infocomputational processes for cognitive agents. Eur. Phys. J. Spec. Top. 2017.
3. Dodig-Crnkovic G. Cognition as Embodied Morphological Computation. In Philosophy and Theory of Artificial Intelligence; Studies in Applied Philosophy, Epistemology and Rational Ethics; Springer: Cham, Switzerland, 2018; Volume 44, pp. 19-23.
4. Bengio Y. From System 1 Deep Learning to System 2 Deep Learning (NeurIPS2019). Available online: https://www.youtube.com/
watch?v=T3sxeTgT4qc (accessed on 24 June 2020).
5. Bengio Y. Scaling up deep learning. In Proceedings of the KDD '14: Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; ACM: New York, NY, USA, 2014; p. 1966.
6. Bengio Y. The Consciousness Prior. arXiv 2019, arXiv:1709.08568v2.
7. Kahneman D. Thinking, Fast and Slow; Farrar, Straus and Giroux: New York, NY, USA, 2011; ISBN9780374275631.
8. Clark A. Microcognition: Philosophy, Cognitive Science, and Parallel Distributed Processing; MIT Press: Cambridge, MA, USA, 1989; ISBN978-0262530958.
9. Scellier B., Bengio Y. Towards a Biologically Plausible Backprop. arXiv 2016, arXiv:1602.05179, 1-17.
10. Minsky M. Logical vs. Analogical or Symbolic vs. Connectionist or Neat vs. Scruffy. In Artificial Intelligence at MIT, Expanding Frontiers; Winston, P.H., Ed.; MIT Press: Cambridge, MA, USA, 1990.
11. Dinsmore J. The Symbolic and Connectionist Paradigms; Psychology Press: New York, NY, USA; London, UK, 2014; ISBN978-0805810806.
12. Wang J. Symbolism vs. Connectionism: A Closing Gap in Artificial Intelligence. Available online: http://wangjieshu.com/2017/12/23/symbol-vs-connectionism-a-closing-gap-in-artificial-intelligence/ (accessed on 28 June 2020).
13. Garcez A. D.A., Besold T.R., De Raedt L., Foldiak P., Hitzler P., Icard T., Kiihnberger K. U., Lamb L. C., Miikkulainen R., Silver D. L. Neural-symbolic learning and reasoning: Contributions and challenges. In Proceedings of the AAAI Spring Symposium-Technical Report, Stanford, CA, USA, 23-25 March 2015; Dagstuhl Seminar 14381. Dagstuhl Publishing: Dagstuhl, Germany, 2015.
14. Floridi L. Informational realism. In Proceedings of the Selected Papers from Conference on Computers and Philosophy-Volume 37 (CRPIT '03); Weckert J., Al-Saggaf Y., Eds.; Australian Computer Society, Inc.: Darlinghurst, Australia, 2003. P. 7-12.
15. Dodig-Crnkovic G. Dynamics of Information as Natural Computation. Information 2011, 2, 460-477.
16. Dodig-Crnkovic G. Information, Computation, Cognition. Agency-Based Hierarchies of Levels. In Fundamental Issues of Artificial Intelligence. Synthese Library, (Studies in Epistemology, Logic, Methodology, and Philosophy of Science); Müller, V, Ed.; Springer International Publishing: Cham, Switzerland, 2016; pp. 141-159. ISBN9783319264851. Volume 376.
17. Dodig-Crnkovic G., Giovagnoli R. COMPUTING NATURE. Turing Centenary Perspective; Dodig-Crnkovic, G., Giovagnoli, R., Eds.; Springer: Berlin/Heidelberg, Germany, 2013; Volume 7, ISBN978-3-642-37224-7.
18. Dodig-Crnkovic G. Physical computation as dynamics of form that glues everything together. Information 2012, 3, 204-218.
19. Froese T., Ziemke T. Enactive Artificial Intelligence: Investigating the systemic organization of life and mind. Artif. Intell. 2009, 173, 466-500.
20. Kaufman S. The Origins of Order: Self-Organization and Selection in Evolution; Oxford University Press: Oxford, UK, 1993; ISBN978-0195079517.
21. Deacon T. Incomplete Nature. How Mind Emerged from Matter; W. W. Norton & Company: New York, USA, 2011; ISBN978-0-393-04991-6.
22. Bateson G. Steps to an Ecology of Mind; University of Chicago Press: Chicago, IL, USA, 1973; ISBN9780226039053.
23. Floridi L. A defense of informational structural realism. Synthese 2008, 161, 219-253.
24. World Out of Information and Computation: Is God a Programmer, Not a Mathematician? In Exploring the Foundations of Science, Thought and Reality; Wuppuluri, S., Doria, F.A., Eds.; Springer International Publishing: Cham, Switzerland, 2018. [Google Scholar]
25. Dodig-Crnkovic G. Shifting the Paradigm of Philosophy of Science: Philosophy of Information and a New Renaissance. Minds Mach. 2003.
26. Maturana H. Biology of Cognition; Defense Technical Information Center: Urbana, IL, USA, 1970.
27. Maturana H., Varela F. Autopoiesis and cognition: The Realization of the Living; D. Reidel Publishing Company: Dordrecht, The Netherlands, 1980.
28. Stewart J. Cognition = life: Implications for higher-level cognition. Behav. Process. 1996, 35, 311-326.
29. Ben-Jacob E. Bacterial Complexity: More Is Different on All Levels. In Systems Biology-The Challenge of Complexity; Nakanishi, S., Kageyama, R., Watanabe, D., Eds.; Springer: Berlin/Heidelberg, Germany, 2009; pp. 25-35.
30. Ben-Jacob E. Learning from Bacteria about Natural Information Processing. Ann. N. Y. Acad. Sci. 2009, 1178, 78-90.
31. Lyon P. The cognitive cell: Bacterial behavior reconsidered. Front. Microbiol. 2015, 6, 264.
32. Marijuan P. C., Navarro J., del Moral R. On prokaryotic intelligence: Strategies for sensing the environment. BioSystems 2010.
33. Popper K. All Life Is Problem Solving; Routledge: London, UK, 1999; ISBN978-0415249928.
34. Baars B. J. Global workspace theory of consciousness: Toward a cognitive neuroscience of human experience. Prog. Brain Res. 2005, 150, 45-53.
35. Van Duijn M., Keijzer F., Franken D. Principles of Minimal Cognition: Casting Cognition as Sensorimotor Coordination. Adapt. Behav. 2006, 14, 157-170.
36. Ärhem P., Liljenström H. On the coevolution of cognition and consciousness. J. Theor. Biol. 1997.
37. Liljenström H., Ärhem P. Consciousness Transitions: Phylogenetic, Ontogenetic and Physiological Aspects; Elsevier: Amsterdam, The
Netherlands, 2011; ISBN978-0-444-52977-0.
38. Dodig-Crnkovic G., von Haugwitz R. Reality Construction in Cognitive Agents through Processes of Info-Computation. In Representation and Reality in Humans, Other Living Organisms and Intelligent Machines; Dodig-Crnkovic, G., Giovagnoli, R., Eds.; Springer International Publishing: Basel, Switzerland, 2017; pp. 211-235. ISBN978-3-319-43782-8.
39. Putnam H. Mathematics, Matter and Method; Cambridge University Press: Cambridge, MA, USA, 1975.
40. Dodig-Crnkovic G., Schroeder M. Contemporary Natural Philosophy and Philosophies. Philosophies 2018, 3, 42.
41. Dodig-Crnkovic G., Schroeder M. Contemporary Natural Philosophy and Philosophies-Part 1; MDPI AG: Basel, Switzerland, 2019; ISBN978-3-03897-822-0.
42. Edmonds B., Gershenson C. Learning, Social Intelligence and the Turing Test. In How the World Computes. CiE2012. Lecture Notes in Computer Science; Cooper, S.B., Dawar, A., Löwe, B., Eds.; Springer: Berlin/ Heidelberg, Germany, 2012; Volume 7318.
43. Minsky M. The Society of Mind; Simon and Schuster: New York, NY, USA, 1986; ISBN0-671-60740-5.
44. Dennett D. From Bacteria to Bach and Back: The Evolution of Minds; W. W. Norton & Company: New York City, NY, USA, 2017; ISBN978-0-393-24207-2.
45. Dodig-Crnkovic G. Investigations into Information Semantics and Ethics of Computing; Mälardalen University Press: Västeräs, Sweden, 2006; ISBN91-85485-23-3.
46. Dodig-Crnkovic G., Müller V A Dialogue Concerning Two World Systems: Info-Computational vs. Mechanistic. In Information and Computation; Dodig Crnkovic, G., Burgin, M., Eds.; World Scientific Pub Co Inc: Singapore, 2009; pp. 149-184. ISBN978-981-4295-47-5.
47. Dodig-Crnkovic G. The info-computational nature of morphological computing. In Philosophy and Theory of Artificial Intelligence. Studies in Applied Philosophy, Epistemology and Rational Ethics; Müller, V, Ed.; Springer: Berlin/Heidelberg, Germany, 2013; Volume 5, ISBN00935301.
48. Pfeifer R., Bongard J. How the Body Shapes the Way We Think-A New View of Intelligence; MIT Press: Cambridge, MA, USA, 2006; ISBN9780262162395.
49. Witzany G. Memory and Learning as Key Competences of Living Organisms. In Memory and Learning in Plants. Signaling and Communication in Plants; Baluska, F., Gagliano, M., Witzany, G., Eds.; Springer Nature Switzerland: Cham, Switzerland, 2018; pp. 1-16.
50. Witzany G. Introduction: Key Levels of Biocommunication of Bacteria. In Biocommunication in Soil Microorganisms; Witzany, G., Ed.; Springer: Berlin/Heidelberg, Germany, 2011.
51. Witzany G. Viruses: Essential Agents of Life; Springer Netherlands: Dodrecht, Netherlands, 2012; ISBN9789400748996.
52. Villarreal L. P., Witzany G. Viruses are essential agents within the roots and stem of the tree of life. J. Theor. Biol. 2010.
53. Leyton M. Shape as Memory Storage. In Ambient Intelligence for Scientific Discovery. Lecture Notes in Computer Science; Yang, C., Ed.; Springer: Berlin/Heidelberg, Germany, 2005; Volume 3345.
54. Kandel E. R., Dudai Y., MayfordM. R. The molecular and systems biology of memory. Cell 2014.
55. Fields C., Levin M. Multiscale memory and bioelectric error correction in the cytoplasm-cytoskeleton-membrane system. Wiley Interdiscip. Rev. Syst. Biol. Med. 2018.
56. Kukushkin N. V., Carew T.J. Memory Takes Time. Neuron 2017.
57. Witzany G. Biocommunication of Archaea; Springer International Publishing: Cham, Switzerland, 2017; ISBN9783319655369.
58. Witzany G. Bio-communication of Plants. Nat. Preced. 2007.
59. Pombo O., Torres J. M., Rahman S. Special Sciences and the Unity of Science; Logic, E., Ed.; Springer: Berlin/Heidelberg, Germany, 2012; ISBN978-94-007-9213-5.
60. Rosen R. Anticipatory Systems; Springer: New York, NY, USA, 1985; ISBN978-1-4614-1268-7.
61. Popper K. Objective Knowledge: An Evolutionary Approach; Oxford University Press: Oxford, UK, 1972.
62. Campbell D. T. Evolutionary epistemology. In The Philosophy of Karl Popper; Schilpp, P.A., Ed.; Open Court Publ.: La Salle, IL, USA, 1974; Volume 1, pp. 413-463.
63. Vanberg V. Cultural Evolution, Collective Learning, and Constitutional Design. In Economic Thought and Political Theory; Reisman, D., Ed.; Springer: Dordrecht, The Netherlands, 1994.
64. Thagard P. Against Evolutionary Epistemology. PSA Proc. Bienn. Meet. Philos. Sci. Assoc. 1980.
65. Kronfeldner M. E. Darwinian «blind» hypothesis formation revisited. Synthese 2010.
66. Jablonka E., Lamb M. J., Anna Z. Evolution in Four Dimensions: Genetic, Epigenetic, Behavioral, and Symbolic Variation in the History of Life; MIT Press: Cambridge, MA, USA, 2014; ISBN9780262322676.
67. Laland K. N., Uller T., Feldman M. W., Sterelny K., Müller G. B., Moczek A., Jablonka E., Odling-Smee J. The extended evolutionary synthesis: Its structure, assumptions and predictions. Proc. R. Soc. B Biol. Sci. 2015.
68. Noble D. The Music of Life: Biology Beyond the Genome. Lavoisierfr 2006.
69. Watson R.A., Szathmary E. How Can Evolution Learn? Trends Ecol Evol. 2016, 31, 147-157.
70. Turing A.M. Computing machinery and intelligence. In Machine Intelligence: Perspectives on the Computational Model; Routledge: New York, NY, USA, 2012; ISBN0815327684.
71. Chaitin G. Epistemology as Information Theory: From Leibniz to ß. In Computation, Information, Cognition-The Nexus and The Liminal;
Dodig Crnkovic, G., Ed.; Cambridge Scholars Pub.: Newcastle, UK, 2007; pp. 2-17. ISBN978-1-4438-0040-2.
72. Neil Gershenfeld Morphogenesis for the Design of Design A Talk by. Available online: https://www.edge.org/conversation/neil_gershenfeld-morphogenesis-for-the-design-of-design (accessed on 28 June 2020).
73. Sloman A. Meta-Morphogenesis: Evolution and Development of Information-Processing Machinery. In Alan Turing: His Work and Impact; Cooper, S.B., van Leeuwen, J., Eds.; Elsevier: Amsterdam, The Netherlands, 2013; p. 849. ISBN978-0-12-386980-7.
74. Nature Gene Regulation. Available online: https://www.nature.com/ subjects/gene-regulation (accessed on 28 June 2020).
75. Hewitt C. What is computation? Actor Model versus Turing's Model. In A Computable Universe, Understanding Computation & Exploring Nature As Computation; Zenil, H., Ed.; World Scientific Publishing Company: Singapore, 2012.
76. Rozenberg G., Bäck T., Kok J.N. (Eds.) Handbook of Natural Computing; Springer: Berlin, Germany, 2012; ISBN978-3-540-92911-6.
77. Denning P. Computing is a natural science. Commun. ACM 2007, 50, 1318.
78. Denning P., Rosenbloom P. The fourth great domain of science. ACM Commun. 2009, 52, 27-29.
79. Wang Y. On Abstract Intelligence: Toward a Unifying Theory of Natural, Artificial, Machinable, and Computational Intelligence. Int. J. Softw. Sci. Comput. Intell. 2009, 1, 1-17.
80. Crutchfield J. P., Ditto William, L., Sinha S. Introduction to Focus Issue: Intrinsic and Designed Computation: Information Processing in Dynamical Systems-Beyond the Digital Hegemony. Chaos 2010, 20, 037101.
81. Crutchfield J. P., Wiesner K. Intrinsic Quantum Computation. Phys. Lett. A 2008, 374, 375-380.
82. Collier J. Information, Causation and Computation. In Information and Computation; Dodig-Crnkovic, G., Burgin, M., Eds.; World Scientific: Singapore, 2011; pp. 89-105.
83. Zenil H. A Computable Universe. Understanding Computation & Exploring Nature as Computation; World Scientific: Singapore, 2012; ISBN978-9814374293.
84. Piccinini G. Computation in Physical Systems. In The Stanford Encyclopedia of Philosophy; Zalta, E.N., Ed.; 2017; Available online: https://plato.stanford.edu/archives/sum2017/entries/computation-physicalsystems/ (accessed on 28 June 2020).
85. Horsman C., Stepney S., Wagner R. C., Kendon V. When does a physical system compute? Proc. R. Soc. A Math. Phys. Eng. Sci. 2014, 470, 20140182.
86. Horsman D., Kendon V., Stepney S. The natural science of computing. Commun. ACM 2017, 60.
87. Horsman D., Kendon V., Stepney S., Young J. P.W. Abstraction and representation in living organisms: When does a biological system
compute? In Representation and Reality in Humans, Animals, and Machines. Studies in Applied Philosophy, Epistemology and Rational Ethics; Springer: Cham, Switzerland, 2017; Volume 28, pp. 91-116.
88. BrooksR.A. Intelligence without representation. Artif. Intell. 1991.
89. Hauser H., Füchslin R.M., Pfeifer R. Opinions and Outlooks on Morphological Computation; e-book; 2014; ISBN978-3-033-04515-6. Available online: https://www.morphologicalcomputation.org/e-book (accessed on 28 June 2020).
90. Copeland J., Dresner E., Proudfoot D., Shagrir O. Time to reinspect the foundations? Commun. ACM 2016, 59, 34-36.
91. Turing A.M. The Chemical Basis of Morphogenesis. Philos. Trans. R. Soc. London 1952, 237, 37-72.
92. Kampis G. Self-Modifying Systems in Biology and Cognitive Science: A New Framework for Dynamics, Information, and Complexity; Pergamon Press: Amsterdam, The Netherlands, 1991; ISBN9780080369792.
93. Valiant L. Probably Approximately Correct: Nature's Algorithms for Learning and Prospering in a Complex World; Basic Books: New York, NY, USA, 2013; ISBN978-0465032716.
94. Simon H.A. Rational choice and the structure of the environment. Psychol. Rev. 1956, 63, 129-138.
95. Sloman A., ChrisleyR. Virtual machines and consciousness. J. Conscious. Stud. 2003, 10, 113-172.
96. Grossberg G. A., Carpenter S. ART 2: Self-organization of stable category recognition codes for analog input patterns. Appl. Opt. 1987, 26, 49194930.
97. Mermin N. D. Making better sense of quantum mechanics. Reports Prog. Phys. 2019.
98. Müller M. P. Law without law: From observer states to physics via algorithmic information theory. Quantum 2020.
99. Vedral V. Information and physics. Information 2012, 3, 219-223.
100. Goyal P. Information physics-towards a new conception of physical reality. Information 2012, 3, 567-594.
101.Dodig-Crnkovic G. Information and energy/matter. Information 2012, 4, 751.
102.Fields C. If physics is an information science, what is an observer? Information 2012, 3, 92-123.
103. Wheeler J. A. Information, physics, quantum: The search for links. In Complexity, Entropy, and the Physics of Information; Zurek, W., Ed.; Addison-Wesley: Redwood City, CA, USA, 1990.
104. Weizcsäcker C. F. The Unity of Nature. In Physical Sciences and History of Physics; Boston Studies in the Philosophy of Science; Cohen, R.S., Wartofsky, M.W., Eds.; Springer: Dordrecht, The Netherlands, 1984. V. 82.
105.Ehresmann A. C. MENS, an Info-Computational Model for (Neuro-) cognitive Systems Capable of Creativity. Entropy 2012, 14, 1703-1716.
106.Ghosh S., Aswani K., Singh S., Sahu S., Fujita D., Bandyopadhyay A.
Design and Construction of a Brain-Like Computer: A New Class of Frequency-Fractal Computing Using Wireless Communication in a Supramolecular Organic, Inorganic System. Information 2014, 5, 28-100.
107.Zenil H., Kiani N. A., Zea A. A., Tegnér J. Causal deconvolution by algorithmic generative models. Nat. Mach. Intell. 2019.
108.Cardelli L. Artificial Biochemistry. In Algorithmic Bioprocesses; Condon, A., Harel, D., Kok, J.N., Salomaa, A., Winfree, E., Eds.; Springer: Heidelberg, Germany, 2009; pp. 429-462.
109.Cardelli L., Zavattaro G. On the computational power of biochemistry. In Proceedings of the Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics); Horimoto, K., Regensburger, G., Rosenkranz, M., Yoshida, H., Eds.; LNCS; Springer: Heidelberg, Germany, 2008; Volume 5147, pp. 65-80.
110. Cardelli L. Morphisms of reaction networks that couple structure to function. BMC Syst. Biol. 2014.
111. Cardelli L., Tribastone M., Tschaikowski M. From electric circuits to chemical networks. Nat. Comput. 2020.
112.Fresco N. Physical Computation and Cognitive Science; Springer: Berlin, Germany, 2014; ISBN978-3-642-41374-2.
113.Devon Hjelm R., Grewal K., Bachman P., Fedorov A., Trischler A., Lavoie-Marchildon S., Bengio Y. Learning deep representations by mutual information estimation and maximization. In Proceedings of the 7th International Conference on Learning Representations, ICLR2019, New Orleans, LA, USA, 6-9 May 2019.
© 2020 by the author. Licensee MDPI, Basel, Switzerland. This article is an open access article distributed under the terms and conditions of the Creative Commons Attribution (CC BY) license (http://creativecommons.Org/licenses/by/4.0/)
