CC BY
0ТРАНСФЕР ИДЕЙ И ЗНАНИЙ
DOI: 10.31249/metodquarterly/01.04.05
Спиров А.В.*
Трансфер идей из эволюционной биологии в кибернетику и обратно - в системную и синтетическую биологию1
Аннотация. В современной кибернетике и прикладной математике бурно развивается область исследований и разработок алгоритмов, «вдохновленных» живой природой (Nature-inspired algorithms). Эти алгоритмы сформулированы на основе обобщений и заключений исследователей. Они построены на основе того, каким образом живые организмы «решают» те или иные задачи жизнедеятельности. В свою очередь, эти алгоритмы тестируются и приспосабливаются для решения реальных практических проблем. Часто это многочисленные проблемы оптимизации. Большое семейство таких алгоритмов составляют эволюционные алгоритмы (ЭА). Они вдохновлены принципами обобщенного селек-ционизма и, по сути, моделируют эволюцию на компьютере применительно к конкретным прикладным задачам оптимизации. Вместе с тем в этой обширной области исследований за прошедшие десятилетия было разработано, адаптировано и проверено на тестовых и прикладных задачах множество различных ЭА. Помимо количественных тестов на компьютерах ведутся и теоретические (математические) исследования этих алгоритмов с целью выявления условий их эффективности и пределов применимости. Ясно, что специалисты в области ЭА находятся в несравненно лучших условиях для исследований в сравнении с биологами-эволюционистами. Поэтому результаты и заключения этих специалистов начинают привлекать внимание биологов и находить применение в биологии, особенно в прикладных задачах системной и синтетической биологии и биотехнологиях. В этой статье рассматриваются основные процессы развития ЭА и их обратного трансфера в системную и синтетическую биологию. Так же как трансфер идей из биологии в кибернетику привел к формированию новой области компьютерных наук - эволюционных вычислений, - так и обратный трансфер может привести к обособлению новой области в современной системной и синтетической биологии.
Ключевые слова: трансфер идей; алгоритмы, вдохновленные природой; смежные области наук; эволюционная биология; кибернетика; эволюционные алгоритмы; обратный трансфер; системная биология; синтетическая биология.
* Спиров Александр Владимирович, кандидат биологических наук, ИНИОН РАН, e-mail: alexander.spirov@gmail.com © Спиров А.В., 2021
1 Исследование выполнено за счет гранта Российского научного фонда (проект № 17-18-01536).
64
Для цитирования: Спиров А.В. Трансфер идей из эволюционной биологии в кибернетику и обратно - в системную и синтетическую биологию // МЕТОД: Московский ежеквар-тальник трудов из обществоведческих дисциплин: ежекв. науч. изд.; ред. кол.: М.В. Ильин (гл. ред.) [и др.] / РАН. ИНИОН. Центр перспект. методологий социал.-гуманит. исслед. -Москва, 2021. - Т. 1, № 4. - С. 64-87. - URL: http://www.doi.org/10.31249/ metodquarterly/01.04.05
1. Введение 1.1. Алгоритмы, вдохновленные природой
Многие варианты реального приложения компьютерных наук предполагают оптимизацию определенных целевых задач, таких как минимизация затрат, минимизация энергопотребления, защита окружающей среды и максимизация производительности, эффективности и устойчивости. Во многих случаях такие задачи оптимизации являются сильно нелинейными, с мультимодальными целевыми ландшафтами, подверженными сложным нелинейным ограничениям. Такие проблемы в общем сложны. Даже с постоянно растущей мощностью современных компьютеров все еще непрактично и нежелательно использовать простые методы грубой силы (brute force). Таким образом, поиск новых эффективных алгоритмов имеет решающее значение для таких вариантов приложения.
В обширной области на стыке прикладной математики и кибернетики с использованием современных компьютеров (компьютерные науки, computer science) особое место занимают эвристические алгоритмы, «вдохновленные природой». Речь обычно идет о заключениях исследователей (чаще биологов) о том, как природа (чаще живая природа) решает те или иные задачи. Часто это задачи, формулируемые как задачи оптимизации. Когда на основании наблюдений и экспериментов исследователи показывают, как те или иные задачи решаются живой природой, у специалистов по алгоритмам появляется возможность сформулировать новый эвристический алгоритм и апробировать его эффективность при решении тестовых задач, а потом и использовать их при реальном приложении компьютерных наук.
Недавние обзоры насчитывают до сотни различных направлений и модификаций эвристических алгоритмов, вдохновленных природой (например, недавний обзор [Yang, 2020]). Среди наиболее известных, история которых насчитывает десятилетия, резонно упомянуть искусственные нейронные сети, обширную область эволюционных вычислений, обширное семейство «стайных» алгоритмов, алгоритмы, вдохновленные процессами и механизмами иммунитета. Таким образом, речь идет о широком наборе междисциплинарных и пограничных областей на стыке биологии и математики, которые формируются и развиваются благодаря трансферу идей из биологии.
65
1.2. Эволюционные алгоритмы
Обобщения и формализация базовых концепций синтетической теории эволюции (известных также как обобщенный селекционизм) вдохновили в свое время, еще в 60-е годы прошлого века, ряд исследователей на формально-алгоритмические описания эволюции в приложении преимущественно к задачам оптимизации. Постепенно эти направления были объединены в новую область исследования в компьютерных науках, получившую название эволюционных вычислений (ЭВ). За минувшие с тех пор десятилетия экстенсивного развития ЭВ были существенно обогащены методами теории вероятности, теории сложных систем (complexity theory) и методами оптимизации. Таким образом, эта ныне процветающая обширная область прикладной математики / компьютерных наук формировалась в свое время в результате трансфера идей и понятий из эволюционной биологии [Holland, 1975; Genetic..., 1999].
Подходы ЭВ типично включают популяцию, из которой выбираются репродуктивные родители, репродуктивный протокол (процедуры отбора родительских пар для дальнейшей репродукции), методы изменения генетической информации потомства (процедуры мутаций), а также средства для проверки пригодности потомства с целью включения его в дочернюю популяцию (процедуры отбора).
Во многом канонической областью в ЭВ считают генетические алгоритмы (ГА). ГА работают с совокупностью «особей» - популяцией. При этом каждая из особей представляет собой возможное решение данной проблемы. Каждая особь оценивается мерой ее «приспособленности» согласно тому, насколько «хорошо» работает соответствующее ей решение задачи. Наиболее приспособленные особи получают возможность «производить» потомство посредством «скрещивания» с другими особями популяции. Это приводит к появлению новых особей, которые сочетают в себе некоторые характеристики, наследуемые ими от родителей.
Подходы ГА включают пять отдельных компонентов: кодирование («хромосома»); популяция особей (хромосом); метод выбора родителей для продукции дочерней хромосомы из родительских; методы изменения дочерних хромосом (мутация и рекомбинации); критерии пригодности; и правила, основанные на оценке приспособленности, согласно которым потомство включается в популяцию. Все эти пять компонентов имеют значение для эффективности эволюционного поиска в различных прикладных задачах из области ГА. Однако, пожалуй, наибольший интерес привлекают именно подходы и процедуры кроссовера и более сложные техники реорганизации генетического материала родительской популяции для получения дочерних популяций.
66
1.2.1. Обратный трансфер идей из эволюционных вычислений в современную биологию
В свою очередь, впечатляющий прогресс в ЭВ, как и понимание причин эффективности эволюционных поисков, начали влиять на научную работу в области экспериментальной молекулярной эволюции и моделирования биологической эволюции [Stemmer, 1994 a; Stemmer, 1994 b; van Nimwegen, Crutchfield, 2000; van Nimwegen, Crutchfield, 2001]. Можно заключить, что в последние десятилетия наблюдается обратный трансфер подходов из ЭВ в системную и синтетическую биологию [Automated..., 2001; Banzhaf, 2003; Evolving., 2006; Holloway, Spirov, 2012; Spirov, Hol-loway, 2013; Hu, Banzhaf, Moore, 2014; Spirov, Holloway, 2016; Payne, Moore, Wagner, 2014]. Более того, подходы ГА предлагается развивать в качестве базиса для математического и компьютерного моделирования экспериментальных подходов направленной эволюции биологических макромолекул (направленная эволюция, эволюция in vitro, эволюция «в пробирке») [Protein building., 2002; Manrubia, Briones, 2007; Oh, Lee, McKay, 2011]. Сравнительный анализ научной литературы в нескольких молодых междисциплинарных областях современной биологии позволяет утверждать, что обратный трансфер идей и подходов из кибернетики (прежде всего, из области эволюционных алгоритмов) в современную биологию начинает формировать новую междисциплинарную область, которую называют системной вычислительной биологией [Еремеев, Авдонин, Спиров, 2020; Авдонин, Спиров, Еремеев, 2020]. В этой статье мы обсудим, как разработки в области ЭВ, особенно в области операторов кроссовера для ГА, обеспечивают новое понимание эффективности эволюционного поиска. В частности, мы обсудим влияние, которое это может оказать на биологическую молекулярную эволюцию, включая экспериментальную эволюцию биологических макромолекул.
1.3. Эволюционные вычисления для биологии
Кратко обрисуем основные направления, по которым наблюдается обратный трансфер идей, алгоритмов и подходов из ЭВ в современную биологию.
Ныне значимая область современной системной биологии - моделирование эволюции генов и генных регуляторных сетей (ГРС) - систематически использует и развивает методы и подходы из ЭВ и ГА. Близка к ней по идеологии и подходам область эволюционного дизайна генов и генных сетей (см. обзоры: [Holloway, Spirov, 2012; Spirov, Holloway, 2013; Spirov, Holloway, 2016]).
Еще одно молодое и перспективное направление - трансфер принципов и теоретических обобщений по проблемам эффективности работы
67
ГА на ряд критически важных проблем современной синтетической биологии и биотехнологий. Этот формализм ГА может быть приложен к проблемам искусственной эволюции биологических макромолекул (ДНК, РНК и протеины) [Спиров, Еремеев, 2019; Spirov, Myasnikova, 2019; Спиров, Еремеев, 2020; Eremeev, Spirov, 2020; Myasnikova, Spirov, 2020].
Еще одним из широко используемых методов ЭВ является генетическое программирование (ГП). Джон Коза, автор ГП, неоднократно упоминал, что принцип дублирования с изменением элементов программ, представленных деревьями [Genetic..., 1999], был вдохновлен идеями эволюционной биологии о дупликации и последующей дивергенции дубликатов генов. Возможность представить ГРС как ориентированный граф давно используется биологами: это делает наглядными как архитектуру сети, так и «мутации» сети. Активно работающие в этой области лаборатории Э. Сиггиа и П. Франке обозначили свое направление «эволюция in silico» [François, Siggia, 2010].
В области обратной инженерии организации ГРС, когда исходят из экспериментальных данных по генной экспрессии для вывода архитектуры сети, варианты приложения техник ГП развиваются в составе нескольких групп. Одна из примечательных работ в этой области была опубликована Дж. Козой с соавт. [Automated., 2001] и описывала использование ГП для обратной инженерии регуляторной сети лактозного оперона бактерии. В области приложения ГП к анализу биологических и модельных, искусственных регуляторных сетей активно работает группа В. Банцхафа [Banzhaf, 2003; Evolving., 2006; Hu, Banzhaf, Moore, 2014].
В свою очередь, идеи и подходы из ЭВ начинают оказывать свое влияние на методологию направленной (искусственной) эволюции синтетических генных сетей [Yokobayashi, Weiss, Arnold, 2002; Haseltine, Arnold, 2007].
В этой статье мы далее подробнее остановимся на успехах и проблемах переноса подходов и алгоритмов мутаций и рекомбинаций из ЭВ в области теоретической и экспериментальной биологии. Идеи и концепции мутаций / рекомбинаций генетического материала, заимствованные в свое время областями ЭВ из эволюционной биологии, теперь подвергаются обратному трансферу в системную и синтетическую биологию (и далее в биотехнологии). Именно в этом направлении трансфера наиболее рельеф-ны как проблемы, так и перспективы становления и развития новых междисциплинарных областей.
2. Генетические алгоритмы для синтетической биологии.
Эволюция макромолекул in vitro как генетические алгоритмы
Среди обширных областей современной биологии именно подходы к искусственной эволюции биологических макромолекул (эволюция в
68
пробирке) оказываются наиболее близки к ЭВ (в особенности к ГА) [Protein building., 2002; Manrubia, Briones, 2007; Oh, Lee, McKay, 2011]. Поэтому эволюцию in vitro можно трактовать как имплементацию техник ГА в реальных экспериментах. Наоборот, ГА можно использовать как базис для развития численной теории и компьютерного моделирования этих биологических экспериментальных подходов (биологические эксперименты in silico).
Среди все расширяющегося многообразия методов и подходов направленной эволюции биомолекул две относительно старые экспериментальные области наиболее близки к теории и практике ГА. Это предложенный в 1990 г. метод систематической эволюции лигандов экспоненциальным обогащением (systematic evolution of ligands by exponential enrichment, SELEX) [Tuerk, Gold, 1990] и предложенный в 1994 г. метод «перетасовки ДНК» (DNA-shuffling [Stemmer, 1994 a; Stemmer, 1994 b]).
Метод SELEX интерпретируется как стандартные ГА с одним лишь оператором точечных мутаций (без кроссовера), тогда как другой известный метод направленной эволюции DNA-shuffling напоминает более экзотические версии ГА с множественными родителями [Ting, Su, Lee, 2010] и с оператором гомологичных рекомбинаций [Spirov, Holloway, 2016]. В последние пару десятилетий SELEX развивается в направлениях, помогающих создать мощные и универсальные техники, имеющие большие перспективы в синтетической биологии и биотехнологиях [Microfluidic..., 2019]. Современные преемники классического SELEX - везикулярные и микрокапельные техники - это та методология, где имплементация операторов ГА наиболее перспективна.
2.1. Теорема схем и теория строительных блоков в генетических алгоритмах
Заложенная работами Джона Холланда с коллегами идея схем (теорема схем: [Forrest, Mitchell, 1993]) и теория строительных блоков (СБ) сформулировали принципы эффективности эволюционного поиска в ЭВ [Mitchell, 1998]. ГА оказываются эффективными для тех задач эволюционного поиска, для которых корректно задано отображение генотипа в фенотип. А именно, с самого начала эволюционного поиска с нуля в геномах появляются многообразные короткие вырожденные последовательности-«схемы», вносящие свой вклад в фитнес генома (это схемы низшего порядка). Рекомбинация геномов сводит такие схемы в блоки более высокого порядка и с более значимым вкладом в фитнес, которые называют СБ. В свою очередь, СБ далее могут объединяться рекомбинацией в суперблоки еще более высокого порядка.
В свое время для исследования роли и значения процедур рекомбинаций в эффективности ГА Холландом с соавторами была сформулирова-
69
на специальная тестовая проблема - проблема Royal road (проблема «королевских дорог») [Forrest, Mitchell, 1993; Mitchell, 1998]. Соответственно, были также разработаны функции Royal road. Здесь выбор названия апеллирует к знаменитой с античных времен метафоре о царской / королевской дороге как прямом и легком пути. Предложенные Royal road оказались в итоге во многом не соответствующими их изначальному предназначению, и эти функции обобщались и расширялись неоднократно.
Схемы и СБ из ГА имеют четкие аналоги в эволюционной биологии макромолекул (нуклеиновые кислоты и протеины). Это множественные иерархические эволюционно-консервативные функциональные мотивы, модули и домены в биомолекулах [Bork, 1991; Hendrix, Brenner, Holbrook, 2005; Grabow, Jaeger, 2013; Спиров, Еремеев, 2019]. Биологи полагают, что эволюция макромолекул идет с помощью рекомбинации отдельных мотивов, модулей и доменов в составные блоки более высокого порядка. Такое сведение доменов низкого порядка в составные домены / модули более высокого порядка способно давать все более существенный прирост в улчшении фитнеса за счет новых характеристик таких новых рекомби-нантных молекул. Это весьма напоминает теоретические обобщения механизмов эффективности эволюционного поиска в ГА.
Именно на уровне роли рекомбинации СБ в эволюционном поиске можно ожидать трансфера алгоритмов и процедур из ГА в биологию, с их реализацией в конечном итоге в виде новых экспериментальных биологических методов и подходов.
2.2. Строительные блоки в молекулах белков и нуклеиновых кислот
По аналогии с литературой в области ЭВ мы используем термин «строительные блоки» (СБ) для тех более простых доменов, которые можно идентифицировать в функциональных молекулах белков и нуклеиновых кислот. Так, СБ идентифицируются в белках, когда аминокислоты организуются, чтобы сформировать функционально и физически различные области (домены) в пределах молекулы белка (см., например: [Protein building., 2002]). Такие СБ также охарактеризованы как автономные функциональные домены РНК; и они обнаруживаются в ДНК, от уровня нуклеосомной организации хроматина и до уровня организации регуля-торных областей генов. Сравнительные исследования показывают, что СБ могут быть весьма эволюционно консервативными и могут быть общими для самых разных организмов [Protein building., 2002].
Таким образом, СБ / домен молекулы белка - это эволюционно консервативная часть данной аминокислотной последовательности со своей вторичной и третичной структурой, которая может эволюционировать, функционировать и существовать независимо от остальной части белко-
70
вой цепи. Каждый домен образует компактную трехмерную структуру и часто может складываться в отдельное функциональное образование устойчиво и независимо от соседних доменов. Многие белки состоят из нескольких структурных / функциональных доменов. Один и тот же домен может присутствовать во множестве разных белков. Молекулярная эволюция использует домены в качестве СБ, и они могут быть перекомбинированы по-разному для создания белков с разными функциями.
Процедуры комплексной реорганизации генетического материала для экспериментальной эволюции биомолекул. Наряду с возросшим пониманием роли СБ в биологии и в областях кибернетики развиваются техники использования СБ в экспериментах по направленной эволюции (эволюции in vitro). Многочисленные работы используют эволюционные принципы для конструирования и отбора макромолекул, и становится очевидно, что случайные точечные мутации - не самое эффективное средство для этого. Роль кроссовера в сохранении СБ в ГА вдохновила в свое время Пима Стеммера на создание нового подхода - «перетасовки» ДНК [Stemmer, 1994 a; Stemmer, 1994 b]. К настоящему времени разработано немало специальных экспериментальных методов для введения доменов (СБ и их комбинации) в новые, неизвестные в природе химерные молекулы.
Поразительная консервация СБ в биологической эволюции была отмечена в литературе по ГА. При этом понимание важности сохранения уже найденных СБ для эффективных эволюционных поисков достаточно давно и относительно независимо формируется в ГА (и других областях ЭВ) [Holland, 1975; Forrest, Mitchell, 1993; Goldberg, 1989]. Нас здесь интересуют разработки алгоритмов и процедур рекомбинации хромосом в ГА, таких, которые сохраняют СБ; и то, как они соотносятся с разработками в области направленной эволюции в экспериментальной биологии.
2.3. Эвристические алгоритмы мутаций
Идеи селекционизма апеллируют к эволюционному поиску в больших популяциях, поскольку это наиболее близко к примерам эволюционных процессов в биологии. Однако в эволюционной биологии, особенно в эволюции биологических макромолекул, можно найти примеры весьма эффективного поиска, основанного на различных модификациях базовой парадигмы селекционизма. Целый ряд таких хорошо исследованных процессов эволюционного поиска макромолекул относится к области взаимодействия «патоген - хозяин». Именно здесь разворачивается «гонка вооружений» (arms race) между эффективностью защитных механизмов хозяина и способностями патогена избегать / преодолевать эти механизмы.
Один хорошо изученный пример высокоспецифических механизмов избегания давления иммунитета хозяина - это системы клональной анти-
71
генной вариации у патогенных простейших (Clonal Antigenic Variation in Pathogenic Protozoa) [Turner, 2002]. Мы здесь обрисуем ее на примере лейшманий.
Система функционирует согласно следующим принципам (см.: [Barbour, Restrepo, 2000; Turner, 2002]).
1. Имеется большое семейство неактивных генов в геноме, используемых этой системой. И в геноме также имеется специальное место, где расположен единственный из этого семейства ген, который активен (и производит белок оболочки паразита - лейшмании). Иммунитет вырабатывается у хозяина именно к этому белку, и когда белок заменяется вследствие замены гена, хозяин теряет иммунитет к паразиту, который до этого был сформирован.
2. Ключевое событие в этой системе - неслучайная (направленная и высокоспецифическая) мутация, которая представляет собой копирование одного из неактивных генов семейства в позицию активного гена.
3. Переключение активности с гена на ген (switching) само по себе есть мутация и может изменять копию гена, т.е. это неидеальное копирование с возможными мутациями при этом.
4. Гены из семейства, обеспечивающего избегание иммунитета хозяина, систематически мутируют (с частотой от 10 2 до 10 6 на клетку лейшма-нии), причем мутируют полузакономерно, по очереди (но процесс этот сильно зашумлен, и можно говорить лишь о вероятности мутирования гена).
Суммируя, можно сказать, что у трипаносом работает система направленного мутагенеза, сходная в ключевых составляющих с таковыми механизмами иммунной памяти хозяина. Ключевыми для таких систем являются прицельные высокоспецифические рекомбинации, сопряженные с прицельным мутагенезом. Здесь важно отметить, что очерченные процессы могут работать на очень маленьких популяциях, что не соответствует общим ожиданиям, исходящим из идей селекционизма.
2.3.1. Эвристические алгоритмы мутаций для поиска многодоменных биомолекул
Анализ процессов эволюционного поиска макромолекул в области синтетической биологии и биотехнологий численными методами (прежде всего, масштабными экспериментами на компьютерах [Spirov, Myasnikova, 2021]) показал высокую эффективность схем эволюционного поиска всего с одной мутирующей особью (без популяций) и только с алгоритмом мутаций (без рекомбинаций). Этот алгоритм давно исследован в эволюционных алгоритмах и хорошо известен как (1+1) ЭА.
Эффективность различных процедур мутации без кроссовера на серии известных тестовых задач, включая классические функции Royal road, была в свое время исследована Дж. Рихтером и Дж. Пакстоном [Richter,
72
Paxton, 2005]. Схемы мутаций (mutation scheme) по Т. Бэку и М. Шутцу [Bäck, Schütz, 1996], а также Ю. Ши с соавторами [Shi, Eberhart, Chen, 1999] оказались наиболее эффективными для классических тестовых задач (как и Royal road). Р. Уатсон с соавторами [Watson, 2001] тестировали процедуры поиска с помощью «восхождения к вершине» (hill-climbing), использующие макромутации (the macromutation hill-climber, MMHC) на предложенных ими расширениях функций Royal road. Так что весьма простые схемы эволюционного поиска, и только с мутациями (без рекомбинаций), могут оказаться весьма эффективными в ряде конкретных случаев.
Созревание антител как пример эволюционного поиска эвристическими алгоритмами клеточных мутаций. Интересно, что этот алгоритм (1+1) ЭА напоминает некоторые очень значимые процессы в биологии. Конкретнее, процедуры такого алгоритма, прежде всего, напоминают процессы в иммунной системе млекопитающих (включая человека), называемые матурацией аффинности1 антител (affinity maturation) [Victora, Nussenzweig, 2012]. Это процессы прицельного соматического мутагенеза и отбора мутантных клеток в лимфатических узлах в ходе вызревания аффинности антител.
Процесс созревания аффинности начинается с того, что конкретная исходная клетка (naïve B cell) поступает из кровотока в лимфатический узел. Эта клетка продуцирует антитело, демонстрирующее определенное сродство с появившимся в кровотоке патогеном, и именно поэтому она и оказывается в узле. В узле клетка должна произвести дочерние клетки, которые будут продуцировать антитела, более высокоспецифические, чем исходное. Соответственно, эта клетка начинает митотически делиться. При этом при каждом митозе комплекс генов, ответственный за структуру антитела, подвергается высокоспецифическому прицельному мутагенезу. В среднем каждая дочерняя клетка отличается от материнской одной-двумя мутациями в этом генном комплексе. Лимфатический узел устроен и работает так, что только те дочерние клетки, которые производят антитела не слабее родительской, имеют шансы выжить и самим далее поделиться. В противном случае дочерняя клетка элиминируется. Процесс заканчивается, когда появится дочерняя клетка с требуемой, удовлетворительно высокой специфичностью антитела.
Как видим, природа здесь использует для эволюционного поиска только мутации и отбор организован подобно схемам восхождения к вершине. Это может свидетельствовать об эффективности эволюционного поиска даже достаточно простых схем, как мы отмечали выше.
1 Аффинность - термодинамическая характеристика, количественно описывающая силу взаимодействия веществ.
73
2.4. Рекомбинации в биологии и в генетических алгоритмах
Роль сложных механизмов реорганизации генетического материала в биологии по сравнению с простой точечной мутацией в настоящее время является активной областью дискуссий. В частности, считается, что такие агенты, как ретровирусы и ретропозоны, работают как высокоэффективные и высокоспецифичные мутаторы (см., например: [Brosius, 1999]). Механизм рекомбинации, разработанный ретровирусами, во многом похож на методы перетасовки ДНК, используемые в эволюции in vitro.
Ретровирусная рекомбинация обычно использует две родительские цепи РНК для создания дочерней цепи ДНК [Negroni, Buc, 2001; An, Telesnitsky, 2002], хотя возможен и трехцепочечный механизм. В этом плане ретровирусная рекомбинация напоминает процессы при перетасов-ках ДНК в эксперименте. И та, и другая процедура рекомбинаций весьма нетривиальны и эффективны.
2.4.1. Гомологичные рекомбинации
Методы гомологичной рекомбинации. Перетасовка ДНК - это первый описанный метод рекомбинации гомологичных генов in vitro, предложенный и развитый Стеммером [Stemmer, 1994 a; Stemmer, 1994 b]. Гены, подлежащие рекомбинации (родительские гены), случайным образом фрагментируются для получения фрагментов желаемого размера. Затем эти фрагменты повторно собираются с использованием циклов денатурации, отжига и удлинения с помощью полимеразы. Рекомбинация происходит, когда фрагменты от разных родителей отжигаются в областях с высокой идентичностью последовательностей. В результате таких процедур создаются наборы («библиотеки») химерных молекул. В итоге такие химеры тестируются на наличие новых (или намного более эффективных старых) функций.
Перетасовка ДНК в настоящее время является весьма продвинутой областью и успешно используется для создания многих новых биотехно-логически ценных ферментов [Sen, Venkata Dasu, Mandal, 2007].
Операторы гомологических рекомбинаций. Насколько нам известно, первая попытка внедрить принципы гомологической рекомбинации в ЭВ, исходя из известных аналогий в молекулярной генетике, была предпринята в свое время Парком с соавторами [Robust., 1993]. Предложенный ими оператор гомологической рекомбинации (homologous recombination operator) в качестве точек перекреста выбирал только области локальной гомологии между родительскими хромосомами. Соответственно, такой кроссинговер не разрушал уже найденные СБ в дальнейшем эволюционном поиске.
74
Эта идея точек рекомбинации в зонах локальной гомологии получила свое продолжение в нашем алгоритме retroGA [Holloway, Spirov, 2011] и предложенного Дж. Геро и В. Казаковым генно-инженерного подхода (genetic engineering approach [Gero, Kazakov, 2001]). Численные эксперименты с тестовыми функциями показали эффективность таких алгоритмов.
2.4.2. Негомологичные рекомбинации
Перетасовка экзонов (exon shuffling) в биологической эволюции.
Она была впервые предложена в 1978 г., когда Уолтер Гилберт [Gilbert, 1978] обнаружил, что наличие интронов может играть важную роль в эволюции белков. Было отмечено, что точки кроссинговера в пределах интронов (а не экзонов) могут способствовать независимой пересортировке экзонов в эволюции белков и что специфическая организация интронов может создавать «горячие точки» для рекомбинации, чтобы перетасовать экзонные последовательности в эволюции с большей частотой. Когда экзон-интронная структура генов коррелирует с доменной организацией белков (т.е. экзоны соответствуют автономным функциональным доменам), тогда дупликация, перестановка и перестройка таких экзонов могут создавать новые гены с новыми свойствами.
Иначе говоря, перестановка экзонов - это молекулярный механизм образования новых генов в эволюции. Это процесс, посредством которого два или более экзона из разных генов могут быть соединены вместе или один и тот же экзон может быть продублирован, чтобы создать новую экзон-интронную структуру. Существуют различные механизмы, посредством которых происходит перетасовка экзонов: опосредованная транспо-зонами перетасовка экзонов, кроссовер во время половой рекомбинации родительских геномов и негомологическая рекомбинация.
Экспериментальные методы негомологичной рекомбинации. Подходы негомологичной рекомбинации (или перетасовки семейств генов, family shuffling) во многом вдохновлены идеями о перекомбинации доменов в эволюции биологических макромолекул. Такие подходы исследуют эти в значительной степени малоизвестные возможности молекулярной эволюции экспериментально. В отличие от методов гомологичной рекомбинации, где повторная сборка генов основана на высокой гомологии среди генов, подлежащих рекомбинации, такие методы, как ITCHY, SHIPCREC, DOGS и SISDC, позволяют рекомбинировать негомологичные последовательности [Directed., 2008]. Чтобы выполнить негомологичную рекомбинацию, каждый известный или предполагаемый СБ (домен) изолируется, его концевые последовательности модифицируются, затем каждый блок численно умножается и снова участвует в сборке новых генов с помощью перекомбинации с другими доменами. Получаемые весьма разнородные химеры следует далее тестировать на функциональность. Таким
75
способом можно получить новые многофункциональные белки со свойствами, не встречавшимися в природе.
2.5. Эвристические алгоритмы, сохраняющие уже найденные домены
Как мы неоднократно отмечали, кроссинговер, сохраняющий СБ, требуется в ГА и ГП, эволюционном дизайне моделей генных сетей, направленной эволюции макромолекул и ряде других областей. В ЭВ разрабатывается немало специальных операторов кроссинговера / рекомбинации, умеющих сохранять СБ, как и более общих алгоритмов, напоминающих кроссовер [Skinner, Riddle, 2004; Garcia-Pedrajas, Ortiz-Boyer, Hervas-Martinez, 2006; Umbarkar, Sheth, 2015]. Есть надежда, что эти операторы удастся использовать для их реализации в новых экспериментальных моле-кулярно-биологических процедурах.
Таким образом, сквозная тема нашего анализа - это потребность в таких операторах кроссинговера / рекомбинации, которые сохраняли бы в эволюции СБ.
Ниже мы подробнее рассмотрим те из этих операторов, которые тестировались и продемонстрировали свою эффективность на функциях Royal Road. Целый ряд задач современной синтетической биологии по эволюционному дизайну многодоменных функциональных макромолекул может сводиться к проблеме Royal Road [Спиров, Еремеев, 2019; Spirov, Myasnikova, 2019; Спиров, Еремеев, 2020; Eremeev, Spirov, 2020; Myasnikova, Spirov, 2020; Spirov, Myasnikova, 2021].
Fragment Crossover (sGA-FC) алгоритм объединяет идентификацию СБ с формированием их состава. Показана эффективность этого алгоритма на задачах Royal Road по сравнению с простыми ГА [Sangkavichitr, Chongstitvatana, 2010]. Следующие два алгоритма - эволюционные алгоритмы, в которых мутации и рекомбинации выполняются с учетом вероятностных распределений, оцененных по случайно выбранному набору особей из родительской популяции [Mühlenbein, Mahnig, 2001]. Первый из них - The Univariate Marginal Distribution Algorithm (UMDA) - предполагает возможность аппроксимации равновесным алгоритмом (linkage equilibrium), т.е. допускает использования маргинальных распределений родителей, в то время как второй - The Factorized Distribution Algorithm (FDA) - использует факторизацию распределений без предположения равновесности. Показано, что оба метода хорошо справляются с оптимизационными задачами с функциями Royal Road.
Ё. Камея и Ч. Праёншри [Kameya, Prayoonsri, 2011] предложили алгоритм GAP (GA with patterns). Этот алгоритм основан на извлечении паттернов у особей (хромосом) с высоким фитнесом для последующей
76
защиты таких паттернов от кроссовера (точки перекреста не могут находиться в пределах найденного паттерна). Однако для классической версии Royal Road этот алгоритм с двухточечным кроссовером лишь ненамного эффективнее стандартных ГА с таковым кроссовером.
Г. Очоа с соавторами предложили Cooperative Co-Evolutionary Algorithms (CCEAs) [Ochoa, Lutton, Burke, 2008], которые оказались существенно более эффективными для решения проблем Royal Road в сравнении со стандартными ГА.
Отметим, что операторы кроссовера стандартных ГА - это операторы негомологичного кроссовера. Из операторов, имплементирующих гомологичный кроссовер, упомянем retroGA, который относится к многородительским и производит рекомбинации в областях локальной гомологии [Spirov, Holloway, 2013; Spirov, Holloway, 2016]. Эффективность этого алгоритма в сравнении со стандартными ГА была показана на функциях Royal road.
Trap-функции. В свое время, вслед за основополагающими публикациями по функциям Royal Road, были предложены альтернативные версии такого рода функций, подходящих, как полагали, для исследования эффективности именно ГА (в рамках теории схем и СБ) в сравнении с другими эвристическими подходами [Jansen, Wegener, 2006]. Наиболее интересными для нас являются trap-функции, а также те функции, где импле-ментировались и исследовались взаимодействия между блоками [Watson, 2001]. Наиболее существенный вывод из анализа таких функций - это значимость именно кроссовера и кроссовероподобных функций для эффективного решения такого рода проблем.
Поэтому естественно ожидать, что алгоритмы следующего поколения, специально и много лет разрабатываемые для разнообразных оптимизационных задач на основе идеи сохранения уже найденных СБ, вполне могут быть очень эффективными. Соответственно, их имплементация в экспериментальные процедуры эволюции in vitro может оказаться весьма эффективной и существенно ресурсосберегающей.
2.6. Сложные (гибридные) эвристические алгоритмы
В последние пару десятилетий в обширной области эвристических алгоритмов в компьютерных науках немалое внимание привлечено к так называемым меметическим алгоритмам, (МА) [Krasnogor, 2012].
Создатели МА, вдохновленные как дарвиновскими принципами естественной эволюции, так и представлением Р. Докинза о мемах, определяют МА как гибридные ГА, сопряженные с эвристическими алгоритмами локального поиска на основе процедур обучения. Метафорические параллели, с одной стороны, с дарвиновской эволюцией, и с другой стороны -между мемами и эвристикой, специфичной для данной предметной облас-
77
ти (локальный поиск), естественно ассимилируются меметическими алгоритмами. Это позволяет создать методологию, которая хорошо балансирует между общностью и специфичностью проблемы.
2.6.1. Коэволюционные (меметические) алгоритмы
Коэволюция и самогенерирующиеся МА [Krasnogor, Smith, 2005; Smith, 2007] могут рассматриваться как нынешнее поколение МА, в котором реализованы все предыдущие достижения в развитии этих алгоритмов. В отличие от предыдущих реализаций, в которых предполагалось, что меметические эвристики, которые будут использоваться, известны априори, МА этого поколения способны генерировать новые эвристики на основе исследования той проблемной области, где они будут прилагаться.
Этим достаточно новым областям систем эвристических алгоритмов можно поставить в соответствие некоторые конкретные эвристические алгоритмы, создание которых вдохновлено современными исследованиями процессов и механизмов в эволюционной биологии. Прежде всего, мы имеем в виду широко обсуждаемую роль мобильных генетических элементов (МГЭ) как источников высокоспецифических и сложных рекомбинаций генетического материала. (Это обширнейшая группа генетических элементов, известных также как прыгающие гены (jumping genes); «эгоистическая» ДНК (selfish DNA); транспозоны (transposons); ретроэлементы (retroelements). Мы не будем здесь обсуждать детали и отсылаем к обзорам: [Makalowski, 2000; Hurst, Werren, 2001].)
МГЭ являются, образно говоря, «генетическим мусором», а зачастую «эгоистичными» и паразитными элементами, которые наносят вред хозяину при своей активности. Специфика же их активности в том, что, перескакивая с одного места в геноме хозяина на другое, они способны вызывать сложные генетические рекомбинации. Типично такие перестройки хозяйского генома - вредоносны. Поэтому организм-хозяин развивает специальные молекулярно-генетические механизмы контроля активности МГЭ. В эволюционных масштабах времени МГЭ, в свою очередь, вырабатывают механизмы для преодоления контроля хозяина. Такая коэволюция эгоистичных элементов-мутаторов и организации генома хозяина может создавать высокоспецифические коэволюционирующие системы рекомбинации генетического материала хозяина. Конкретный пример роли коэволюции генома хозяина и его МГЭ исследован, например, в статьях: [Spirov, Holloway, 2012; Forced..., 2015]. Мы полагаем, что теория и практика коэво-люционных меметических алгоритмов могла бы послужить основой для более общей теории процессов коэволюции генома хозяина и его генетических эгоистичных элементов.
78
3. Заключение
Заимствованные ЭВ общие идеи селекционизма сформировали в итоге обширнейшую область преимущественно прикладных знаний, нацеленных в основном на разработку наиболее эффективных путей эволюционного поиска для широчайшего спектра прикладных задач. В этом смысле ситуация в ЭВ кардинально отличается от таковой в биологии, где биологическая эволюция весьма трудно исследуема экспериментально, а экспериментальная молекулярная эволюция весьма трудоемка и затратна, и ее область пока ограничена. В связи с этим естественно ожидать, что специалисты из ЭВ имеют гораздо больший конкретный опыт в отношении проблем и стратегий эффективного эволюционного поиска, чем биологи.
Общее впечатление таково, что практически для любой конкретной задачи эволюционного поиска (особенно прикладных задач реальной жизни) наилучший эволюционный алгоритм - это обычно гибридный алгоритм, разработанный и настроенный именно для этой конкретной задачи. И наоборот, достаточно универсальные алгоритмы, приложимые к широкому спектру задач, работают, как правило, не слишком эффективно. Наверное, этот вывод, несмотря на тривиальность, может быть весьма значимым для эволюционной биологии. Наблюдаемые в молекулярной генетике события и механизмы мутаций не являются высокоэффективными для масштабного эволюционного поиска. Наоборот, в тех ситуациях, где и в ныне наблюдаемой живой природе требуется высокоэффективный эволюционный поиск, работают изощренные механизмы мутаций и рекомбинаций. Наиболее наглядно это исследовано в случаях коэволюции иммунитета животных, стремящихся подавить патоген, и механизмов у патогенных агентов, стремящихся выйти из-под давления защитных систем хозяина. Здесь работают узконаправленные и высокоспецифические механизмы мутагенеза и комплексная машинерия прицельных рекомбинаций. Механизмы селекции тоже могут быть нетривиальны. В целом мы приходим к заключению, что после длительного параллельного развития биология и эволюционные вычисления начинают активно конвергировать и в области их пересечения начинаются процессы формирования новых разделов знаний.
Список литературы
Авдонин В.С., Спиров А.В., Еремеев А.В. Междисциплинарный трансфер знаний как метафорические переносы: эволюционная биология, эволюционные вычисления и вычислительная эволюционная биология как области междисциплинарных трансферов // Социология науки и технологий. - 2020. - Т. 11, № 4. - С. 111-139.
Еремеев А.В. Авдонин В.С., Спиров А.В. Междисциплинарный трансфер знаний, его условия и средства в эволюционной биологии и эволюционных вычислениях // Третья всероссийская
79
научная конференция «Омские научные чтения - 2019» (направление: методология научных исследований). - URL: http://conf.omsu.ru/Conference/ShowThesis?thesisId=1714 (дата обращения: 10.10.2020).
Спиров А.В., Еремеев А.В. Модульность в биологической эволюции и эволюционных вычислениях // Успехи современной биологии. - 2019. - Т. 139, № 6. - С. 523-539.
Спиров А.В., Еремеев А.В. Применение оценок из теории эволюционных вычислений к процедурам направленной эволюции // Математические структуры и моделирование. -2020. - № 1 (53). - С. 56-76.
An W., Telesnitsky A. HIV-1 genetic recombination: experimental approaches and observations // 2002 - AIDS Rev. - 2002. -Vol. 4(4). - P. 195-212.
Automated reverse engineering of metabolic pathways from observed data using genetic programming / Koza J.R., Lanza G., Mydlowec W. et al. // Foundations of Systems Biology / Ed. H. Kitano. - Cambridge, MA : MIT Press, 2001. - P. 95-117.
Bäck T., Schütz M. Intelligent mutation rate control in canonical genetic algorithms // Proceedings of the 9th International Symposium ISMIS 96. - Berlin : Springer-Verlag, 1996. - P. 158-167.
Banzhaf W. Artificial regulatory networks and genetic programming // Proc. Genetic Programming Theory andPractic / Ed. R.L. Riolo and B. Worzel. - Kluwer, 2003. - P. 43-62.
Barbour A.G., Restrepo B.I. Antigenic variation in vector-borne pathogens // Emerging infectious diseases. - 2000. - N 6 (5). - P. 449-457.
Bork P. Shuffled domains in extracellular proteins // FEBS Lett. - 1991. - N 286 (1/2). - P. 47-54.
Brosius J. RNAs from all categories generate retrosequences that may be exapted as novel genes or regulatory elements // Gene. - 1999. - N 238 (1). - P. 115-134.
Directed protein evolution / Stebel S.C., Gaida A., Arndt K.M., Müller K.M. // Molecular Biomethods Handbook. - Totowa, NJ : Humana Press, 2008. - P. 631-656. - URL: https://www.academia.edu/18227769/Directed_Protein_Evolution (accessed: 21.03.21).
Evolving noisy oscillatory dynamics in genetic regulatory networks / Leier A., Kuo P.D., Banzhaf W., Burrage K. // Genetic Programming. EuroGP 2006 / Ed. P. Collet, M. Tomassini, M. Ebner, S. Gustafson, A. Ekart. - Berlin ; Heidelberg : Springer, 2006. - Vol. 3905. -P. 290-299. - DOI: 10.1007/11729976_26
Eremeev A.V., Spirov A.V. Modeling SELEX for regulatory regions using Royal Road and Royal Staircase fitness functions // Biosystems. - 2020. - N 200. - P. 104312.
Forrest S., Mitchell M. Relative building-block fitness and the building block hypothesis // Foundations of Genetic Algorithms / D. Whitley (ed.). - San Mateo, CA : Morgan Kaufmann, 1993. -Vol. 2. - P. 109-126.
Forced evolution in silico by artificial transposons and their genetic operators: the ant navigation problem / Zamdborg L., Holloway D.M., Merelo J.J., Levchenko V.F., Spirov A.V // Information Sciences. - 2015. - N 306. - P. 88-110.
François P., Siggia E.D. Predicting embryonic patterning using mutual entropy fitness and in silico evolution // Development. - 2010. - Vol. 137 (14). - P. 2385-2395.
Garcia-Pedrajas N., Ortiz-Boyer D., Hervas-Martinez C. An alternative approach for neural network evolution with a genetic algorithm: crossover by combinatorial optimization // Neural Netw. - 2006. - Vol. 19 (4). - P. 514-528.
Genetic Programming III: Darwinian Invention and Problem Solving / Koza J.R., Bennett F.H., Andre D., Keane M.A. - San Francisco, CA : Morgan Kaufmann, 1999. - 1154 р.
Gero J.S., Kazakov V.S. A Genetic Engineering Approach to Genetic Algorithms // Evol. Comput. - 2001. - Vol. 9 (1). - P. 71-92.
Gilbert W. Why genes in pieces? // Nature. - 1978. - N 271. - P. 501.
Goldberg D.E. Genetic algorithms in search, optimization, and machine learning. - Reading, MA : Addison-Wesley, 1989. - 412 р.
Grabow W., JaegerL. RNA modularity for synthetic biology // F1000Prime Rep. - 2013. - N 5. -P. 46. - DOI: 10.12703/P5-46.
80
Haseltine E.L., Arnold F.H. Synthetic gene circuits: design with directed evolution // Annu. Rev. Biophys. Biomol. Struct. - 2007. - N 36. - P. 1-19.
Hendrix D.K., Brenner S.E., Holbrook S.R. RNA structural motifs: building blocks of a modular biomolecule // Q Rev Biophys. - 2005. - N 38 (3). - P. 221-243.
Holland J. Adaptation in Natural and Artificial Systems. - Ann Arbor : Univ. of Michigan Press, 1975. - 183 p.
Holloway D., Spirov A.V. Retroviral genetic algorithms: implementation with tags and validation against benchmark functions // Proceedings of the International Conference on Evolutionary Computation Theory and Applications. - 2011. - P. 233-238.
Holloway D., Spirov A.V. New approaches to designing genes by evolution in the computer // Real-World Applications of Genetic Algorithms. IntechOpen. - 2012. - P. 235-260.
Hu T., Banzhaf W., Moore J.H. Population exploration on genotype networks in genetic programming / Ed. Bartz-Beielstein T., Branke J., Filipic B., Smith J. Proc. // Parallel Problem Solving from Nature. LNCS. - Cham : Springer, 2014. - Vol. 8672. - P. 424-433.
Hurst G.D.D., Werren J.H. The role of selfish genetic elements in eukaryotic evolution // Nat. Rev. Genet. - 2001. - N 2. - P. 597-606.
Jansen T., Wegener I. On the analysis of a dynamic evolutionary algorithm // Journal of Discrete Algorithms. - 2006. - N 4 (1). - P. 181-199.
Kameya Y., Prayoonsri C. Pattern-based preservation of building blocks in genetic algorithms // IEEE Congress on Evolutionary Computation. - 2011. - P. 2578-2585.
Krasnogor N., Smith J.A tutorial for competent memetic algorithms: model, taxonomy and design issues // IEEE Trans Evolut Algorithms. - 2005. - N 9 (5). - P. 474-488.
Krasnogor N. Memetic Algorithms // Handbook of Natural Computing. - Berlin ; Heidelberg : Springer, 2012. - P. 905-935.
Makalowski W. Genomic scrap yard: how genomes utilize all that junk // Gene. - 2000. -Vol. 259. - P. 61-67.
Manrubia S.C., Briones C. Modular evolution and increase of functional complexity in replicating RNA molecules // RNA. - 2007. - N 13. - P. 97-107.
Meyers L.A., Fontana W. Evolutionary lock-in and the origin of modularity in RNA structure // Modularity: Understanding the Development and Evolution of Complex Natural Systems / W. Callebaut and D. Rasskin-Gutman (Eds.). - Cambridge, Massachusetts : MIT Press, 2005. -P. 129-141.
Microfluidic Technology for Nucleic Acid Aptamer Evolution and Application / Fraser L.A., Cheung Y., Kinghorn A.B., Guo W., Shiu S., Jinata C., Liu M., Bhuyan S., Nan L., Shum H.C., Tanner J.A. //Adv Biosyst. - 2019. - Vol. 3 (5). - P. e1900012.
Mitchell M. An Introduction to Genetic Algorithms. - Cambridge, Massachusetts : MIT Press, 1998. - 209 p.
Muhlenbein H., Mahnig T. Evolutionary Algorithms: From Recombination to Search Distributions // Theoretical Aspects of Evolutionary Computing / Kallel L., Naudts B., Rogers A. (Eds). -Berlin ; Heidelberg : Springer, 2001. - 135-173 p.
Myasnikova E., Spirov A. Transfer of Genetic Algorithms to Directed Evolution of Macromole-cules: Tests in Silico // Cognitive Sciences, Genomics and Bioinformatics (CSGB). - 2020. -DOI: 10.1109/CSGB51356.2020.9214734
Negroni M., Buc H. Mechanisms of retroviral recombination // Annu Rev Genet., 2001. - N 5. -P. 275-302.
Ochoa G., Lutton E., Burke E. The Cooperative Royal Road: Avoiding Hitchhiking // Lecture Notes in Computer Science. Evolution Artificial EA / Monmarche N., Talbi EG., Collet P., Schoenauer M., Lutton E. (Eds.). - Berlin ; Heidelber. : Springer, 2008. - Vol. 4926. - P. 184195.
Oh I.S., Lee Y., McKay R. Simulating chemical evolution // Proceedings of 2011 IEEE Congress of Evolutionary Computation. - New Orleans, LA., 2011. - P. 2717-2724.
81
Payne J.L., Moore J.H., Wagner A. Robustness, evolvability, and the logic of genetic regulation // Artificial Life. - 2014. - N 20. - P. 111-126.
Protein building blocks preserved by recombination / Voigt C.A., Martinez C., Wang Z.G., Mayo S.L., Arnold F.H. // Nat Struct Biol. - 2002. - Vol. 9. - P. 553-558.
Richter J., Paxton, J. Adaptive Evolutionary Algorithms on Unitation, Royal Road and Longpath Functions // IASTED International Conference on Computational Intelligence. - Calgary, Canada, 2005.
Robust and Efficient Genetic Crossover Operator: Homologous Recombination / Park J., Park J., Lee C., Han M. // Proceedings of 1993 International Joint Conference on Neural Networks. -1993. - P. 2975-2978.
Sangkavichitr C., Chongstitvatana P. Fragment as a Small Evidence of the Building Blocks // Existence. Exploitation of Linkage Learning in Evolutionary Algorithms / Ying-ping Chen (Ed.). - Berlin ; Heidelberg : Springer, 2010. - P. 25-44.
Sen S., Venkata Dasu V., Mandal B. Developments in directed evolution for improving enzyme functions // ApplBiochem Biotechnol. - 2007. - N 143 (3). - P. 212-223.
Shi Y., Eberhart R.C., Chen Y. Implementation of Evolutionary Fuzzy Systems // IEEE Trans. Fuzzy Systems. - 1999. - N 7 (2). - P. 109-119.
Skinner C., Riddle P. Expected Rates of Building Block Discovery, Retention and Combination Under 1-Point and Uniform Crossover // Parallel Problem Solving from Nature - PPSN VIII, 8th International Conference. - Birmingham, UK, 2004. - P. 121-130.
Smith J.E. Coevolving Memetic Algorithms: A Review and Progress Report. IEEE Transactions on Systems, Man, and Cybernetics - Part B. // Cybernetics. - 2007. - N 37 (1). - P. 6-17.
Spirov A.V., Myasnikova E.M. Techniques from Evolutionary Computation to Implement as Experimental Approaches in Synthetic Biology: Tests in Silico // Proceedings of ACMGECCO conference, Prague, Czech Republic, July 2019 (GECCO'19). - 2019. - Р. 81-82. - URL: doi.org/10.1145/3319619.3326787
Spirov A.V., Myasnikova E.M. Heuristic algorithms in Evolutionary Computations and modular organization of biological macromolecules: applications to in virto evolution / PLOS ONE. -2021. - 29 р. - Submitted.
Spirov A.V., Sabirov M.A., Holloway D.M. In silico evolution of gene cooption in pattern-forming gene networks // Scientific World Journal. - 2012. - P. 560101.
Spirov A., Holloway D. Using evolutionary computations to understand the design and evolution of gene and cell regulatory networks //Methods. - 2013. - N 62 (1). - P. 39-55.
Spirov A., Holloway D. Using evolutionary algorithms to study the evolution of gene regulatory networks controlling biological development // Evolutionary Computation in Gene Regulatory Network Research / Ed. H. Iba, N. Noman. - Hoboken, NJ, USA : John Wiley & Sons, Inc, 2016. - URL: https://doi.org/10.1002/9781119079453.ch10
Stemmer W.P. Rapid evolution of a protein in vitro by DNA shuffling // Nature. - 1994 а. -N 370. - P. 389-391.
Stemmer W.P. DNA shuffling by random fragmentation and reassembly - in-vitro recombination for molecular evolution // Proc. Natl. Acad. Sci. USA. - 1994 b. - N 91 (22). - P. 1074710751.
Ting C.-K., Su C.H., Lee C.-N. Multi-parent extension of partially mapped crossover for combinatorial optimization problems // Expert Systems with Applications. - 2010. - N 37 (3). -P. 1879-1886.
Tuerk C., Gold L. Systematic evolution of ligands by exponential enrichment: RNA ligands to bacteriophage T4 DNA polymerase // Science. - 1990. - Vol. 249 (4968). - P. 505-510.
Turner C.A perspective on clonal phenotypic (antigenic) variation in protozoan parasites // Parasitology. - 2002. - N 125 (7). - P. 17-23.
Umbarkar A.J., Sheth P.D. Crossover operators in genetic algorithms: a review. ICTACT // Journal on Soft Computing. - 2015. - N 6 (01). - P. 1083-1092.
82
van Nimwegen E., Crutchfield J.P. Optimizing Epochal Evolutionary Search Population-Size Independent Theory // Computer Methods in Applied Mechanics and Engineering. - 2000. -Vol. 186 (2/4). - P. 171-194. van Nimwegen E., Crutchfield J.P. Optimizing epochal evolutionary search population-size
dependent theory // Machine Learning Journal. - 2001. - Vol. 45. - P. 77-114. Victora G.D., Nussenzweig M.C. Germinal centers // Annu Rev Immunol. - 2012. - N 30. -P. 429-570.
Watson R.A. Analysis of recombinative algorithms on a non-separable building-block problem / Editor (s): Worthy N. Martin, William M. Spears // Foundations of Genetic Algorithms. 6. -San Francisco, Calif : Morgan Kaufmann, 2001. - P. 69-89. Yang X.-S. Nature-inspired optimization algorithms: challenges and open problems // Journal
of Computational Science. - 2020. - N 46. - P. 101104. Yokobayashi Y., Weiss R., Arnold F.H. Directed evolution of a genetic circuit // Proceedings of the National Academy of Sciences USA. - 2002. - N 99. - P. 16587-16591.
Alexander Spirov* Transfer of ideas from evolutionary biology to cybernetics and back to system and synthetic biology
Abstract. In modern cybernetics and applied mathematics, the field of research and development of algorithms «inspired» by Nature is rapidly developing. These algorithms are formulated on the basis of generalizations and conclusions of biological researchers. They are built on the basis of how living organisms «solve» certain tasks of life. In turn, these algorithms are tested and adapted to solve real practical problems. These are often multiple optimization problems. Evolutionary algorithms (EA) constitute a large family of such algorithms. They are inspired by the principles of the generalized selectionism, and, in fact, they simulate evolution on a computer in relation to specific applied optimization problems. At the same time, in this vast area of research, over the past decades, many different EAs have been developed, adapted and tested on benchmark test and applied problems. In addition to quantitative tests on computers, theoretical (mathematical) studies of these algorithms are also carried out in order to identify the conditions for their effectiveness and the limits of applicability. It is evident that EA specialists are in incomparably better conditions for research than evolutionary biologists. Therefore, the results and conclusions of these specialists are beginning to attract the attention of biologists and find applications in biology. This is especially noticeable in applied problems of systems biology, synthetic biology and biotechnology. This article discusses the main developments of EA and the reverse transfer of such algorithms to systems biology and synthetic biology. Just as the transfer of ideas from biology to cybernetics led to the formation of a new field of computer science (evolutionary computing), the reverse transfer may lead to the further development of a new field in modern systems and synthetic biology.
Keywords: transfer of ideas; algorithms inspired by nature; related fields of science; evolutionary biology; cybernetics; evolutionary algorithms; return transfer; systems biology; synthetic biology.
For citation: Spirov, A. (2021). Transfer of ideas from evolutionary biology to cybernetics and back to system and synthetic biology. METHOD: Moscow Quarterly Journal of Social Studies, 1 (4), 65-87. http://www.doi.org/10.31249/metodquarterly/01.04.05
* Alexander Spirov, INION RAN (Moscow, Russia), e-mail: alexander.spirov@gmail.com
83
References
An W, & Telesnitsky A. (2002). HIV-1 genetic recombination: experimental approaches and observations. AIDS Rev., 4 (4), 195-212.
Avdonin V.S., Spirov A.V., Eremeev A.V. (2020). Interdisciplinary Transfer of Knowledge as Metaphorical Transfers: Evolutionary Biology, Evolutionary Computing, and Computational Evolutionary Biology as Areas of Interdisciplinary Transfers. Sociology of Science & Technology, 11 (4), 111-139. (In Russian)
Avdonin V.S., Spirov A.V., Eremeev A.V. (2020). Interdisciplinary transfer of knowledge, its conditions and tools in evolutionary biology and evolutionary computing, Omsk Scientific Readings. Omsk State University. (In Russ.)
Bäck, T., & Schütz, M. (1996). Intelligent mutation rate control in canonical genetic algorithms. In Proceedings of the 9th International Symposium, ISMIS 96 (pp. 158-167). Springer-Verlag, Berlin (Germany).
Banzhaf, W. (2003). Artificial regulatory networks and genetic programming. In Proc. Genetic Programming Theory and Practice (pp. 43-62). Ed. R.L. Riolo and B. Worzel: Kluwer.
Barbour, A.G., & Restrepo, B.I. (2000). Antigenic variation in vector-borne pathogens. Emerging infectious diseases, 6 (5), 449-457.
Bork, P. (1991). Shuffled domains in extracellular proteins. FEBSLett., 286 (1-2), 47-54.
Brosius, J. (1999). RNAs from all categories generate retrosequences that may be exapted as novel genes or regulatory elements. Gene, 238 (1), 115-134.
El-Mihoub, T.A., Hopgood, A.A., Nolle, L., & Battersby, A. (2006). Hybrid Genetic Algorithms: A Review. Engineering Letters, 3 (2).
Eremeev, A.V., & Spirov, A.V. (2020). Modeling SELEX for regulatory regions using Royal Road and Royal Staircase fitness functions. Biosystems, 200, 104312.
Forrest, S., & Mitchell, M. (1993). Relative building-block fitness and the building block hypothesis, In D. Whitley (ed.), Foundations of Genetic Algorithms, Vol. 2 (pp. 109-126). San Mateo, CA: Morgan Kaufmann.
François, P., & Siggia, E.D. (2010). Predicting embryonic patterning using mutual entropy fitness and in silico evolution. Development, 137 (14), 2385-2395.
Fraser, L.A., Cheung, Y.W., Kinghorn, A.B., Guo, W., Shiu, S.C., Jinata, C., Liu, M., Bhuyan, S., Nan, L., Shum, H.C., & Tanner, J.A. (2019). Microfluidic Technology for Nucleic Acid Aptamer Evolution and Application. AdvBiosyst., 3 (5), e1900012.
Garcia-Pedrajas, N., Ortiz-Boyer, D., & Hervas-Martinez, C. (2006). An alternative approach for neural network evolution with a genetic algorithm: Crossover by combinatorial optimization. Neural Netw, 19 (4), 514-528.
Gero, J.S. & Kazakov, V.S. (2001). A Genetic Engineering Approach to Genetic Algorithms. Evol. Comput., 9 (1), 71-92.
Gilbert, W. (1978). Why genes in pieces? Nature, 271, 501.
Goldberg, D.E. (1989). Genetic algorithms in search, optimization, and machine learning. Reading, MA: Addison-Wesley.
Grabow, W., & Jaeger, L. (2013). RNA modularity for synthetic biology. F1000 Prime Rep., 5, 46.
Haseltine, E.L., & Arnold, F.H. (2007). Synthetic gene circuits: design with directed evolution. Annu. Rev. Biophys. Biomol. Struct., 36, 1-19.
Hendrix, D.K., Brenner, S.E., & Holbrook, S.R. (2005). RNA structural motifs: building blocks of a modular biomolecule. Q Rev Biophys., 38 (3), 221-243.
Holland, J. (1975). Adaptation in Natural and Artificial Systems. MIT Press.
Holloway, D., & Spirov, A.V. (2011). Retroviral genetic algorithms: implementation with tags and validation against benchmark functions. In Proceedings of the International Conference on Evolutionary Computation Theory and Applications (pp. 233-238).
84
Holloway, D., & Spirov, A.V. (2012). New approaches to designing genes by evolution in the computer. In Real-World Applications of Genetic Algorithms (pp. 235-260). IntechOpen.
Hu, T., Banzhaf, W., & Moore, J.H. (2014). Population exploration on genotype networks in genetic programming. Ed. Bartz-Beielstein T., Branke J., Filipic B., Smith J. Proc. Parallel Problem Solving from Nature. LNCS vol 8672. Cham: Springer, P. 424-433.
Hurst, G.D. D., & Werren, J.H. (2001). The role of selfish genetic elements in eukaryotic evolution. Nat. Rev. Genet, 2, 597-606.
Jansen, T., & Wegener, I. (2006). On the analysis of a dynamic evolutionary algorithm. Journal of Discrete Algorithms, 4 (1), 181-199.
Kameya, Y., & Prayoonsri, C. (2011). Pattern-based preservation of building blocks in genetic algorithms. IEEE Congress on Evolutionary Computation (pp. 2578-2585).
Koza, J.R., Bennett F.H., Andre, D., & Keane, M.A. (1999). Genetic Programming III: Darwinian Invention and Problem Solving. San Francisco, CA, Morgan Kaufmann.
Koza, J.R., Lanza, G., Mydlowec, W. et al. (2001). Automated reverse engineering of metabolic pathways from observed data using genetic programming. In Ed. H. Kitano Foundations of Systems Biology (pp. 95-117). Cambridge, MA: MIT Press.
Krasnogor, N, Smith, J. (2005). A tutorial for competent memetic algorithms: Model, taxonomy and design issues. IEEE Trans Evolut Algorithms, 9 (5), 474-488.
Krasnogor, N. (2012). Memetic Algorithms. Handbook of Natural Computing.
Leier, A., Kuo, P.D., Banzhaf, W., & Burrage, K. (2006). Evolving noisy oscillatory dynamics in genetic regulatory networks. In Ed. P. Collet, M. Tomassini, M. Ebner, S. Gustafson, A. Ekart. Genetic Programming. EuroGP 2006 (pp. 290-299). LNCS vol 3905. Berlin, Heidelberg: Springer.
Makalowski, W. (2000). Genomic scrap yard: how genomes utilize all that junk. Gene, 259, 61-67.
Manrubia, S.C., & Briones, C. (2007). Modular evolution and increase of functional complexity in replicating RNA molecules. RNA, 13, 97-107.
Meyers, L.A., & Fontana, W. (2005). Evolutionary lock-in and the origin of modularity in RNA structure. In Modularity: Understanding the Development and Evolution of Complex Natural Systems. (W. Callebaut and D. Rasskin-Gutman, Eds.), MIT Press.
Mitchell, M. (1998). An Introduction to Genetic Algorithms. Cambridge, Massachusetts: MIT Press.
Mühlenbein, H., & Mahnig, T. (2001). Evolutionary Algorithms: From Recombination to Search Distributions. Kallel L., Naudts B., Rogers A. (eds) Theoretical Aspects of Evolutionary Computing. Natural Computing Series. Springer, Berlin, Heidelberg.
Myasnikova, E., & Spirov, A. (2020). Transfer of Genetic Algorithms to Directed Evolution of Macromolecules: Tests in Silico. In Cognitive Sciences, Genomics andBioinformatics (CSGB).
Negroni, M., & Buc, H. (2001). Mechanisms of retroviral recombination. Annu Rev Genet., 35, 275-302.
Ochoa, G., Lutton, E., & Burke, E. (2008). The Cooperative Royal Road: Avoiding Hitchhiking. Monmarche N., Talbi EG., Collet P., Schoenauer M., Lutton E. (eds) Artificial Evolution. EA 2007. Lecture Notes in Computer Science, vol 4926. Springer, Berlin, Heidelberg.
Oh, I.S., Lee, Y., & McKay, R. (2011). Simulating chemical evolution. In Proceedings of 2011 IEEE Congress of Evolutionary Computation (pp. 2717-2724). New Orleans, LA.
Park, J., Park, J., Lee, C., & Han, M. (1993). Robust and Efficient Genetic Crossover Operator: Homologous Recombination. In Proceedings of1993 International Joint Conference on Neural Networks (pp. 2975-2978).
Payne, J.L., Moore, J.H., & Wagner, A. (2014). Robustness, evolvability, and the logic of genetic regulation. Artificial Life, 20, 111-126.
Richter, J., & Paxton, J. (2005). Adaptive Evolutionary Algorithms on Unitation, Royal Road and Longpath Functions. In IASTED International Conference on Computational Intelligence. Calgary, Canada.
85
Sangkavichitr, C., & Chongstitvatana, P. (2010). Fragment as a Small Evidence of the Building Blocks Existence. Exploitation of Linkage Learning in Evolutionary Algorithms, Ying-ping Chen (Ed.), Springer-Verlag Berlin and Heidelberg GmbH & Co. KG.
Sen, S., Venkata, Dasu V., & Mandal, B. (2007). Developments in directed evolution for improving enzyme functions. Appl Biochem Biotechnol., 143 (3), 212-223.
Shi, Y., Eberhart, R.C., & Chen, Y. (1999). Implementation of Evolutionary Fuzzy Systems. IEEE Trans. Fuzzy Systems, 7(2), 109-119.
Skinner, C., & Riddle, P. (2004). Expected Rates of Building Block Discovery, Retention and Combination Under 1-Point and Uniform Crossover. Parallel Problem Solving from Nature -PPSN VIII, 8th International Conference, Birmingham, UK (pp. 121-130).
Smith, J.E. (2007). Coevolving Memetic Algorithms: A Review and Progress Report. IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, 37 (1), 6-17.
Spirov, A.V., Eremeev, A.V. (2020). Estimates from evolutionary algorithms theory applied to directed evolution, Mathematical Structures and Modeling, N 1(53).
Spirov, A.V., Eremeev, A.V. (2020). Modularity in Biological Evolution and Evolutionary Computation. Biol Bull Rev 10, 308-323
Spirov, A.V., Myasnikova, E.M. (2019). Techniques from Evolutionary Computation to Implement as Experimental Approaches in Synthetic Biology: Tests in Silico. In Proceedings of ACM GECCO conference, Prague, Czech Republic, July 2019 (GECCO'19).
Spirov, A.V., & Myasnikova, E.M. (2021). Heuristic algorithms in Evolutionary Computations and modular organization of biological macromolecules: applications to in virto evolution. PLOS ONE, submitted.
Spirov, A.V., Sabirov, M.A., & Holloway, D.M. (2012). In silico evolution of gene cooption in pattern-forming gene networks. Scientific World Journal, 2012, 560101.
Spirov, A., & Holloway, D. (2013). Using evolutionary computations to understand the design and evolution of gene and cell regulatory networks. Methods, 62 (1), 39-55.
Spirov, A., & Holloway, D. (2016). Using evolutionary algorithms to study the evolution of gene regulatory networks controlling biological development. In Ed. H. Iba, N. Noman, Evolutionary Computation in Gene Regulatory Network Research. Hoboken, NJ, USA: John Wiley & Sons, Inc.
Stebel, S.C., Gaida, A., Arndt, K.M., & Müller, K.M. (2008). Directed protein evolution. Molecular Biomethods Handbook (pp. 631-656). Humana Press.
Stemmer, W.P. (1994). Rapid evolution of a protein in vitro by DNA shuffling. Nature, 370, 389-391.
Stemmer, W.P. C. (1994). DNA shuffling by random fragmentation and reassembly - in-vitro recombination for molecular evolution. Proc. Natl. Acad. Sci. USA, 91(22), 10747-10751.
Ting, C-K., Su, C.H., & Lee, C-N. (2010). Multi-parent extension of partially mapped crossover for combinatorial optimization problems. Expert Systems with Applications, 37 (3), 1879-1886.
Tuerk, C., & Gold, L. (1990). Systematic evolution of ligands by exponential enrichment: RNA ligands to bacteriophage T4 DNA polymerase. Science, 249 (4968), 505-510.
Turner, C. (2002). A perspective on clonal phenotypic (antigenic) variation in protozoan parasites. Parasitology, 125 (7), S17-S23.
Umbarkar, A.J., & Sheth, P.D. (2015). Crossover operators in genetic algorithms: a review. ICTACT Journal on Soft Computing, 06 (01), 1083-1092.
van Nimwegen, E., & Crutchfield, J.P. (2000). Optimizing Epochal Evolutionary Search Population-Size Independent Theory. Computer Methods in Applied Mechanics and Engineering, 186 (2-4), 171-194.
van Nimwegen, E., & Crutchfield, J.P. (2001). Optimizing epochal evolutionary search population-size dependent theory. Machine Learning Journal, 45, 77-114.
Victora, G.D., & Nussenzweig, M.C. (2012). Germinal centers. Annu Rev Immunol., 30, 429-57.
Voigt, C.A., Martinez, C., Wang, Z.G., Mayo, S.L., & Arnold, F.H. (2002). Protein building blocks preserved by recombination. Nat Struct Biol., 9, 553-558.
86
Watson, R.A. (2001). Analysis of recombinative algorithms on a non-separable building-block problem. Editor (s): Worthy N. Martin, William M. Spears, Foundations of Genetic Algorithms 6 (pp. 69-89). Morgan Kaufmann. Yang, X-S. (2020). Nature-inspired optimization algorithms: Challenges and open problems.
Journal of Computational Science, 46, 101104. Yokobayashi, Y., Weiss, R., & Arnold, F.H. (2002). Directed evolution of a genetic circuit.
Proceedings of the National Academy of Sciences USA, 99, 16587-16591. Zamdborg, L., Holloway, D.M., Merelo, J.J., Levchenko, V.F., & Spirov, A.V. (2015). Forced evolution in silico by artificial transposons and their genetic operators: The ant navigation problem. Information Sciences, 306, 88-110.
87
