CC BY
22УДК 62-501.72:681.326.7
БОТ: 10.18698/2308-6033-2021-6-2088
Проблемы организации вычислений в многомашинных вычислительных системах с программно-управляемой сбое- и отказоустойчивостью. Часть I
© И.В. Ашарина АО «НИИ «Субмикрон», Москва, Зеленоград, 124460, Россия
В трех частях работы проведен анализ существующих подходов и методов организации сбое- и отказоустойчивых вычислений в распределенных многомашинных вычислительных системах (РМВС), определен и обоснован перечень задач, подлежащих решению. Приведено понятие отказоустойчивости, предложенное А. Авиженисом, объяснено его отличие от современного понятия, а также его некорректность применительно к современным распределенным многомашинным вычислительным системам. Обоснована необходимость корректировки определения отказоустойчивости, утвержденного государственными стандартами, а также необходимость задания трех входных параметров, которые должны учитываться далее применяемыми методами проектирования РМВС: модели допустимых неисправностей, допустимой кратности неисправностей, возможности работы с последовательностями допустимых неисправностей. Перечислены вопросы, на которые нужно знать ответы для разработки действительно надежной, отказоустойчивой системы. Рассмотрены области применения сбое- и отказоустойчивых систем управления сложными сетевыми и распределенными объектами. Системное, функциональное, тестовое диагностирование обозначены как основа построения необслуживаемых сбое- и отказоустойчивых систем. Введено понятие самоуправляемой деградации (завершающейся выведением РМВС в состояние безопасного останова при критической степени деградации) как способа увеличения срока активного существования РМВС. Проанализированы вопросы, связанные с диагностированием кратных неисправностей. Приведены основные различия обеспечения отказоустойчивости в системах, имеющих широковещательные каналы связи и каналы связи «точка-к-точке».
Первая часть работы посвящена анализу существующих подходов и методов организации сбое- и отказоустойчивых вычислений в РМВС и определению понятия отказоустойчивости.
Ключевые слова: распределенная многомашинная вычислительная система; сбое-и отказоустойчивость; динамическая избыточность; враждебная неисправность
Введение. Широкое применение распределенных многомашинных вычислительных систем (РМВС) в качестве управляющих систем во всех областях современной техники, как военной, так и гражданской, связанных с опасными и ответственными областями применения, резко возросший риск техногенных катастроф из-за неисправностей аппаратных средств и ошибок проектирования выдвинули на первый план проблему сбое- и отказоустойчивости, обеспечивающей таким системам возможность продолжения правильного функционирования при возникновении допустимых совокупностей
неисправностей оговоренного класса. Наибольшую актуальность эти задачи имеют для космической отрасли.
Современные и особенно перспективные вычислительные системы управления многофункциональными космическими аппаратами и их группировками предназначены для управления параллельным исполнением нескольких взаимодействующих между собой целевых задач, обеспечивающих внешние целевые функциональные требования. При этом каждая из целевых задач имеет свою степень важности и более важная целевая задача должна иметь более высокую защищенность от своего возможного неисполнения или неправильного исполнения, чем менее важная целевая задача. На этой основе строятся алгоритмы управляемой (самоуправляемой) деградации, позволяющей повысить живучесть системы, в том числе, за счет уменьшения ее функциональных возможностей.
Цель настоящей статьи — определить подходы к решению проблемы увеличения сроков активного существования сбое- и отказоустойчивых РМВС ответственного применения.
Для достижения поставленной цели решаются следующие задачи:
1) сформулировать современное понятие сбое- и отказоустойчивости систем управления сложными сетевыми и распределенными объектами управления;
2) определить необходимую аппаратурную избыточность РМВС;
3) провести анализ: а) областей применения сбое- и отказоустойчивости систем управления сложными сетевыми и распределенными объектами управления; б) необходимых условий, при которых РМВС будет гарантированно сбое- и отказоустойчивой системой;
4) доказать возможность и необходимость использования различных видов диагностирования при разработке сбое- и отказоустойчивых РМВС.
Определение понятия сбое- и отказоустойчивости систем управления сложными сетевыми и распределенными объектами управления. Бортовые цифровые вычислительные системы (БЦВС) современных бортовых комплексов управления автоматическими космическими аппаратами (КА) и их группировками представляют собой многомашинные вычислительные системы (МВС), или муль-тикомпьютеры, или компьютерные сети, или распределенные мультипроцессоры. И эти БЦВС в сочетании с наземной инфраструктурой неизбежно становятся все более распределенными вычислительными системами, соответствующими определению таких систем в [1].
Согласно [1], в распределенной системе наличие многочисленных автономных компьютеров незаметно для пользователя. С его точки зрения, это единая связанная система. Обычно имеется набор программного обеспечения на определенном уровне (над операционной системой), называемое связующим программным обеспечением (ПО)
и отвечает за реализацию этой идеи. Распределенная система является программной системой, построенной на базе сети. Эта программная система обеспечивает высокую степень связности и прозрачности элементов. Таким образом, различие между компьютерной сетью и распределенной системой заключается в программном обеспечении (особенно в операционной системе), а не в аппаратуре.
Критичность условий применения автоматических КА и их группировок, очень высокая стоимость ошибок их проектирования и эксплуатации предъявляют самые высокие требования к надежности, сбое- и отказоустойчивости их БЦВС, и эти требования до сих пор остаются одной из важнейших и наиболее актуальных задач при разработке их систем управления. При этом возникает парадоксальная ситуация: опорное понятие сбое- и отказоустойчивости для таких распределенных и сетевых вычислительных систем формулируется недостаточно полно и правильно, требует уточнения даже на уровне государственных стандартов соответствующих отраслей, что неизбежно приводит к ошибкам проектирования и существенным экономическим и другим потерям, однако такая доработка не осуществляется.
Одним из первых понятие отказоустойчивости ввел А. Авиженис, сформулировав его следующим образом: «Отказоустойчивость — это такое свойство архитектуры цифровых систем, которое позволяет логической машине продолжать работу и тогда, когда в реальной системе, являющейся ее носителем, возникают разнообразные отказы компонентов» [2].
Недостатком данного определения является явное противоречие: из-за отсутствия ограничения на количество одновременных неисправностей компонентов получается, что любая система, как бы она ни была построена, не может быть изначально отказоустойчивой, поскольку при неисправности всех компонентов в системе (что допускается этим определением) невозможно создание указанной в определении логической машины.
Следует отметить, что встречается достаточно большое количество научных работ, посвященных отказоустойчивости сложных систем, однако часто само понятие отказоустойчивости, применяемое в таких работах, несет в себе неточности, а иногда и ошибки, которые в дальнейшем могут служить источником больших проблем. Приведем примеры.
В диссертационной работе [3], посвященной разработке отказоустойчивых распределенных систем управления телекоммуникационными сетями, построенных на объектно-ориентированной технологии создания распределенных приложений (common object request broker architecture, CORBA), дается следующее определение: «Отказоустойчивость системы интеграции характеризуется ее способностью реагировать на сбои и конфликты в процессе формирования
услуги. Она должна обладать необходимыми методами, позволяющими сделать незаметными отказы одного или нескольких процессов для системы в целом. Основным методом повышения отказоустойчивости системы является избыточность. Распределение копий программных компонент по различным процессорным модулям может предотвратить ситуации сбоев и отказов».
Чем ошибочно это определение?
1. Определение состоит как бы из двух частей: сбои и конфликты, на которые должна реагировать система, и отказы, которые система должна сделать «незаметными».
2. Полностью отключиться — это тоже реакция на нештатную ситуацию, которая может быть вызвана сбоем, конфликтом, отказом, кроме того, не определено, что в данном случае понимается под конфликтом, который может быть обусловлен, например, взаимными блокировками процессов, которые, в свою очередь, могут носить чисто программный характер или оказаться следствием аппаратных неисправностей.
3. Речь в определении идет о процессах, т. е. о задачах, но отказ — это чисто аппаратурное понятие, а в задаче, скорее, появится ошибка, которая действительно может привести, в том числе, и к фатальной ситуации. Возникновение ошибки — это не всегда отказ, поскольку ошибка может быть вызвана целым рядом причин — от выхода данных за область допустимых значений до физических неисправностей элементов, а также алгоритмическими, аппаратурными и программными ошибками проектирования, ошибками в обслуживании этих систем управления.
4. Отказы незаметными не бывают, так как есть понятие проявления отказа, и именно система должна на это реагировать. «Незаметными», до определенного момента, они должны быть для пользователя, это и обеспечивается отказоустойчивостью системы.
5. Распределение копий программных компонент по различным процессорным модулям никак не может помешать возникновению сбоев и отказов, но может их маскировать или парировать.
Авторы [4] затрагивают актуальную проблему сетецентрического подхода к построению информационно-управляющих систем (ИУС), которые находят применение в различных областях человеческой деятельности, например, при автоматизации процесса управления предприятиями [5-7], в атомной энергетике, нефте- и газодобывающей отрасли [8], в системах подводного наблюдения [9, 10], для управления робототехническими объектами в космической отрасли [11], при построении виртуальных лабораторий для производства композитных материалов [12], причем позиционируют свою работу как объединяющую концепции сетецентрической организации систем, принципов децентрализованного диспетчирования и резер-
вирования производительности вычислительных узлов, что позволяет существенно повысить показатели надежности и отказоустойчивости ИУС. Однако при этом не уточняют, какое именно определение отказоустойчивости систем соответствующих классов используется и, следовательно, какая модель неисправностей ложится в основу разрабатываемой ими системы, что уже на начальных этапах проектирования системы закладывает потенциальные опасности ее дальнейшего функционирования.
Вследствие этого к авторам сразу возникает большое количество вопросов, ответы на которые необходимо знать, чтобы разработать действительно надежную, отказоустойчивую систему:
- является ли система обслуживаемой или нет;
- проявление какого количества одновременных неисправностей (сбоев/отказов) допустимо в определенный временной интервал;
- допускается ли последовательное проявление неисправностей (сбоев/отказов) в определенный временной интервал;
- какой вид неисправностей используется при построении модели неисправностей;
- как система должна реагировать на обнаружение очередной неисправности, если их число не превышает количества, допустимого предлагаемой моделью (модель неисправности описывает функциональное проявление неисправности);
- как система должна реагировать на обнаружение очередной неисправности, при превышении допустимого их количества или на появление неисправности, выходящей за рамки предлагаемой модели неисправностей.
Цель [13] — построение живучих бортовых вычислительных систем (БВС) КА, обладающих свойством постепенной деградации с сохранением работоспособности по мере увеличения тяжести последствий отказов с учетом возникающих ограничений. В [13] предлагается модель, которая учитывает реконфигурацию БВС с учетом выполняемых задач, ресурсоемкости вычислительных процессов и режимов работы элементов и позволяет оценивать живучесть с позиций качества выполнения целевых задач применительно к стохастическому множеству отказов в динамике функционирования системы: «Перспективным направлением решения указанной проблемы представляется построение БВС, обладающих свойством живучести. Это комплексное свойство включает надежность, стойкость и отказоустойчивость, понимаемую в данном контексте как способность к постепенной, а не катастрофической деградации при отказах». Несомненным достоинством данной работы является постановка задачи, однако применяемое здесь понятие отказоустойчивости не отражает особенностей поставленной задачи.
В [14] приведено следующее определение отказоустойчивости: «Для современных мультипроцессорных систем одной из основных эксплуатационных характеристик является отказоустойчивость — способность системы продолжать правильно функционировать после выхода из строя отдельных модулей». В [14] речь идет о постановке задачи системного диагностирования как проблемы идентификации хотя бы одного исправного модуля в задаче диагностирования системы методом расширяющегося диагностического ядра. Приводятся преимущества метода диагностического ядра по сравнению с «классическим» способом системного диагностирования. Однако предлагаемое определение отказоустойчивости препятствует корректному решению поставленной задачи.
Поведение цифровых вычислительных машин (ЦВМ) при «дружественной» неисправности может быть произвольным, но обязательно одинаковым по отношению ко всем взаимодействующим с ней ЦВМ. При «враждебной» неисправности ЦВМ ее поведение может быть произвольным, «злонамеренным» и неодинаковым по отношению к другим компонентам МВС.
Модель «враждебной» неисправности является наиболее общей моделью, и методы, учитывающие возможность возникновения «враждебных» неисправностей, будут гарантированно учитывать возможность возникновения любых других неисправностей.
В [15] разработан метод обеспечения отказоустойчивости при проявлении «дружественных» и «враждебных» неисправностей в резервированных управляющих вычислительных системах определенного класса.
Согласование результатов локальной обработки признаков неисправности для всех каналов обеспечено оригинальной структурой контрольных точек, а также алгоритмом обеспечения отказоустойчивости с использованием системного журнала и средств аппаратурной поддержки — блока локализации. По утверждению авторов, предлагаемый метод незначительно снижает производительность системы, но при этом позволяет парировать враждебные неисправности при числе каналов в системе, равном трем, и полностью исключает их маскирование. Однако и здесь используется классическое определение отказоустойчивости [2].
В некоторых работах, посвященных вопросам обеспечения или оценки отказоустойчивости, например [16, 17], вообще отсутствует определение понятия отказоустойчивости либо не приведено ссылок на такое определение в других источниках. При этом наиболее важным критерием эффективности вычислительных систем (ВС), функционирующих в таких контурах, считается способность ВС решить заданный пользователем набор задач управления за время, не большее жестко заданного директивного времени. В связи с этим для управляющих ВС реального времени в [18] было введено понятие
надежного выполнения требуемых наборов задач, под которым понимается выполнение их за время, не превышающее заданное директивное время Ттах с требуемой вероятностью. В понятии надежного выполнения задач [18] отказ управляющей ВС трактуется не только как потеря ее работоспособности, но и как невыполнение требуемых задач за заданное пользователем директивное время Гшах. Цель и смысл предлагаемого подхода к оценке отказоустойчивости управляющих параллельных ВС заключается в аналитическом определении (на математических моделях) вероятности отказа ВС (в оговоренном выше смысле) или, напротив, успешного завершения комплексами взаимосвязанных работ (КВР) [18-21] за заданное директивное время при случайных временах их реализации и асинхронном резервировании работ, причем эти оценки определяются как для штатного выполнения КВР, так и для случая одиночной неисправности (сбоя или отказа) любого из процессоров ВС, зафиксированной при реализации любой из работ КВР. Такой подход сильно ограничивает возможности ВС тем, что она выдерживает лишь одиночный сбой любого из процессоров этой ВС.
Большой вклад в формулировку современного понятия сбое-и отказоустойчивости был внесен А.В. Лобановым в его работах, посвященных построению моделей неисправности [22]. Особенно актуально предложенное определение при разработке необслуживаемых сбое- и отказоустойчивых систем управления многофункциональным КА или группировкой КА, которые должны обеспечивать выполнение целого ряда целевых функциональных задач, для которых создается этот КА или группировка КА.
Здесь под отказоустойчивостью РМВС понимается ее способность правильно выполнять предусмотренные целевые задачи в условиях возникновения допустимых совокупностей одновременных неисправностей (сбоев и отказов) допустимых моделей и допустимых последовательностей таких совокупностей [22]. При этом РМВС представляется в виде совокупности взаимосвязанных, далее неделимых элементов [22, 23], и любая неисправность или их любое одновременное сочетание внутри такого отдельного элемента считается отдельной одиночной неисправностью РМВС, а количество одновременно неисправных элементов в РМВС — кратностью существующих неисправностей. Отличие от определения отказоустойчивости из [2, 24] состоит в том, что приведенное определение сбое- и отказоустойчивости РМВС еще на начальном этапе ее проектирования требует задания и учета трех входных параметров, которые и должны учитываться применяемыми далее методами проектирования РМВС:
1) допустимой модели неисправности [22, 25];
2) допустимой кратности одновременных совокупностей таких неисправностей;
3) допустимых последовательностей таких совокупностей неисправностей, которые и должны учитываться далее применяемыми методами проектирования РМВС.
Причем в проектируемой РМВС должны быть предусмотрены все возможные механизмы для ее защиты в случаях, когда ситуация в РМВС выходит за рамки допустимой, например, возникновение совокупности неисправностей недопустимой кратности или возникновения неисправностей таких моделей, которые «не покрываются» допустимой моделью неисправности, и должны быть предусмотрены возможные методы и средства выхода РМВС из таких ситуаций, например, переход части РМВС или всей РМВС в целом в состояние безусловного безопасного останова с последующим ожиданием указаний из внешней среды и их возможным исполнением. При этом под моделью неисправности понимаются особенности ее проявления (возможные ошибки) в поведении и/или выходной информации неисправного элемента относительно исправных элементов РМВС.
Государственные стандарты Российской Федерации понятие отказоустойчивости определяют следующим образом.
Согласно п. 4.2.5.3 [26], понятие отказоустойчивость (fault tolerance) — это способность системы, продукта или компонента работать как предназначено, несмотря на наличие дефектов программного обеспечения или аппаратных средств [26] (определение было адаптировано из (ИСО/МЭК/ИИЕЕ 24765)). Это определение имеет тот же недостаток, что и вышеприведенное определение А. Авиже-ниса [2].
Согласно п. 7.2.4.1 [27], разработанного в НПО имени С. А. Лавочкина, требование отказоустойчивости (живучести) является одним из основных требований обеспечения безопасности и используются для контроля рисков, а в п. 7.2.4.2 [27] формулируется, что автоматический космический аппарат (АКА) должен быть спроектирован с учетом выполнения следующих требований отказоустойчивости:
1) единичный отказ любого комплектующего элемента не должен приводить к катастрофическим и серьезным последствиям;
2) комбинация двух отказов не должна приводить к катастрофическим последствиям;
3) все опасные факторы, которые не контролируются принципами отказоустойчивости, должны контролироваться путем выполнения проектных требований по снижению риска или соответствия вероятностным критериям безопасности.
Это определение сильно ограничивает сложность разрабатываемых систем управления допустимостью только одиночных отказов компонентов (двукратный отказ не должен приводить к катастрофическим последствиям, но нарушить штатную работу системы может, согласно [27]) и не пригодно для рассматриваемых систем управления
современными многофункциональными и перспективными КА и тем более их группировками, в которых возможность возникновения одновременных совокупностей неисправностей значительно возрастает.
Области применения сбое- и отказоустойчивых систем управления сложными сетевыми и распределенными объектами. Рассмотрим ряд работ, связанных с решением актуальной проблемы: разработкой космических роботов-манипуляторов, искусственных спутников и их группировок.
В [28] описываются различные виды космической деятельности в околоземных и дальних космических полетах, примеры автономных систем, развернутых в космосе к настоящему времени; приводится современное состояние соотношения между доверенными автономными системами и автономными космическими системами; представляются различные возможные сценарии освоения околоземного пространства и дальнего космоса.
В [29] раскрывается проблема фильтрации обнаружения неисправностей для космических роботов-манипуляторов на основе марковской модели. Цель [29] состоит в следующем: спроектировать фильтр обнаружения неисправностей таким образом, чтобы система ошибок фильтра была стохастически устойчивой и можно было гарантировать эффективность ограничения вероятностных характеристик.
Подходы к обучению космических роботов-манипуляторов, которые помогают поднять автономию роботов на следующий уровень, так называемую «постоянную автономию», описаны в [30]. Здесь речь идет о способности робота выполнять целевую работу в течение длительных периодов времени в динамичных, неопределенных условиях без необходимости прибегать к помощи человека. В частности, постоянная автономия чрезвычайно важна для роботов, используемых в труднодоступных условиях (подводная, спасательная и космическая робототехника). Существует много аспектов постоянной автономии, таких как преодоление неопределенности, реагирование на изменяющиеся условия, отклонение помех, отказоустойчивость, энергоэффективность и т. д. В [30] представлен широкий спектр подходов к обучению роботов, которые затрагивают многие из этих аспектов.
Постановка проблемы в [31, 32] — это групповое использование роботизированных модулей сборки и обслуживания модулей космических аппаратов (robotic assembly and servicing space modules, RASSM), которое включает в себя решение задачи синтеза движения программы для каждого RASSM с учетом его собственных инерционных движений с точки зрения внутренних степеней мобильности. Полученные результаты представляют интерес с точки зрения реализации важного принципа организации движения роботов — координации свободных и вынужденных движений манипулятора — в син-
тезе управления для космического модуля робота как элемента сборки и обслуживания систем для создаваемых орбитальных объектов.
В [28-32] ставятся актуальные цели и задачи создания роботов-манипуляторов, одиночных или в составе группировок КА, но не затрагиваются вопросы обеспечения надежности и отказоустойчивости систем управления такими группировками.
Инфокоммуникационная система специального назначения (ИКС СН) также относится к отказоустойчивым системам управления сложными сетевыми и распределенными объектами. Целью [33] является обеспечение безопасности ИКС СН.
С учетом требований по обеспечению безопасности ИКС СН технологическая система предназначена для предоставления санкционированных информационных и телекоммуникационных услуг пользователям министерств и ведомств, передачи по защищенным линиям связи конфиденциальной информации пользователей и служб (информационных и телекоммуникационных), доступ к которым осуществляется с использованием средств вычислительной техники.
По существующим взглядам специалистов, к информационным ресурсам ИКС СН относятся:
- сведения о пользователях министерств и ведомств базы данных;
- информация управления;
- данные, содержащие информацию пользователей (обеспечение доступности и целостности);
- программное обеспечение технических средств связи, средств и систем управления сетями ИКС СН;
- сведения о прохождении информации, параметрах, загрузке (использовании) линий и каналов связи сетей в составе ИКС СН;
- обобщенные сведения о местах дислокации узлов ИКС СН, установленном сетевом и серверном оборудовании;
- сведения, раскрывающие структуру используемых механизмов обеспечения безопасности сети электросвязи.
Информационные ресурсы включают данные, хранящиеся в ИКС СН и ее элементах, данные, циркулирующие в системах обмена данными ИКС СН, и данные о средствах обеспечения безопасности. Под информационной безопасностью ИКС СН понимается состояние защищенности ее информационных ресурсов, т. е. способности противостоять различным воздействиям на них.
Постановка задачи заключается в построении системы обеспечения безопасности ИКС СН.
В ходе исследования получены следующие результаты. Этап построения системы обеспечения безопасности ИКС СН включает [33]:
- формирование (разработку) нормативных актов для обеспечения функционирования системы безопасности;
- создание технической архитектуры системы, распределение и монтаж на объектах технических средств защиты;
- принятие организационных решений по структуре подразделений, обеспечивающих функционирование системы безопасности;
- принятие организационных и технических решений по структуре системы управления безопасностью;
- сертификацию системы обеспечения безопасности ИКС СН.
В [34] представлены методическое и модельно-алгоритмическое обеспечение решения задачи планирования операций информационного взаимодействия кластера малых космических аппаратов (МКА) дистанционного зондирования Земли (ДЗЗ).
При построении орбитальной группировки перспективной космической системы ДЗЗ в виде кластера МКА ДЗЗ приобретает новые системные возможности [35], связанные с многопозиционностью наблюдения за наземными объектами, такие как объединение полос обзора нескольких МКА, одновременная и последовательная съемка одних и тех же объектов несколькими МКА с комплексированием данных наблюдения, выбор одного из нескольких возможных ракурсов съемки интересующих объектов и др.
В отличие от управления традиционными КА, когда для каждого КА предполагается определенный заранее заданный порядок выполнения задач, управление кластером МКА предлагает «распределенное динамическое» управление. Это связано с тем, что задачи ставятся не только отдельным МКА, но и всему кластеру в целом. Данный подход позволяет перераспределять задачи внутри кластера путем переговоров между МКА непосредственно в процессе выполнения этих задач.
Перспективная космическая система ДЗЗ [36, 37] будет включать в себя кластеры видового, радиолокационного и радиотехнического зондирования, кластеры близко расположенных МКА и кластер связных КА, расположенных на геостационарных орбитах. Поэтому наиболее современной тенденцией для решения задач ДЗЗ является использование кластеров МКА, оснащенных аппаратурой различного назначения. Основными преимуществами кластера МКА ДЗЗ по сравнению с одиночными КА являются улучшение целевых показателей по оперативности наблюдения за процессами, происходящими на поверхности Земли, возможность более эффективного наблюдения за быстропротекающими процессами, а также повышение надежности наблюдения при параллельно функционирующих МКА кластера [34].
Сейчас становятся все более популярными мультироботные системы, которые находят применение во всех областях деятельности человека. Вследствие этого особую важность приобретает задача построения архитектурных моделей систем управления группиров-
ками роботов [38], решающих поставленную целевую задачу или многозадачное задание, состоящее из нескольких целевых задач. Многозадачное задание предполагает разработку динамической организации кластеров в системе группового управления, в том числе ситуации с изменением количественного состава группы роботов. Такие системы могут найти применение при решении различных задач управления группами мобильных роботов, в том числе беспилотных летательных аппаратов (БПЛА) в задачах исследования и мониторинга окружающей среды; при выполнении экстремальных операций, в том числе аварийно-спасательных; в космической отрасли при использовании группировок МКА.
Одной из областей практического применения, жизненно важной для развития космической отрасли, представляется проблема зарядки автономных агентов роя и передачи энергии между ними [39], особенно в плане создания автономных космических объектов и при исследовании дальнего космоса. Авторы [40] описывают подход, в дальнейшем развитый в [39] и заключающийся в построении аналитической модели сотрудничества в роботизированной системе, позволяющей группировке (рою) роботов поддерживать автономное и совместное саморегулирование мощности. Например, совокупное энергетическое состояние роя может использоваться для определения потребности в зарядке для каждого робота или для глобального саморегулирования роя, настраивая отдельные рабочие процессы роботов. Такое регулирование должно обеспечивать эффективное использование зарядных станций (их число ограничено) и предотвращать как критическое истощение энергии любого отдельно взятого робота, так и взаимные помехи при подключении к зарядной станции.
Математической основой для задачи построения роя роботов, в том числе и в целях оптимального распределения энергоресурсов, послужила аналитическая модель сотрудничества в роботизированной системе [41], состоящей из серии связанных дифференциальных уравнений, которые описывают динамику группового поведения. Представленный математический подход является обобщенным и может быть хорошо применен к другим многоагентным системам.
Все перечисленные и другие подобные целевые задачи невозможно реализовать и использовать без средств обеспечения сбое- и отказоустойчивости. Более того переход любой из подобных систем в неуправляемое состояние может привести к серьезной техногенной катастрофе, поэтому решение задачи самоуправляемой деградации с переходом в состояние безопасного останова в случае достижения критического уровня деградации является необходимым этапом при проектировании подобных систем.
Заключение. В первой части работы приводятся существующие на данный момент формулировки понятия сбое- и отказоустойчивости систем управления сложными сетевыми и распределенными объектами управления. Определены недостатки приведенных формулировок, в том числе и тех, что зарегистрированы в государственных стандартах. Приведена формулировка понятия сбое- и отказоустойчивости, которое не имеет перечисленных недостатков.
Затронута актуальная проблема сетецентрического подхода к построению ИУС, которые находят применение в различных областях человеческой деятельности.
Рассмотрены вопросы построения БВС КА с длительными сроками активного существования, обладающих свойством постепенной деградации с сохранением работоспособности по мере увеличения тяжести последствий отказов с учетом возникающих ограничений, в том числе и с неисправностями разных моделей как «враждебных» (византийских), так и не носящих враждебного характера.
В качестве областей применения сбое- и отказоустойчивых систем управления сложными сетевыми и распределенными объектами рассмотрены ИКС СН, методическое и модельно-алгоритмическое обеспечение решения задачи планирования операций информационного взаимодействия кластера МКА ДЗЗ, мультироботные системы, которые находят применение во всех областях деятельности человека.
ЛИТЕРАТУРА
[1] Таненбаум Э., Уэзеролл Д. Компьютерные сети. Санкт-Петербург, Питер, 2016, 955 с.
[2] Авиженис А. Отказоустойчивость — свойство, обеспечивающее постоянную работоспособность цифровых систем. ТИИЭР, 1978, т. 66, № 10, с. 5-25.
[3] Ямбулатов Э.И. Разработка отказоустойчивых распределенных систем управления телекоммуникационными сетями. Автореф. дис. ... канд. техн. наук. Ставрополь, 2014, 22 с.
[4] Мельник Э.В., Иванов Д.Я., Гандурин В.А., Клименко А.Б. Методы организации высоконадежных сетецентрических ИУС с распределенным дис-петчированием и кластеризацией. Известия ЮФУ. Технические науки. Раздел Ш. Распределенные информационно-управляющие системы, 2016, № 12, с. 71-84.
[5] Шишов А. Разработка и внедрение АСУ «Кузнецов» с применением сете-центрического подхода и мультиагентных технологий. XII Всероссийское совещание по проблемам управления ВСПУ-2014. Москва, 2014, т. 16, с. 9050-9062.
[6] Федосеев С.А. Сетецентрический подход к задаче управления заказами на промышленном предприятии. XII Всероссийское совещание по проблемам управления ВСПУ-2014. Москва, 2014, с. 7524-7528.
[7] Федосеев С. А., Столбов В.Ю., Пустовойт К.С. Модель группового управления в сетецентрических производственных системах. Управление в технических, эргатических, организационных и сетевых системах (УТЭОСС-2012): материалы конф. Санкт-Петербург, Концерн «ЦНИИ «Электроприбор», 2012, с. 1240-1243.
[8] Коробкин В.В., Серогодский А.И. Безопасность функционирования программного обеспечения в управляющих системах на высокорисковых промышленных объектах. VI Всероссийская мультиконференция по проблемам управления: мат-лы конф. в 4 т. Таганрог, 30 сентября — 5 октября 2013 г., ЮФУ. Таганрог, Изд-во ЮФУ, 2013, с. 228-232.
[9] Машошин А.И. Алгоритмы управления интегрированной сетецентрической системой подводного наблюдения. VI Всероссийская мультиконференция по проблемам управления: мат-лы конф. в 4 т. Таганрог, 30 сентября — 5 октября 2013 г., ЮФУ. Таганрог, Изд-во ЮФУ, 2013, с. 112-116.
[10] Пешехонов В.Г., Брага Ю.А., Машошин А.И. Сетецентрический подход к решению проблемы освещения подводной обстановки в Арктике. Известия ЮФУ. Технические науки, 2012, № 3 (128), с. 219-227.
[11] Заборовский В.С., Гук М.Ю., Мулюха В. А., Ильяшенко А.С. Сетецентри-ческий подход к созданию системы удаленного управления робототехни-ческими объектами с борта орбитальной станции. Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление, 2013, т. 186, № 6, с. 17-26.
[12] Dado E., Koenders E.A.B., Carvalho D.B.F. Netcentric Virtual Laboratories for Composite Materials. Compos. Their Prop. Hu N., ed. InTech, 2012, рр. 227-244.
[13] Захаров И.В., Забузов В.С., Соколовский А.Н., Эсаулов К.А. Моделирование функционирования живучих бортовых вычислительных систем с учетом их структурно-параметрической деградации. Наукоемкие технологии в космических исследованиях Земли, 2016, вып. S1, с. 60-65.
[14] Димитриев Ю.К. Правила условного локального самоопределения и алгоритм диагностирования мультипроцессорной системы с циркулянтной диагностической структурой на их основе. Автомат. и телемех., 2012, вып. 5, с. 125-140.
[15] Мамедли Э.М., Соболев Н.А. Метод обеспечения отказоустойчивости в резервированных управляющих вычислительных системах. Автомат. и телемех., 2000, вып. 2, с. 172-182.
[16] Харченко В.С. Модели и алгоритмы реконфигурации отказоустойчивых цифровых систем с адаптивной многоярусной мажоритарной структурой. Автомат. и телемех., 2000, вып. 12, с. 162-175.
[17] Елисеев В.В., Игнатущенко В.В., Подшивалова И.Ю. Оценка отказоустойчивости управляющих параллельных вычислительных систем: новый подход. Автомат. и телемех., 2007, вып. 6, с. 166-185.
[18] Ignatushchenko V.V. A principle of dynamic control of parallel computing processes on the basis of static forecasting. Proc. 10 Int. Conf. Parallel Distributed Comput. Svst. (PDCS 97). New Orleans, USA, 1997, рр. 593-597.
[19] Елисеев В.В., Игнатущенко В.В. О проблеме надежного выполнения сложных наборов задач в управляющих параллельных вычислительных системах. Проблемы управления, 2006, № 5, с. 6-18.
[20] Игнатущенко В.В., Подшивалова И.Ю. Динамическое управление параллельными вычислительными процессами на основе статического прогнозирования их выполнения. Автомат. и телемех., 1997, вып. 5, с. 160-173.
[21] Игнатущенко В.В., Подшивалова И.Ю. Динамическое управление надежным выполнением параллельных вычислительных процессов для систем реального времени. Автомат. и телемех., 1999, вып. 6, с. 142-15.
[22] Лобанов А.В. Модели замкнутых многомашинных вычислительных систем со сбое- и отказоустойчивостью на основе репликации задач в условиях возникновения враждебных неисправностей. Автомат. и телемех., 2009, вып. 2, с. 171-189.
[23] Лобанов А.В. Организация сбое- и отказоустойчивых вычислений в полно-связных многомашинных вычислительных системах. Автомат. и теле-мех., 2000, вып. 12, с. 138-146.
[24] Каравай М.Ф. Применение теории симметрии к анализу и синтезу отказоустойчивых систем. Автомат. и телемех., 1996, вып. 6, с. 159-17.
[25] Лобанов А.В., Сиренко В.Г. Распределенные методы системного диагностирования многомашинных вычислительных систем. Автомат. и телемех, 2000, вып. 8, с. 165-172.
[26] ГОСТ Р ИСО/МЭК 25010-2015. Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов. Москва, Стандартинформ, 2015, 36 с.
[27] ГОСТ Р 56526-2015. Требования надежности и безопасности космических систем, комплексов и автоматических космических аппаратов единичного (мелкосерийного) изготовления с длительными сроками активного существования. Москва, Стандартинформ, 2015, 50 с.
[28] Boyce R., Griffin D. Future trusted autonomous space scenarios. Studies in Systems, Decision and Control, 2018, vol. 117, pp. 355-364.
[29] Li F., Shi P., Wu L. Fault detection for underactuated manipulators modeled by MJS. Studies in Systems, Decision and Control, 2017, vol. 81, pp. 171-193.
[30] Kormushev P., Ahmadzadeh S.R. Robot learning for persistent autonomy. Studies in Systems, Decision and Control, 2015, vol. 42, pp. 3-28.
[31] Artemenko Y.N., Karpenko A.P., Belonozhko P.P. Synthesis of the Program Motion of a Robotic Space Module Acting as the Element of an Assembly and Servicing System for Emerging Orbital Facilities. Studies in Systems, Decision and Control, 2019, vol. 174, pp. 217-227.
[32] Belonozhko P.P. Robotic assembly and servicing space module peculiarities of dynamic study of given system. Studies in Systems, Decision and Control, 2019, vol. 174, pp. 287-29.
[33] Буренин А.Н., Легков К.Е. Вопросы безопасности инфокоммуникационных систем и сетей специального назначения: основные угрозы, способы и средства обеспечения комплексной безопасности сетей. Наукоемкие технологии в космических исследованиях Земли, 2015, т. 7, № 3, с. 46-61.
[34] Pavlov D.A. Method of operation planning information interaction cluster of small satellites remote sensing. Proceedings of the Mozhaisky Military Aerospace Academy. Saint Petersburg, Mozhaisky Military Aerospace Academy, 2015, vol. 649, pp. 37-47.
[35] Фатеев В.Ф., ред. Малые космические аппараты информационного обеспечения. Москва, Радиотехника, 2010, 320 с.
[36] Соллогуб А.В., Скобелев П.О., Симонова Е.В., Царев А.В.,. Степанов М.Е, Жиляев А.А. Интеллектуальная система распределенного управления групповыми операциями кластера малоразмерных космических аппаратов в задачах дистанционного зондирования Земли. Информационно-управляющие системы, 2013, № 1, с. 16-26.
[37] Концепция развития российской космической системы дистанционного зондирования Земли на период до 2025 года. Москва, Федеральное космическое агентство, 2006, 77 с.
[38] Serebrenny V., Shereuzhev M. Dependence of Dynamics of Multi-robot System on Control Architecture. In: Kravets A., ed. Robotics: Industry 4.0Issues & New Intelligent Control Paradigms. Studies in Systems, Decision and Control, 2020, vol. 272, pp. 125-132. Springer, Cham. https://doi.org/10.1007/978-3-030-37841-7_10
[39] Krestovnikov K., Cherskikh E., Ronzhin A. Mathematical model of a swarm robotic system with wireless bi-directional energy transfer. Studies in Systems, Decision and Control, 2020, vol. 272, pp. 13-23. https://doi.org/10.1007/978-3-030-37841-7_2
[40] Kernbach S., Kernbach O. Collective energy homeostasis in a large-scale micro-robotic swarm. Robot. Auton. Syst, 2011, vol. 59 (12), pp. 1090-1101.
[41] Lerman K., Galstyan A., Martinoli A., Ijspeert A. A macroscopic analytical model of collaboration in distributed robotic systems. Artif. Life, 2001, vol. 7 (4), pp. 375-393.
Статья поступила в редакцию 13.03.2021
Ссылку на эту статью просим оформлять следующим образом:
Ашарина И.В. Проблемы организации вычислений в многомашинных вычислительных системах с программно-управляемой сбое- и отказоустойчивостью. Часть I. Инженерный журнал: наука и инновации, 2021, вып. 6. http://dx.doi.org/10.18698/2308-6033-2020-6-2088
Ашарина Ирина Владимировна — канд. техн. наук, доцент, старший научный сотрудник АО «НИИ «Субмикрон». e-mail: asharinairina@mail.ru
Issues of organizing computations in multicomputer systems with the software-controlled failure-and fault-tolerance. Part 1
© IV. Asharina
JSC "Scientific Research Institute "SUBMICRON", Moscow, 124460, Russia
This three-part paper analyzes existing approaches and methods of organizing failure-and fault-tolerant computing in distributed multicomputer systems (DMCS), identifies and provides rationale for a list of issues to be solved. We present the concept of fault tolerance proposed by A. Avizienis, explicate its dissimilarity from the modern concept and the reason for its inapplicability with regard to modern distributed multicomputer systems. We justify the necessity to refine the definition of fault tolerance approved by the State Standards, as well as the necessity to specify three input parameters to be taken into account in the DMCS design methods: permitted fault models, permitted multiplicity of faults, permitted fault sequence capabilities. We formulate the questions that must be answered in order to design a truly reliable, fault-tolerant system and consider the application areas of the failure- and fault-tolerant control systems for complex network and distributed objects. System, functional, and test diagnostics serve as the basis for building unattended failure- and fault-tolerant systems. The concept of self-managed degradation (with the DMCS eventually proceeding to a safe shutdown at a critical level of degradation) is a means to increase the DMCS active life. We consider the issues related to the diagnosis of multiple faults and present the main differences in ensuring fault tolerance between systems with broadcast communication channels and systems with point-to-point communication channels.
The first part of the work mainly deals with the analysis of existing approaches and methods of organizing failure- and fault-tolerant computing in DMCS and the definition of the concept offault-tolerance.
Keywords: distributed multicomputer system; failure- and fault-tolerance; dynamic redundancy; malicious fault
REFERENCES
[1] Tanenbaum A., Wetherall D. Computer Networks. 5th ed. Pearson, 2010, 960 p. [In Russ.: Tanenbaum A., Wetherall D. Kompyuternye seti. 5-e izd. St. Petersburg, Piter Publ., 2016, 955 p.].
[2] Avizienis A. TIIER — Proceedings of the IEEE, 1978, vol. 66, no. 10, pp. 1109-1125.
[3] Yambulatov E.I. Razrabotka otkazoustojchivyh raspredelennyh sistem upravlenija telekommunikacionnymi setjami. Avtoref. dis. ... kand. tekhn. nauk [Design of fault-tolerant distributed control systems for telecommunication networks. Cand. Sc. (Eng.) author's abstract]. Stavropol, 2014, 22 p.
[4] Melnik E.V., Ivanov D.Ya., Gandurin V.A., Klimenko A.B. Izvestiya YuFU. Tekhnicheskie nauki — Izvestiya SFedU. Engineering Sciences. Section III. Distributed computing and systems, 2016, no. 12, pp. 129-143.
[5] Shishov A. Razrabotka i vnedrenie ASU "Kuznetsov" s primeneniem setetsentricheskogo podkhoda i mul'tiagentnykh tekhnologiy [Development and implementation of ACS "Kuznetsov" using network-centric approach and multiagent technology]. XII Vserossiyskoe soveschanie po problemam upravleniya
VSPU-2014 [XII All-Russian conference on control problems VSPU-2014]. Moscow, 2014, vol. 16, pp. 9050-9062.
[6] Fedoseev S.A. Setetsentricheskiy podkhod k zadache upravleniya zakazami na promyshlennom predpriyatii [Network-centric approach to task order management at industrial enterprise]. XII Vserossiyskoe soveshchanie po problemam upravleniya VSPU-2014 [XII All-Russian conference on control problems VSPU-2014]. Moscow, 2014, pp. 7524-7528.
[7] Fedoseev S.A., Stolbov V.Yu., Pustovoyt K.S. Model gruppovogo upravleniya v setetsentricheskikh proizvodstvennykh sistemakh [Model of group management in network-centric manufacturing systems]. Materialy konferentsii "Upravlenie v tekhnicheskikh, ergaticheskikh, organizatsionnykh i setevykh sistemakh" (UTE0SS-2012) [Proceedings of conference "Control in technical, ergatic, organizational and network systems" (UTE0S-2012)]. St. Petersburg, Concern CSRI Electropribor, JSC, 2012, pp. 1240-1243.
[8] Korobkin V.V., Serogodskiy A.I. Bezopasnost funktsionirovaniya programmnogo obespecheniya v upravlyayuschikh sistemakh na vysokoriskovykh promyshlennykh ob"ektakh [Safe operation of software in control systems on high-risk industrial objects]. Shestaya Vserossiyskaya multikonferentsiya po problemam upravleniya (30 sentyabrya — 5 oktyabrya 2013 g.): Materialy multikonferentsii v 4 t. [6th All-Russian multiconference on control problems (September 30th — October 5th, 2013): Proceedings of the multiconference in 4 vols.]. Taganrog, YuFedU, 2013, pp. 228-232.
[9] Mashoshin A.I. Algoritmy upravleniya integrirovannoy setetsentricheskoy sistemoy podvodnogo nablyudeniya [The computer complex for the spatial distributed surveying system modeling]. Shestaya Vserossiyskaya mul'tikonferentsiya po problemam upravleniya (30 sentyabrya — 5 oktyabrya 2013 g.): Materialy multikonferentsii v 4 t. [6th All-Russian multiconference on control problems (September 30th — October 5th, 2013): Proceedings of the multiconference in 4 vols.]. Taganrog, YuFedU, 2013, pp. 112-116.
[10] Peshekhonov V.G., Braga Yu.A., Mashoshin A.I. Izvestiya YuFU. Tekhnicheskie nauki — Izvestiya SFedU. Engineering Sciences, 2012, no. 3 (128), pp. 219-227.
[11] Zaborovskiy V.S., Guk M.Yu., Mulyukha V.A., Ilyashenko A.S. Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie — Scientific and technical Gazette of SPSPU. Informatics. Telecommunications. Management, 2013, vol. 186, no. 6, pp. 17-26.
[12] Dado E., Koenders E.A.B., Carvalho D.B.F. Compos. Their Prop. Hu N., ed. InTech, 2012, pp. 227-244.
[13] Zakharov I.V., Zabuzov V.S., Sokolovskiy A.N., Esaulov K.A. Naukoemkie tehnologii v kosmicheskikh issledovaniyakh Zemli — High tech in Earth space research, 2016, no. S1, pp. 60-65.
[14] Dimitriev Yu.K. Automation and Remote Control, 2012, vol. 73, no. 5, pp. 862-872.
[15] Mamedli E.M., Sobolev N.A. Avtomatika i telemekhanika — Automation and Remote Control, 2000, vol. 61, no. 2, pp. 337-347.
[16] Harchenko V.S. Avtomatika i telemekhanika — Automation and Remote Control, 2000, vol. 61, no. 12, pp. 2081-2094.
[17] Eliseev V.V., Ignatushсhenko V.V., Podshivalova I.Yu. Avtomatika i telemekhanika — Automation and Remote Control, 2007, vol. 68, no. 6, pp. 1083-1099.
[18] Ignatushchenko V.V. A principle of dynamic control of parallel computing processes on the basis of static forecasting. Proc. 10th Int. Conf. Parallel Distributed Comput. Svst. (PDCS'97). New Orleans, USA, Oct. 1997, pp. 593-597.
[19] Eliseev V.V., Ignatushchenko V.V. Problemy upravleniya — Control Sciences, 2006, no. 6, pp. 6-18.
[20] Ignatushchenko V.V., Podshivalova I.Yu. Avtomatika i telemekhanika — Automation and Remote Control, 1997, no. 6, pp. 160-173.
[21] Ignatushchenko V.V., Podshivalova I.Yu. Avtomatika i telemekhanika — Automation and Remote Control, 1999, no. 6, pp. 142-157.
[22] Lobanov A.V. Avtomatika i telemekhanika — Automation and Remote Control, 2009, vol. 70, no.2, pp. 328-343.
[23] Lobanov A.V. Avtomatika i telemekhanika — Automation and Remote Control, 2009, vol. 61, no. 12, pp. 2059-2067.
[24] Karavay M.F. Avtomatika i telemekhanika — Automation and Remote Control, 1996, vol. 57, no. 6, pp. 899-910.
[25] Lobanov A.V., Sirenko V.G. Avtomatika i telemekhanika — Automation and Remote Control, 2000, vol. 61, no. 8, pp. 1390-1396.
[26] GOST R ISO/MJeK 25010—2015. Trebovaniya i otsenka kachestva sistem i programmnogo obespecheniya (SQuaRE). Modeli kachestva sistem i pro-grammnyh produktov [State Standard R ISO/MJeK 25010—2015 Information technology. Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). System and software quality models]. Moscow, Standartinform Publ., 2018.
[27] GOST R 56526—2015 Trebovaniya nadezhnosti i bezopasnosti kosmicheskikh sistem, kompleksov i avtomaticheskikh kosmicheskikh apparatov edinichnogo (melkoseriynogo) izgotovleniya s dlitelnymi srokami aktivnogo suschestvovaniya. [State Standard R 56526—2015 Reliability and safety requirements for space systems, complexes and unmanned spacecrafts of unique (small series) production with long life of active operation]. Moscow, Standartinform Publ., 2016.
[28] Boyce R., Griffin D. Studies in Systems, Decision and Control, 2018, vol. 117, pp. 355-364.
[29] Li F., Shi P., Wu L. Fault detection for underactuated manipulators modeled by MJS. Studies in Systems, Decision and Control, 2017, no. 81, pp. 171-193.
[30] Kormushev P., Ahmadzadeh S.R. Studies in Systems, Decision and Control, 2015, vol. 42, pp. 1-28.
[31] Artemenko Y.N., Karpenko A.P., Belonozhko P.P. Studies in Systems, Decision and Control, 2019, vol. 174, pp. 217-227.
[32] Belonozhko P.P. Studies in Systems, Decision and Control, 2019, vol. 174, pp. 287-296.
[33] Burenin A.N., Legkov K.E. Naukoemkie tekhnologii v kosmicheskikh issledovaniyakh Zemli — High tech in Earth space research, 2015, vol. 7, no. 3, pp. 46-61.
[34] Pavlov D.A. Proceedings of the Mozhaisky Military Aerospace Academy. St. Petersburg, Mozhaysky MAA, 2015, no. 649, pp. 37-47.
[35] Fateev V.F., ed. Malye kosmicheskie apparaty informatsionnogo obespecheniya [Small spacecraft for information support]. Moscow, Radiotekhnika, 2010, 320 p.
[36] Sollogub A.V., Skobelev P.O., Simonova Ye.V., Tsarev A.V., Stepanov M.Ye., Zhilyaev A.A. Informatsionno-upravlyayuschie sistemy — Information and Control Systems, 2013, no. 1, pp. 16-26.
[37] Kontseptsiya razvitiya rossiyskoy kosmicheskoy sistemy distantsionnogo zondirovaniya Zemli na period do 2025 goda [Concept for the development of the Russian space system for Earth remote sensing for the period up to 2025]. Moscow, 2006, 77 p.
[38] Serebrenny V., Shereuzhev M. Dependence of Dynamics of Multi-robot System on Control Architecture. In: Kravets A.G., ed. Robotics: Industry 4.0 Issues & New Intelligent Control Paradigms. Studies in Systems, Decision and Control. 2020, vol. 272, pp. 125-132. Springer, Cham. https://doi.org/10.1007/978-3-030-37841-7_10
[39] Krestovnikov K., Cherskikh E., Ronzhin A. Mathematical Model of a Swarm Robotic System with Wireless Bi-directional Energy Transfer. In: A.G. Kravets, ed. Robotics: Industry 4.0 Issues & New Intelligent Control Paradigms, Studies in Systems, Decision and Control. Springer Nature Switzerland AG, 2020, vol. 272, pp. 13-23. https://doi.org/10.1007/978-3-030-37841-7_2
[40] Kernbach S., Kernbach O. Robot. Auton. Syst, 2011, vol. 59 (12), pp. 1090-1101.
[41] Lerman K., Galstyan A., Martinoli A., Ijspeert A. Artif. Life, 2001, vol. 7 (4), pp. 375-393.
Asharina I.V., Cand. Sc. (Eng.), Assoc. Professor, Senior Research Fellow, JSC "Scientific Research Institute "SUBMICRON". e-mail: asharinairina@mail.ru
