CC BY
62
УДК 004.8
АССОЦИАТИВНАЯ ИНТЕЛЛЕКТУАЛЬНАЯ МАШИНА С ТРЕМЯ СИГНАЛЬНЫМИ СИСТЕМАМИ
В. Ю. Осипова, доктор техн. наук, профессор
аСанкт-Петербургский институт информатики и автоматизации РАН, Санкт-Петербург, РФ
Цель: расширение функциональных возможностей ассоциативных интеллектуальных машин по обработке динамических сигналов. Методы: для наделения ассоциативных интеллектуальных машин новыми возможностями использованы подходы к построению таких машин с двумя сигнальными системами на основе рекуррентных нейронных сетей с управляемыми синапсами. Применены решения по изменению пространственных характеристик обрабатываемых сигналов и формированию их копий. Результаты: предложено наделять ассоциативную интеллектуальную машину третьей сигнальной системой, позволяющей осуществлять управляемый отрыв нейронной сети этой машины от исполнительных устройств и изменять характеристики выходных сигналов в зависимости от текущих состояний слоев. В интересах этого формируются и обрабатываются параллельно вторые копии сигналов в виде сигнально-шумовых групп единичных образов. Помимо управления пространственными параметрами расходящихся единичных образов, передаваемых от слоя к слою в рекуррентной нейронной сети, рекомендовано управлять пространственной селекцией сходящихся единичных образов. Сформулированы правила такого управления. Практическая значимость: показано, что за счет наличия у ассоциативной интеллектуальной машины третьей сигнальной системы расширяются ее возможности по интеллектуальному взаимодействию с внешним миром. У такой машины появляется возможность сначала все «обдумать», а потом действовать, не выдавая на исполнительные устройства все текущие результаты «мышления». Кроме этого, дополнительная пространственная селекция сигналов позволяет повысить избирательность ассоциативного взаимодействия обрабатываемых сигналов, улучшить их запоминание и извлечение из памяти.
Ключевые слова — ассоциативная машина, сигнальная система, интеллектуальная обработка сигналов.
Введение
Создание высокоинтеллектуальных машин, способных оперативно решать широкий спектр трудно формализуемых творческих задач подобно человеку, является одной из актуальных проблем современности. Наличие таких машин позволит не только облегчить труд человека и повысить его безопасность, но и выйти на новый уровень познавательной, созидательной деятельности в различных сферах и средах. Пока все попытки решения данной проблемы не увенчались успехом. Это обусловлено рядом причин. Среди них — отсутствие полноценных моделей «мышления» машин, а также несовершенство технологий их реализации.
При построении моделей «мышления» машин используют два основных подхода [1]. Первый из них, называемый программно-прагматическим, предусматривает анализ мышления и поведения человека в зависимости от воздействий на него различных сигналов. По результатам этого анализа осуществляют синтез соответствующих моделей в виде программно реализуемых правил. Затем используют разработанные программы для наделения машин интеллектуальностью. Однако получаемые таким образом модели отражают лишь частные случаи «мыслительных» процессов. Фактически машины с таким «интеллектом» решают творческие задачи согласно правилам, которые заложили в них разработчики.
Второй, бионический подход, базируется на анализе реальных биологических процессов, происходящих в мозге живых существ, и построении обучаемых искусственных нейронных
сетей, моделирующих его деятельность. В настоящее время известно несколько типов таких сетей [2-4], которые применяют для решения различных частных творческих задач. Особого внимания заслуживают модели, позволяющие обрабатывать информацию в реальном времени. Несмотря на ряд существенных результатов, полученных в последние годы [2, 5, 6], известные нейронные сети как модели искусственного «мозга» по функциональности также пока далеки от совершенства и не обеспечивают для машин широких интеллектуальных возможностей. Кроме того, есть трудности с реализацией интеллектуальных машин на основе рекуррентных нейронных сетей больших размеров. Традиционное программное моделирование их малопригодно из-за высокой вычислительной сложности. Способы аппаратной реализации таких машин требуют дальнейшего развития.
Необходим поиск новых идей и технологий, позволяющих расширить возможности машин по интеллектуальной обработке информации.
В рамках бионического подхода предлагается ассоциативная интеллектуальная машина с тремя сигнальными системами, наделенная новыми свойствами по решению трудно формализуемых творческих задач.
Постановка задачи совершенствования ассоциативной интеллектуальной машины
Опираясь на особенности электрических процессов, протекающих в мозге реальных биологических систем [7, 8], рассмотрим в качестве
прототипа предлагаемого решения ассоциативную интеллектуальную машину (АИМ) с двумя сигнальными системами [9-11]. Ее основу составляет совокупность взаимосвязанных датчиков, двухслойной рекуррентной нейронной сети (РНС) с управляемыми синапсами (рис. 1) и исполнительных устройств. Обратные связи РНС замыкают контуры с временем задержки единичных образов, меньшим времени невосприимчивости нейронов после их возбуждения. Каждый нейрон одного слоя в общем случае связан со всеми нейронами другого слоя и может находиться в трех состояниях: ожидания, возбуждения и невосприимчивости. Из РНС путем управления синапсами могут быть сформированы различные другие сети. В РНС подают групповой сигнал, предварительно разложенный на составляющие. Каждая из них преобразована в последовательность единичных образов (ЕО) с частотой повторения как функции от амплитуды соответствующей составляющей. Групповой сигнал состоит из полезного сигнала, просуммированного с маломощным шумом, и самого этого шума. Полезный сигнал также может быть групповым, состоящим из разных полезных воздействий. Групповой входной сигнал представляют в сети в виде последовательных групповых совокупностей единичных образов (СЕО) в соответствии с предварительно заданными правилами его распознавания с учетом обратных результатов обработки. При передаче от слоя к слою такие СЕО сдвигают вдоль слоев с учетом текущих состояний последних и продвигают эти совокупности вдоль них по заданной (в частности, спиральной) схеме. Также при передаче от слоя к слою СЕО, состоящих из сигнально-шумовых и шумовых групп, формируют копии сигнально-шумовых групп. Формирование этих копий и их обработку осуществляют с учетом изменения форм поперечных сечений расходящихся ЕО и поворотов этих обра-
Вход
>13 л
Я и й й
ФХО к ■ '
К к
1-1 ч
Первый блок синапсов
Выход
Второй
блок ' синапсов
Второй блок еди-"ничных у задержек
■ Рис. 1. Структурная схема двухслойной РНС с управляемыми синапсами
зов вокруг направлений их передачи в зависимости от текущих состояний слоев. Результаты распознавания сигналов запоминают на элементах сети. Причем за счет частичного отражения СЕО от нейронов принимающего слоя частично стирают с синапсов устаревшую информацию [12]. В качестве результатов обработки используют последовательные копии сигнально-шумовых групп ЕО на выходном слое сети после обратного преобразования в соответствующие им исходные сигналы. Однозначное соответствие между входом и выходом сети обеспечивается за счет приоритетности коротких связей между нейронами взаимодействующих слоев. В этой АИМ первая сигнальная система отвечает за формирование «условно-рефлекторных» связей и реакций по результатам воздействия входных сигналов. Она обрабатывает оригинальные групповые сигналы. Вторая сигнальная система реализует саму интеллектуальную обработку информации и оперирует копиями последовательных сигнально-шу-мовых групп. За счет изменения в РНС форм поперечных сечений расходящихся ЕО и поворотов этих образов вокруг направлений их передачи в зависимости от текущих состояний слоев можно временно отрывать обработку сигналов во второй сигнальной системе от первой. Это позволяет исключить подавление обратных результатов распознавания входным потоком и увеличить глубину обработки сигналов.
К недостаткам данной АИМ следует отнести то, что при приеме совокупностей единичных образов в РНС не предусмотрена их управляемая пространственная селекция. Кроме того, в АИМ отсутствует управляемый отрыв РНС от исполнительных устройств. Действия АИМ напрямую отражают все результаты обработки сигналов в РНС, что не желательно, так как не все они должны реализовываться. Не раскрыты правила изменения поперечных сечений расходящихся и сходящихся ЕО в РНС с учетом текущих состояний слоев. Это ограничивает интеллектуальные возможности АИМ и затрудняет ее практическую реализацию.
Необходимо усовершенствовать известную АИМ, расширить ее возможности по интеллектуальной обработке информации.
Метод обработки информации
Для расширения возможностей АИМ предлагается наделить ее третьей сигнальной системой и повысить избирательность ассоциативного взаимодействия сигналов в ее РНС в зависимости от текущих состояний слоев. С формальной точки зрения процесс обработки информации в усовершенствованной АИМ с тремя сигнальными системами можно представить в виде схемы обобщенных
действий (рис. 2). Согласно этой схеме, АИМ должна настраиваться на входные сигналы в зависимости от текущих состояний слоев РНС так, чтобы имело место наибольшее их ассоциативное взаимодействие с запомненными сигналами. Основная обработка сигналов в виде копий последовательных совокупностей (сигнально-шумовых групп) ЕО осуществляется во второй сигнальной системе, как и в прототипе. Отличие этой схемы от известных решений в том, что предлагается формировать и обрабатывать в АИМ (в ее третьей сигнальной системе) вторые копии сигнально-шумовых групп ЕО с учетом изменения пространственных параметров расходящихся и сходящихся единичных образов в зависимости от текущих состояний слоев. Это позволяет АИМ сначала все «обдумать», а потом действовать. Причем дополнительно на третью сигнальную систему могут возлагаться функции по формированию ряда самостоятельных устойчивых цепочек сигналов для реализации типовых действий АИМ. В этом случае вторая сигнальная система при необходимости может ограничиваться лишь запуском и прерыванием генерации этих цепочек сигналов (программ действий). Кроме этого, возможность формирования таким образом вторых копий сигналов позволяет со стороны
Входные сигналы
Ж
Выходные сигналы ■ Рис. 2. Схема обработки сигналов в АИМ
второй сигнальной системы плавно изменять параметры действий АИМ (их масштаб, быстроту, силу). С физической точки зрения это сводится к изменению частот следования ЕО в их последовательностях и, соответственно, амплитуд составляющих исходных сигналов. В результате наличие третьей сигнальной системы в АИМ позволяет существенно расширить ее функциональные возможности, прежде всего, по интеллектуальному взаимодействию с внешним миром. В такой АИМ циклическая обработка сигналов может реализовываться во всех трех сигнальных системах. Причем управляемые циклы в общем случае реализуются внутри каждой сигнальной системы. Управление ими осуществимо также за счет изменения форм и поворотов поперечных сечений расходящихся и сходящихся ЕО.
Заметим, что при формировании первых и вторых копий сигнально-шумовых групп ЕО предлагается учитывать изменения пространственных параметров не только расходящихся, но и сходящихся ЕО. Изменение пространственных параметров сходящихся ЕО успешно применяется в радиальных нейронных сетях [3, 4], однако в РНС с управляемыми синапсами такое применение имеет свою специфику.
Для пояснения предлагаемого метода рассмотрим особенности РНС АИМ, позволяющие говорить об ее трех сигнальных системах.
Усовершенствованная структура РНС АИМ
Пример логической структуры РНС, в которой слои разбиты на поля, показан на рис. 3. Линии разбивки обозначены цифрой 3. Сплошными стрелками 2, 4 отражены направления продвижения СЕО, соответственно, вдоль и между слоями сети. Штрихпунктирными стрелками 1 указаны вспомогательные направления, по которым продвигаются формируемые из основных вспомогательные совокупности, несущие информацию о маломощном шуме, содержащемся
Входные СЕО 2 3
Выходные СЕО
■ Рис. 3. Структура слоев РНС с тремя сигнальными системами
Вход
Первая
сигнальная
система
* .....т ^^
ЛГ^Ь ЛГ^
2
р
/
/К^г »V* лЛь лЛк лгЧ лЛь А^Ч лЛь
К^Т Чч^ А^ч ✓Ч А^Ч л^Ч л^Ч X
Вторая
сигнальная
система
.....» ^^
Третья
сигнальная
система
Выход
■ Рис. 4. Структура РНС с тремя сигнальными системами на уровне нейросетевых каналов продвижения СЕО
во входном сигнале. Нейроны первого и второго слоев сети имеют обозначение 5. Этой структуре можно поставить в соответствие структуру РНС с тремя сигнальными системами на уровне ней-росетевых каналов продвижения СЕО (рис. 4). На рис. 4 приняты обозначения: 1 — вспомогательные каналы (фильтры), пропускающие СЕО, относящиеся к маломощному шуму, отраженные на рис. 3 цифрой 1; 2 — основные ассоциативные взаимодействия ЕО (формы и направления этих взаимодействий можно изменять в зависимости от текущих состояний слоев сети); 3 — направления продвижения СЕО вдоль слоев. Согласно рис. 3 и 4, входные СЕО поступают в первую сигнальную систему РНС АИМ. Она представляет из себя частную рекуррентную двухслойную сеть, связанную вспомогательным каналом и синапсами нейронов со второй частной РНС — второй сигнальной системой. Выделяемые за счет вспомогательного канала СЕО, относящиеся к маломощному шуму, продвигаются некоторое время в одном и том же направлении по первой и второй сигнальным системам. По суммарному времени воздействия на АИМ маломощный шум существенно превышает воздействие на нее полезных сигналов. Это позволяет не только устанавливать и поддерживать прочные ассоциативные связи между первой и второй сигнальными системами, но и стимулировать РНС. Посредством этих связей формируются и обрабатываются во второй сигнальной системе копии полезных сигналов. При этом учитываются изменения форм поперечных сечений расходящихся и сходящихся ЕО, а также повороты их вокруг направлений передачи и приема в зависимости от текущих состояний слоев. Заметим, что в отличие от прототипа дополнительно учитываются текущие параметры сходящихся ЕО. Наличие возможностей изменять параметры расходящихся и сходящихся ЕО в РНС обеспечивает не только развязку между
всеми тремя сигнальными системами, но и изменение в широких пределах направлений ассоциативного взаимодействия сигналов в сети (формирование и завершение циклов обработки информации, избирательное запоминание информации, обращение к конкретным ресурсам и вызов из памяти связанных сигналов).
Предлагается преобразовывать в выходные сигналы не все результаты обработки последовательных копий СЕО во второй сигнальной системе, а лишь часть из них. В интересах этого в зависимости от текущих состояний слоев формируются вторые копии последовательных СЕО в третьей частной двухслойной РНС (в третьей сигнальной системе). Из этих копий затем получают соответствующие им исходные сигналы. Это позволяет АИМ при необходимости отрывать «мышление» от непосредственного управления исполнительными устройствами.
Для пояснения возможностей управления ассоциативным взаимодействием сигналов в РНС АИМ за счет изменения пространственных параметров расходящихся и сходящихся ЕО в зависимости от текущих состояний слоев рассмотрим рис. 5, где 1 — нейроны, сформировавшие расходящиеся ЕО с поперечными сечениями 6; 2 — поперечные сечения сходящихся к нейронам 5 единичных образов; 3, 4 — оси максимальной протяженности распределения плотности мощности в поперечных сечениях, соответственно, сходящихся и расходящихся ЕО. Из рис. 5 видно, что даже при заданных направленных формах поперечных сечений только за счет их поворотов можно существенно изменять направления ассоциативного взаимодействия сигналов в РНС. За счет же управления формами, придания им, например, многолепесткового вида в зависимости
'су'буЗ о/У
Первый слой
Ь-е^б" о о
Второй слой
4
5
6
■ Рис. 5. Примеры ориентации сглаженных эллиптических форм поперечных сечений расходящихся и сходящихся ЕО
1
3
1
2
3
от текущих состояний слоев возможности такого изменения резко возрастают. Причем дополнительный учет управляемой пространственной селекции ЕО при их приеме позволяет расширить внутреннее пространство состояний РНС и, согласно этому, ее возможности по обработке сигналов.
При условии, что пространственные сдвиги СЕО в РНС уже устоялись и фиксированы, наибольшие эффекты ассоциативного взаимодействия сигналов в АИМ могут достигаться в тех случаях, когда поперечные сечения расходящихся и сходящихся ЕО ориентированы, соответственно, на текущие энергетические минимумы принимающего слоя и текущие энергетические максимумы передающего слоя с учетом их удаленности от центров вращения этих сечений. При программной реализации АИМ для построения текущих поперечных сечений расходящихся и сходящихся ЕО в РНС все пространство этих сечений должно быть разбито на сектора. Для этих секторов предлагается определять соответствующие энергетические показатели с учетом удаленности локальных центров. Затем путем нормировки можно найти относительные коэффициенты направленности поперечных сечений для каждого выделенного сектора.
В целом при предлагаемом подходе веса синапсов нейронов рекомендуется определять умножением весовых коэффициентов на функцию ослабления расходящихся ЕО и функцию ослабления сходящихся ЕО. С физической точки зрения реализация такого управления синапсами осуществима за счет изменения их проводимости по соответствующим правилам.
Для выделения из входных сигналов маломощного шума в составе РНС должны присутствовать вспомогательные нейроны с большим временем невосприимчивости нейронов после возбуждения.
Результаты моделирования
В подтверждение справедливости предложенного подхода проводились вычислительные эксперименты, для чего была разработана усовершенствованная модель двухслойной РНС с числом нейронов в каждом слое 2016 единиц. Слои сети разбивались на логические поля размером 3x7 нейронов. Под первую сигнальную систему на каждом слое выделялась одна строка из 16 таких полей, под вторую — три, а под третью — две строки. Имитация выделения из входного сигнала маломощного шума осуществлялась прореживанием последовательных СЕО. Установлено, что дополнительная управляемая пространственная селекция сигналов в РНС предоставляет расширенные возможности по интеллектуальной ассоциативно-адресной обработке разнородной информации. Однако при програм-
мной реализации она также требует дополнительных вычислительных ресурсов. Подтверждено, что вторые копии сигналов могут успешно формироваться, как и первые. В случае, когда исключалось формирование вторых копий, вторая сигнальная система функционировала только на себя. При наличии вторых копий результаты обработки сигналов через третью сигнальную систему поступали на выход РНС.
Наличие в составе АИМ третьей сигнальной системы обеспечивает управляемый отрыв РНС от исполнительных устройств, а также плавное изменение параметров выходных воздействий машины. Изменяя форму и (или) поворачивая поперечные сечения расходящихся и сходящихся ЕО при формировании вторых копий сигналь-но-шумовых групп ЕО в третьей сигнальной системе, можно в широких пределах изменять уровень ассоциативного взаимодействия сигналов и варьировать амплитудами составляющих выходных сигналов. Напомним, что амплитуды этих составляющих являются функциями частот следования ЕО в соответствующих последовательностях.
Заключение
Предложенные решения по наделению АИМ третьей сигнальной системой и управляемой избирательностью взаимодействия сигналов в ее РНС позволяют понять, как могут развиваться процессы глубокой интеллектуальной ассоциативно-адресной обработки информации в таких машинах. Возможность управляемого отрыва второй сигнальной системы от входного потока и от воздействий на исполнительные устройства обеспечивает недостающие условия для полноценной интеллектуальной обработки информации в АИМ. Вторую сигнальную систему в предлагаемой АИМ теперь можно рассматривать как интеллектуальное нейросетевое ядро, принимающее решения не только о том, какие сигналы надо исключать из рассмотрения, но и какие подвергать глубокой обработке. На это ядро возлагаются также функции по выдаче на исполнительные устройства результатов, лишь «требующих» реализации, а не всех, как в прототипе. Формирование таких решений осуществимо путем изменения пространственных параметров ассоциативного взаимодействия сигналов в РНС в зависимости от текущих состояний ее слоев. При этом структура сигналов в предлагаемой АИМ не разрушается. Это обеспечивается, так же как и в прототипе, за счет приоритетности коротких связей между нейронами взаимодействующих слоев. Совместимость всех сигнальных систем в РНС по языку обработки сигналов достигается путем использования вспомогатель-
ных каналов (фильтров), пропускающих СЕО, относящиеся к маломощному шуму.
Разработанный метод обработки информации в АИМ и усовершенствованная структура ее РНС могут быть использованы при создании перспек-
1. Аверкин А. Н., Гаазе-Рапопорт М. Г., Поспелов Д. А.
Толковый словарь по искусственному интеллекту. — М.: Радио и связь, 1992. — 256 с.
2. Galushkin A. I. Neural Networks Theory. — SpringerVerlag Berlin Heidelberg, 2007. — 396 p.
3. Хайкин С. Нейронные сети: полный курс. 2-е изд.: пер. с англ. — М.: Вильямс, 2006. — 1103 с.
4. Осовский С. Нейронные сети для обработки информации / пер. с польского И. Д. Рудницкого. — М.: Финансы и статистика, 2002. — 344 с.
5. Amari S. Dreaming of Mathematical Neuroscience for Half a Century // Neural Networks. 2013. N 37. P. 48-51.
6. Palm G. Neural Associative Memories and Sparse Coding // Neural Networks. 2013. N 37. P. 165-
тивных интеллектуальных машин. Рекомендуется реализовывать их в аналоговом варианте, позволяющем получить все преимущества параллельной ассоциативно-адресной интеллектуальной обработки различных сигналов.
7. Альбертс Б. и др. Молекулярная биология клетки. В 3 т.: пер. с англ. — М.: Мир, 1994. Т. 3. — 504 с.
8. Физиология человека / под ред. В. М. Покровского, Г. Ф. Коротько. — М.: Медицина, 2007. — 656 с.
9. Осипов В. Ю. Рекуррентная нейронная сеть с двумя сигнальными системами // Информационно-управляющие системы. 2013. № 4. С. 8-15.
10. Осипов В. Ю. Ассоциативная интеллектуальная машина с двумя сигнальными системами // Мехатрони-ка, автоматизация, управление. 2013. № 8. С. 17-22.
11. Осипов В. Ю. Аналоговые ассоциативные интеллектуальные системы // Тр. СПИИРАН. 2013. Вып. 7(30). С. 141-155.
12. Осипов В. Ю. Стирание устаревшей информации в ассоциативных интеллектуальных системах // Мехатроника, автоматизация, управление. 2012. № 3. С. 16-20.
UDC 004.8
Three Signaling Systems Associative Machine
Osipov V. Yu.a, Dr. Sc., Tech., Professor, Leading Research Fellow, [email protected]
aSaint-Petersburg Institute for Informatics and Automation of RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation
Purpose: Increasing the functionality of associative intelligent machines for dynamic signal processing. Methods: In order to give new features to associative intelligent machines, these machines are constructed with two signaling systems based on recurrent neural networks with operated synapses. Special solutions changed the spatial characteristics of the processed signals and the formation of their copies. Results: The idea is to provide an associative intelligent machine with the third signaling system, performing an operated separation of the neural network of this machine from the actuation mechanisms, and to change the output signal characteristics depending on the current states of the layers. This assumes producing and parallel processing of the second copies of the signals in the form of signal-and-noise groups of single images. Besides the control of the spatial parameters of the dispersing single images transferred from one layer to a layer in the recurrent neural network, it is recommended to control the spatial selection of the convergent single images. The rules of such control are formulated. Practical relevance: With the third signaling system, an associative intelligent machine has greater capabilities for intellectual interaction with the outer world. Such a machine has a chance to "think" first and act later, without sending all its transitional "thoughts" to the actuation mechanisms. Besides, the additional spatial selection of the signals increases the selectivity of the associative interaction between the processed signals, improving their storage and extraction from the memory. Keywords — Associative Machine, Signaling System, Intellectual Processing of Signals.
References
1. Averkin A. N., Gaaze-Rapoport M. G., Pospelov D. A. Tolkovyi slovar' po iskusstvennomu intellektu [The Explanatory Dictionary on Artificial Intelligence]. Moscow, Radio i sviaz' Publ., 1992. 256 p. (In Russian).
2. Galushkin A. I. Neural Networks Theory. Springer-Verlag Berlin Heidelberg, 2007. 396 p.
3. Haykin S. Neural Networks: A Comprehensive Foundation. Second ed. Prentice Hall, 1988. 842 p.
4. Osovsky S. Neironnye seti dlia obrabotki informatsii [Neural Networks for Processing of Information]. Moscow, Finansy i statistika Publ., 2002. 344 p. (In Russian).
5. Amari S. Dreaming of Mathematical Neuroscience for Half a Century. Neural Networks, 2013, no. 37, pp. 48-51.
6. Palm G. Neural Associative Memories and Sparse Coding. Neural Networks, 2013, no. 37, pp. 165-171.
7. Alberts B., Bray D., Lewis J., Raff M., Roberts K., Watson J. D. (Eds.). Molecular Biology of The Cell. Second ed. New York, Garland Publishing, Inc., 1989. 1219 p.
8. Pokrovsky V. M., Korotko G. F. (Eds.). Fiziologiia cheloveka [Human Physiology]. Moscow, Meditsina Publ., 2007. 656 p. (In Russian).
9. Osipov V. Yu. The Recurrent Neural Network with Two Signal System. Informatsionno-upravliaiushchie sistemy, 2013, no. 4, pp. 8-15 (In Russian).
10. Osipov V. Yu. Double Signaling Systems Associative Machine. Mekhatronika, avtomatizatsiia, upravlenie, 2013, no. 8, pp. 17-22 (In Russian).
11. Osipov V. Yu. The Analog Associative Intelligent Systems. Trudy SPIIRAN, 2013, iss. 7(30), pp. 141-155 (In Russian).
12. Osipov V. Yu. Erase Outdated Information in Associative Intelligent Systems. Mekhatronika, avtomatizatsiia, upravlenie, 2012, no. 3, pp. 16-20 (In Russian).
