CC BY
92
УДК 512.6, 517.9, 519.6 Дата подачи статьи: 29.05.17
DOI: 10.15827/0236-235X.030.3.420-424 2017. Т. 30. № 3. С. 420-424
ГИБРИДНЫЕ КОГНИТИВНЫЕ НЕЧЕТКИЕ СИСТЕМЫ УПРАВЛЕНИЯ АВТОНОМНЫМ РОБОТОМ НА ОСНОВЕ НЕЙРОИНТЕРФЕЙСА И ТЕХНОЛОГИИ МЯГКИХ ВЫЧИСЛЕНИЙ
С.В. Ульянов, д.ф.-м.н., профессор, [email protected]; А.Г. Решетников, к.т.н., доцент, [email protected]; А.А. Мамаева, аспирант, [email protected] (Университет «Дубна», Институт системного анализа и управления, Университетская ул., 19, г. Дубна, 141980, Россия)
В статье обсуждаются возможности применения нейроинтерфейса совместно с различными типами регуляторов на типовом примере управления автономным транспортным средством. Проведена оценка возможностей применения методов и средств технологии интеллектуальных вычислений для повышения надежности функционирования системы управления.
Цель данной работы - на основе эксперимента показать возможности эффективного применения когнитивного интерфейса («мозг-компьютер-исполнительное устройство») на примере управления транспортным средством (мобильным роботом), раскрыть возможность применения современных технологий управления и показать роль и необходимость интеллектуальных вычислений в работе интерфейса «мозг-компьютер» для повышения надежности и ро-бастности системы управления.
В частности, рассмотрена возможность управления типовым движением объекта (вперед, назад, влево, вправо, обход препятствий) посредством когнитивного шлема с помощью стандартного блока распознавания команд и различных типов систем управления, в том числе на основе оптимизатора баз знаний на мягких вычислениях.
Ключевые слова: когнитивная система управления, когнитивный регулятор, нейроинтерфейс, мягкие вычисления, интеллектуальная система управления.
До настоящего времени в теории и процессах проектирования интеллектуальных систем управления (ИСУ) как систем, основанных на знаниях (в виде соответствующих баз знаний (БЗ)), проектирование самих БЗ осуществлялось экспертом на основе или интеллектуальных вычислений типа мягких вычислений с применением генетических алгоритмов, или нечетких нейронных сетей. Роль человека-оператора в контуре управления не учитывалась в явном виде либо описывалась передаточными функциями упрощенного типа. Довольно давно установлено [1], что в контуре управления больших многоконтурных связанных систем управления часто бывает до 75 % избыточной информации, которая не используется или мешает принятию решения. Поэтому одной из центральных проблем разработки ИСУ являлся поиск конструктивного решения задачи проектирования БЗ в заданной проблемно-ориентированной области применения при наличии неопределенности и риска.
Включение в контур управления человека-оператора часто ассоциировалось с появлением и повышением риска в принятии решения из-за человеческого фактора, несмотря на возможность учета интеллектуального ресурса самого оператора. В свою очередь, одно из направлений технологического роста интерфейсов вычислительных систем, неразрывно связанных с ростом вычислительной мощности, направлено именно на интеграцию психофизиологических особенностей поведения пользователя (оператора) с виртуальным и информационным полем эффективной деятельности человека.
Такое развитие порождает новые классы аппаратной и программной реализации интерфейсов и сталкивается с задачами обработки огромного количества индифферентных данных пользователя. Очевидной становится необходимость наличия интеллектуальных свойств адаптации и обучения ПО такого рода интерфейсов.
Большое внимание уделяется, например, вопросу применения когнитивного интерфейса совместно с различными типами структур управления. Работы зарубежных исследователей показали возможности использования стимулирующих сигналов для обучения и при генерации управляющих команд оператором [2, 3]. Однако извлечение знаний и разработка БЗ непосредственно из мыслительного процесса (электроэнцефалограммы, ЭЭГ) не рассматривались. Напротив, результаты работы [4] показали возможность восстановления образов мыслительного процесса непосредственно из сигналов ЭЭГ. Отметим, что и в подобных системах не рассматривается возможность извлечения знаний из сигнала ЭЭГ оператора для формирования адаптивной обучающейся системы.
Обычно для тренировки когнитивных способностей оператора широко применяются специализированные тренажеры - игры, например нейроинтерфейс EPOC [5]. Эти тренажеры не обладают специализированным программным модулем для обучения и адаптации системы управления (самой программы) к физиологическим особенностям оператора [6, 7]. В свою очередь, зарекомендовавшие себя в широком классе областей мягкие вычисления (генетические алгоритмы, нечеткая логика и
нечеткие нейронные сети) позволяют спроектировать интеллектуальную когнитивную систему управления, обладающую такими качествами.
Соответственно, технологический рост данного направления неразрывно связан с наличием и развитием специализированных программных инстру-ментариев проектирования ИСУ. В качестве такого инструментария в данной работе выступает оптимизатор баз знаний (ОБЗ) на мягких вычислениях, являющийся (с точки зрения теории нечетких систем) универсальным аппроксиматором для формирования БЗ нечеткого регулятора (НР). Структурно оптимизатор включает в себя три генетических алгоритма, на каждом этапе работы которого формируется оптимальная структура нечеткой нейронной сети с оптимальным количеством продукционных правил и значений весовых коэффициентов узлов. В свою очередь, это гарантирует ро-бастность системы управления в условиях помех и смешанных сигналов [8].
Обобщенно технологию проектирования можно представить в виде схемы, изображенной на рисунке 1.
Для снятия сигнала о мозговой активности [9, 10] использовался когнитивный шлем Emotiv EPOC+ совместно с поставляемым ПО (EPOC Control Panel).
Структурно Emotiv EPOC+ состоит из 14 каналов для снятия сигнала. Для метода отбора проб используется последовательная выборка. Частота ее - 128 выборок в секунду (внутренний 2048 Гц) с разрешением оцифровки 14 бит и пропускной способностью 0,2-45 Гц.
Поставляемое ПО позволяет получать, распознавать и регистрировать ЭЭГ-сигнал со шлема, ментальные команды и назначать на них определенные действия (например, посылать управляющий сигнал на Bluetooth-устройство для движения автономного робота вперед, назад, влево и вправо).
Обучение ментальной команде заключается в записи состояния покоя и состояний, когда субъект представляет образ какого-либо действия, концентрируя мозговую активность в определенном участке мозга. Запись таких состояний занимает 8 секунд.
Качество распознавания команд разработчики такого оборудования обычно связывают с уровнем подготовки оператора в генерировании различных ментальных команд. В комплекте ПО поставляются специализированные игры - тренажеры для обучения и тренировки.
Проектирование когнитивного регулятора для управления автономным роботом
Обычно в качестве системы управления на объекте устанавливают регулятор, который в зависимости от ментальных команд оператора вырабатывает управляющее воздействие для исполнительных механизмов. В качестве такого регулятора может выступать, например, простой релейный регулятор, где для конечного множества выходных команд (вперед, назад, влево, вправо) вырабатываются одни и те же управляющие воздействия.
В данной работе испытывались пропорциональный регулятор, пропорционально-интегральный (ПИ) регулятор с блоком нечеткого вывода, пропорционально-интегральный дифференцирующий (ПИД) регулятор с различными коэффициентами усиления.
Для проведения эксперимента был выбран объект управления - мобильный робот в виде трехколесной машинки с Bluetooth-управлением (рис. 2).
В устройстве управления в качестве процессора для управления используется Arduino Uno совместно с драйвером двигателя - Pololu Dual MC33926. Два Мотора - DC 9V Motor. Bluetooth-
Рис. 1. Структура технологии проектирования когнитивной системы управления
Fig. 1. The structure of a cognitive control system design technology
Микроконтроллер Arduino
Моторы
BlueTooth-приемник
Источник питания
Рис. 2. Устройство управления Fig. 2. A control device
модуль - HC-05. Источником питания служат три 3V Li-On-батареи.
Руководствуясь принципом неразрушения нижнего исполнительного уровня управления (рис. 1), применение интеллектуальной надстройки в виде ОБЗ основано на извлечении сигналов обучения из сигналов траектории управления оператором. Так, в процессе управления роботом на основе заданного типа регулятора регистрируются траектории движения (рис. 3). Из выходного сигнала блока распознавания путем сложения формируется интегральная составляющая, далее эксперт выбирает соответствующее управляющее воздействие на основе предыдущего опыта использования системы.
Для аппроксимации обучающего сигнала с целью извлечения знаний применялся разработанный ОБЗ с выбранной моделью нечеткого вывода (Су-гено 1-го порядка). В частности, использовались сигнал с блока распознавания сигнала EPOC, а также интегральная величина сигнала и идентификационный номер требуемой команды.
На следующем этапе проектирования БЗ для нечеткого вывода в автоматическом режиме формируется полная БЗ и осуществляется дальнейшая оптимизация правых частей правил (рис. 4 и 5).
На этапе создания БЗ полученный обучающий сигнал используется для формирования лингвистических переменных для входных значений. В данной работе количество нечетких множеств в каждой лингвистической переменной было ограничено до трех.
Другими словами, на вход в нейронную сеть поступают команды от программного модуля распознавания сигнала ЕРОС (вперед, назад, влево и вправо), на выход поступают значения для команды движения устройства, установленные экспертом (рис. 4).
Применение БЗ совместно с ПИ-регулятором обусловлено необходимостью формирования более мягкой структуры для управления. С этой целью создавались лингвистические переменные (ЛП) для каждой из записанных команд в системе распознавания, формировалась полная БЗ с использованием нечетких множеств ЛП (рис. 6). Правая часть регулятора содержала соответствующие значения для управляющего воздействия с применением ПИ-регулятора. Таким образом, уровень активации правила в базе правил соответствовал уровню активации управляющего воздействия.
На рисунке 7 приведен результат когнитивного управления движением мобильного робота в лабиринте на основе ПИ-регулятора.
В работе рассматривались следующие регуляторы для управления роботом: П-, ПИ-, ПИД-регу-ляторы с постоянными и переменными коэффициентами.
На рисунке 8 представлены выходные команды систем управления для управления роботом. На графике зеленым цветом показан целевой сигнал,
и
Г1
çnnn nnnn 15000 2 0000 00 35000 400
Ряд1
Ряд2
Рис. 3. Обучающий сигнал Fig. 3. A training signal
Рис. 4. Нейронная сеть нечеткого вывода Fig. 4. A fuzzy inference neural network
Рис. 5. Структурная схема формирования правила в БЗ
Fig. 5. A block diagram for knowledge base rule formation
который соответствует движению вперед и назад, другими цветами выделены уровни активации П- (на рисунке Ерос) и ПИ-регулятора с БЗ.
Как видно из графика на рисунке 8, в момент, когда задача оператора - движение машинки назад, и происходит концентрация мыслительного процесса на этой команде, стандартный блок не всегда правильно определяет управляющее воздействие и робот движется рывками или даже в другую сто-
рону (ложное срабатывание). Однако дополнительная надстройка в виде интегральной составляющей в БЗ позволяет сгладить последовательность команд и уменьшить количество ошибок при достижении цели.
При работе системы распознавания когнитивных сигналов часто возникают неверные (ложные) срабатывания, вызванные артефактами мышечной и мыслительной активности, или команды недостаточно хорошо распознаются в связи с уровнем подготовки оператора. На пропорциональный регулятор это оказывает серьезное воздействие, и работа системы вызывает трудности при эксплуатации.
Дополнительно была рассмотрена задача объезда препятствия с использованием системы управления с ПИД-регулятором и интегрированной БЗ (рис. 9).
Как можно заметить, повышение интеллектуальности ПО влияет на выработку эффективного управляющего воздействия регулятором и на работу системы в целом. Однако установление оптимальных значений коэффициентов для каждого момента времени является актуальной и очень важной задачей. При неверной (ложной) установке значений также наблюдается неверное срабатывание, объект управления движется рывками.
Заключение
Результаты показали, что качество управления объектом значительно повышается при применении разработанной схемы управления. Проведенная работа демонстрирует необходимость создания унифицированной технологии проектирования систем управления для нейроинтерфейсов и недостаточность робастности функционирования поставляемого в настоящее время ПО.
Стоит отметить, что дальнейшее развитие когнитивных технологий управления неразрывно связано с методами регистрации и интерпретации ЭЭГ мозга оператора с применением специализированных фильтров, сглаживающих сигналы ЭЭГ и удаляющих помехи и шумы (артефактов), вызванные психофизиологическим состоянием и внешними факторами, и с применением интеллектуальных технологий в ПО исполнительных механизмов для обучения и адаптации систем управления с оператором в контуре управления.
Литература
1. Петров Б.Н., Уланов Г.М., Ульянов С.В., Хазен Э.М. Информационно-семантические проблемы в процессах управления и организации. М.: Наука, 19??. 452 с.
2. Po-Lei Lee, Hsiang-Chih Chang, Tsung-Yu Hsieh, Hua-Ting Deng, and Chia-Wei Sun. A brain-wave-actuated small robot car using ensemble empirical mode decomposition-based approach. IEEE Transactions on Systems, Man, and Cybernetics. Part a: Systems and Humans, 2012, vol. 42, no. 5, pp. 1053-1064.
3. Becedas J. Brain-machine interfaces: basis and advances. IEEE Transactions on Systems, Man, and Cybernetics. Part a: Systems and Humans, 2012, vol. 42, no. 6, pp. 825-836.
4. Miyawaki Y., Uchida H., Yamashita O., Sato M., Mori-
Рис. 6. Пример лингвистической переменной для команды «вперед»
Fig. 6. An example of the linguistic variable for the command "forward"
Рис. 7. Траектория движения при управлении мобильным роботом на основе ПИ-регулятора
Fig. 7. A motion trajectory when controlling a mobile robot based on a PI-regulator
0,5
7
EpOC
Рис. 8. Управляющие воздействия, вырабатываемые релейным и ПИ-регулятором при движении вперед и назад
Fig. 8. Controlling actions produced by a relay regulator and a PI-regulator when moving forward and backward
Рис. 9. Объезд препятствия системой управления с ПИД-регулятором
Fig. 9. Obstacle avoidance by a PID-regulator control system
1
о
0.5
to Y., Tanabe H., Sadato N., and Y. Kamitani. Visual image reconstruction from human brain activity using a combination of mul-tiscale local image decoders. Neuron, 2008, vol. 5, no. 60, pp. 915-929.
5. Jaime Gomez-Gil, San-Jose-Gonzalez, Luis Fernando Nicolas-Alonso, Sergio Alonso-Garcia. Steering a tractor by means of an emg-based human-machine interface. Sensors, 2011, no. 11, pp. 7110-7126. DOI: 10.3390/s110707110.
6. Kane M.J., Conway A.R.A., Miur T.K. & Colflesh G.J.H. Working memory, attention control, and the N-back task: a question of construct validity. Jour. of Experimental Psychology: Learning, Memory, and Cognition, 2007, no. 33, pp. 615-622.
7. Anguera J.A. et all. Video game training enhances cognitive control in older adults. Nature, 2013, vol. 501, pp. 97-101.
8. Ульянов С.В., Литвинцева Л.В., Добрынин В.Н., Мишин А.А. Интеллектуальное робастное управление: технологии
мягких вычислений. М.: Изд-во ВНИИгеосистем, 2011. 406 с.
9. Barker A.T., Jalinous R., Freeston I.L. Non-invasive magnetic stimulation of human motor cortex. Lancet, 1985, vol. 11, pp. 1106-1107.
10. Бархатова И.А., Соколов И.А., Шмыков Г.Ю., Ульянов С.В. Интеллектуальные самоорганизующиеся когнитивные регуляторы. Ч. 2: Модели когнитивных интерфейсов «мозг-устройство» // Системный анализ в науке и образовании. 2015. № 1. URL: http:/www.sanse.ru/archive/32 (дата обращения: 23.05.2017).
11. Бархатова И.А., Ульянов С.В. Интеллектуальные самоорганизующиеся когнитивные регуляторы. Ч. 3: Информационно-термодинамический закон распределения качества и обобщенная структура интеллектуального когнитивного управления // Системный анализ в науке и образовании. 2015. N° 1. URL: http:/www.sanse.ru/archive/32 (дата обращения: 23.05.2017).
Software & Systems Received 29.05.17
DOI: 10.15827/0236-235X.030.3.420-424 2017, vol. 30, no. 3, pp. 420-424
ffYBRro COGNITIVE FUZZY CONTROL SYSTEMS FOR AN AUTONOMOUS ROBOT BASED ON NEUROINTERFACE AND SOFT COMPUTING
S. V. Ulyanov 1, Dr.Sc. (Physics and Mathematics), Professor, [email protected] A.G. Reshetnikov 1, Ph.D. (Engineering), Associate Professor, [email protected] A.A. Mamaeva l, Postgraduate Student, [email protected]
1 Dubna State University, Institute of the System Analysis and Control, Universitetskaya St. 19, Dubna, 141980, Russian Federation
Abstract. The article discusses the possibility of applying neurointerface together with different types of regulators via the typical example of controlling an autonomous vehicle. There is an assessment of application possibilities of intelligent computing methods and means to improve the control system performance reliability.
The aim of this work is to show experimentally the possibilities of cognitive interface effective application ("brain-computer-actuating device") on the example of motor vehicle driving (a mobile robot). The paper also reveals modern management technologies application and shows the role and the necessity of intelligent computing in the operating "brain-computer" interface in order to improve the reliability and robustness of the control system.
In particular, the paper considers the possibility of controlling the movement of the object (forward, backward, left, right, bypass obstacles) with the help of a cognitive helmet using a standard command recognition block and different types of control systems, including knowledge base optimizer based on soft computing.
Keywords: cognitive control system, cognitive control, neurointerface, intelligent computing, intelligent control system.
References
1. Petrov B.N., Ulanov G.M., Ulyanov S.V., Khazen E.M. Informatsionno-semanticheskieproblemy vprotsessakh upravleniya i organizatsii [Information and semantic problems in management and organization processes]. Moscow, Nauka Publ., 1977, 452 p.
2. Lee Po-Lei, Chang Hsiang-Chih, Hsieh Tsung-Yu, Deng Hua-Ting, Sun Chia-Wei. A Brain-Wave-Actuated Small Robot Car Using Ensemble Empirical Mode Decomposition-Based Approach. IEEE Trans. on Systems, Man, and Cybernetics. Part a: Systems and Humans. 2012, vol. 42, no. 5, pp. 1053-1064.
3. Becedas J. Brain-Machine Interfaces: Basis and Advances. IEEE Trans. on Systems, Man, and Cybernetics. Part a: Systems and Humans. 2012, vol. 42, no. 6, pp. 825-836.
4. Miyawaki Y., Uchida H., Yamashita O., Sato M., Morito Y., Tanabe H., Sadato N., Kamitani Y. Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders. Neuron. 2008, vol. 5, no. 60, pp. 915-929.
5. Jaime Gomez-Gil, San-Jose-Gonzalez, Nicolas-Alonso L.F., Alonso-Garcia S. Steering a Tractor by Means of an EMG-Based Human-Machine Interface. Sensors. 2011, no. 11, pp. 7110-7126.
6. Kane M.J. Working Memory, Attention Control, and the N-Back Task: A Question of Construct Validity. Jour. of Experimental Psychology: Learning, Memory, and Cognition. 2007, no. 33, pp. 615-622.
7. Anguera J.A., Boccanfuso J., Rintoul J.L., Al-Hashimi O., Faraji F., Janowich J., Kong E., Larraburo Y., Rolle C., Johnston E., Gazzaley A. Video game training enhances cognitive control in older adults. Nature. 2013, vol. 501, pp. 97-101.
8. Ulyanov S.V., Litvintseva L.V., Dobrynin V.N., Mishin A.A. Intellektualnoe robastnoe upravlenie: tekhnologii myagkikh vychisleny [Intelligent robust control: soft computing technology]. Moscow, Vniigeosystem Publ., 2011.
9. Barker A.T., Jalinous R, Freeston I.L. Non-invasive magnetic stimulation of human motor cortex. Lancet. 1985, vol. 11, pp. 1106-1107.
10. Barkhatova I.A., Sokolov I. A. Shmykov G.U., Ulyanov S.V. Intelligent Self-Organizing Cognitive Controllers. Pt. 2: Cognitive Brain Machine Interface Models. Sistemny analiz v nauke i obrazovanii [System Analysis in Science and Education]. 2015, no. 1. Available at: http:/www.sanse.ru/archive/32 (accessed May, 23, 2017).
11. Barchatova I.A., Ulyanov S.V. Intelligent Self-Organized Cognitive Controllers. Pt. 3: Information-Thermodynamics Quality Distribution Law And Generalized Structure Of Intelligent Cognitive Control. Sistemny analiz v nauke i obrazovanii [System Analysis in Science and Education]. 2015, no. 1. Available at: http:/www.sanse.ru/archive/32 (accessed May, 23, 2017).
