CC BY
24УДК 612.743, 612.817.2
РАСПОЗНАВАНИЕ МИМИЧЕСКИХ ЖЕСТОВ НА ОСНОВЕ АНАЛИЗА ЭЛЕКТРОМИОГРАФИЧЕСКОГО СИГНАЛА
Статья поступила в редакцию 20.10.2015, в окончательном варианте 21.02.2016.
Старченко Ирина Борисовна, доктор технических наук, профессор, Южный федеральный университет, 347922, Российская Федерация, г. Таганрог, ул. Шевченко, 2, e-mail: star@fep.tti.sfedu.ru
Будко Раиса Юрьевна, аспирант, Южный федеральный университет, 347922, Российская Федерация, г. Таганрог, ул. Шевченко, 2, e-mail: raisa-budko@yandex.ru
Представлены результаты эксперимента по распознаванию мимических жестов с помощью обработки поверхностной мимической электромиограммы (ЭМГ) на основе алгоритма радиальной базисной функции нейронной сети (НС). Для обучения НС предложено использовать характеристики ЭМГ-сигнала во временной области, полученные методом неперекрывающихся окон. Были записаны мимические ЭМГ с группы испытуемых. В рамках предварительной обработки сигнала использованы процедуры, обеспечившие снижение уровня шума, фильтрации, сглаживания, сегментации, понижения размерности, выделения признаков. Изучена и сравнена эффективность использования в качестве входной информации для обучения НС девяти признаков ЭМГ, извлеченных как функции времени: интегральная ЭМГ; среднее арифметическое; среднее значение модуля; конечные разности; сумма элементарных площадей; дисперсия; среднеквадратичное отклонение; длина сигнала; максимальное пиковое значение. Оценка эффективности использования этих признаков проводилась по двум параметрам, наиболее важным для использования в приложениях в режиме реального времени: производительность НС и время обучения. Лучший результат по производительности НС получен для признака «Максимальные пиковые значения ЭМГ» (точность распознавания 93,4 % в среднем для всех испытуемых) при высокой скорости обучения (0,25 с). Проведено сравнение результатов для предложенного алгоритма с методом опорных векторов и многослойным персептроном НС. Доказана более высокая производительность алгоритма радиальной базисной функции. Полученный алгоритм и НС на его основе может использоваться в задачах построения интерфейсов человек-машина в режиме реального времени (например, для управления инвалидным креслом).
Ключевые слова: элекгромиограмма, мимические движения, распознавание, обработка сигнала, искусственные нейронные сети, извлечение признаков, радиальная базисная функция нейронной сети
FACIAL GESTURE RECOGNITION BY ELECTROMYOGRAPHY'S SIGNAL
Starchenko Irina В., D.Sc. (Engineering), Professor, Southern Federal University, 2 Shevchenko St., Taganrog, 347922, Russian Federation, e-mail:star@fep.tti.sfedu.ru
Budko Raisa Yu., student, Southern Federal University, 2 Shevchenko St., Taganrog, 347922, Russian Federation, e-mail: raisa-budko@yandex.ru
The article presents the results of an experiment on the facial muscles electromyographic signal processing (EMG), based on an algorithm of radial basis function neural networks (NN). For the training of the NN proposed to use the EMG signal characteristics in the time domain obtained by the non-overlapping windows. Facial EMG was recorded with a group of subjects. As part of the pre-processing of the signal used in the procedure which provided noise reduction, filtering, smoothing, segmentation, dimension reduction, feature extraction. Study and compare the efficiency of use as input for training NN nine signs EMG learned as a function of time: the integrated EMG; average; the average unit value; finite difference; the sum of elementary areas; dispersion; standard deviation; signal length; the maximum peak value. Evaluating the effectiveness of the use of these signs it was carried out on two most important parameters to be used in applications in real-time: NN performance and training time. Best performance for NN result was obtained for the characteristic «Maximum Peak EMG» (recognition accuracy of 93,4 % on average for all subjects) at high speed training (0,25 seconds). A comparison of results of the proposed algorithm with the method of support vector machines and multilayer perceptions NN. Proven high performance algorithm, radial basis function. The resulting algorithm and neural network based on it can be used in problems of constructing man-machine interface in real time (for example, to control the wheelchair).
Keywords: electromyography, facial movements, recognition, signal processing, artificial neural networks, feature extraction, radial basis function of neural network
Введение. Распознавание мимических жестов человека (МЖЧ) может иметь важное значение для клинико-диагностических целей (в т.ч. в неврологии); оценки результатов, достигнутых при использовании терапевтических методов лечения, нейрохирургических операций; при бесконтактном управлении различными устройствами, в т.ч. инвалидными колясками, протезами конечностей и пр. Несмотря на то, что по данной тематике имеется ряд публикаций [1, 8, 9, 12,], некоторые направления
остаются раскрытыми недостаточно полно. Поэтому целью данной работы явлется анализ одного из таких направлений, оценка возможностей распознавания мимических жестов на основе исследования характеристик лицевого электромиографического (ЭМГ) сигнала с учетом времени работы алгоритмов и рисков получения ошибочных результатов [2].
Обоснование использованного подхода. Распознавание МЖЧ путем анализа серии визуальных изображений хотя и возможно, но требует создания / использования достаточно сложного программного обеспечения [3]. Поэтому в данной статье выбрано направление, связанное с использованием ЭМГ. По данным предыдущих исследований лицевых ЭМГ [1, 10], было выявлено наличие существенных ограничений в отношении возможностей их анализа спектральными методами. Такие алгоритмы из-за сходства частотных составляющих лицевой ЭМГ между собой при различных видах мимических движений не могут быть применены для их дифференциации. В то же время признаки для временной области (или линейные методы) благодаря их вычислительной простоте достаточно распространены при распознавании ЭМГ [11]. Согласно опубликованным результатам исследований по распознаванию МЖЧ на основе ЭМГ, к настоящему времени были исследованы лишь некоторые из методов временной обработки сигналов [7, 17].
Существуют разные методы для выделения признаков во временной области, в т.ч. и относящиеся к фрактальному анализу. Выделение признаков - важный шаг в процессе обработки ЭМГ. Он непосредственно влияет на конечную производительность автоматических систем распознавания МЖЧ. Результаты их работы могут быть использованы для управления.
Для получения наиболее релевантных результатов извлекаемый признак должен содержать достаточное количество информации, представляющей значимые свойства сигнала. Однако в то же время признак должен быть достаточно простым в отношении скорости проведения вычислений и классификации. Итак, выбираемые признаки должны удовлетворять следующим условиям: давать возможность извлекать характерные параметры лицевой ЭМГ; иметь низкую вычислительную сложность (стоимость) - для обеспечения возможности использования в системах в режиме реального времени. Для выполнения этих условий исходный сигнал сегментировался неперекрывающимися окнами длиной 25 мс [13].
Авторы предлагают использование в качестве признаков девяти величин (параметров) во временной области, измеренных как функции времени: (1) интегральная ЭМГ; (2) среднее арифметическое; (3) среднее значение модуля; (4) конечные разности; (5) сумма элементарных площадей; (6) дисперсия; (7) среднеквадратичное отклонение; (8) длина сигнала; (9) максимальное пиковое значение ЭМГ.
Опишем эти признаки подробнее.
1. Интегральная (или комплексная) ЭМГ (IEMG, ИЭМГ) определяется как сумма абсолютных значений амплитуды сегментов ЭМГ сигнала. Как правило, ИЭМГ используется в качестве признака для обнаружения точки начала активности мышцы. Рассчитывается как:
N
1ЕМОк=^Ы> (1)
1=1
где N - число отсчетов в сегменте; х, - отображает мгновенную амплитуду ЭМГ-сигнала для /-ой точки отсчета в к-ом сегменте.
2. Среднее арифметическое (MV) используется с данными временных рядов для сглаживания кратковременных колебаний и выделения основных тенденций или циклов [6]. Рассчитывается по
MVk=( l/N)j^xr (2)
i=i
3. Среднее значение модуля (MA V) сходно со средневыпрямленным значением (средним значением модуля сигнала). Оценивается на основе среднего значения абсолютной величины сигнала ЭМГ. Это простой способ для обнаружения степени сокращения мышц. Определяется по
M4J/ =(1/Л0|>,.|- (3)
1=1
4. Среднее абсолютное значение наклона кривой (конечные разности) (MAVS) - модификация признака «3». MAVS определяет различия между средним значением модуля соседних сегментов. Вычисляется по
MAVSk=MAVk+l-MAVk. (4)
5. Суммирование элементарных площадей (SSI). Имеет смысл энергии сигнала. Определяется как:
N
i=i
6. Дисперсия сигнала (IHR) имеет смысл мощности сигнала. Вычисляется по
7. Среднеквадратичное отклонение (STD) используется при обработке ЭМГ, представляющей собой регистрацию постоянного мышечного усилия [6]. Вычисляется по
(1/Л01>,2 • (7)
/=1
Сравнение признаков «7» и «3» рассмотрено в [5, 6, 10]. Было экспериментально установлено, что использование в теоретическом и экспериментальном исследовании МА V равноценно или лучше, чем применение STD. Однако при измерении индекса мощности использование STD остается предпочтительным [9].
8. Длина сигнала (WL) относится к одному сегменту и связана с амплитудой, частотой и временем. Определяется по
A4
= (8)
1=1
9. Максимальное пиковое значение {ALAX) ЭМГ:
хк = шах|х, |. (9)
Приведенная совокупность признаков с точки зрения авторов обладает свойствами «необходимости и достаточности» в отношении задачи распознавания МЖЧ в контексте данного исследования.
Признаки 1-9 вычисляются на основе амплитуды сигнала лицевой поверхностной ЭМГ (т.е. регистрируемой не инвазивно, с поверхности кожи). Целью расчетов этих признаков было сравнение их информативности в отношении распознавания МЖЧ. По результатам предыдущих исследований известно об удачных реализациях классификаторов на основе нейронных сетей (НС) для классификации жестов по миоэлектрическим признакам [11-13, 19]. В данной статье для классификации мимической ЭМГ используется НС на основе радиальных базисных функций (РБФ). Ее основное преимущество - возможность обучения с помощью наборов данных в течение нескольких эпох, что позволяет выполнить обучение на поступающих образцах в режиме реального времени. Эта процедура очень быстрая по сравнению с традиционными НС (сети прямого распространения и др.), и для нее требуется сравнительно небольшое количество памяти [15]. Описываемый далее алгоритм ориентирован на оценку степени влияния каждого признака на производительность системы. Этот метод был предложен Сайконом Джаеном, и его робастность была проверена и подтверждена на различных наборах данных [16]. Структура рассматриваемой сети (рис. 1) имеет три слоя.
STDk =
Входной слой Смйснрытыж Выходной слой нейронов
Рис. 1. Структура нейронной сети на основе РБФ
Во входном слое для рисунка 1 количество нейронов равно количеству входных каналов ЭМГ (трем). Таким образом, использовались три взаимосвязанных временных ряда. Скрытый слой, где число нейронов не было определено заранее (так как они были сформированы в ходе процедуры обучения), был разделен на четыре суб-скрытых слоя (по количеству классов в «учебных данных»), В выходном слое число нейронов было равно количеству классов в наборе обучающих данных (четыре нейрона).
Экспериментальная часть и препроцессирование. Экспериментальная часть исследования была реализована при помощи следующего оборудования и программного обеспечения.
(1) Система БОС «Кинезис» - разработчик НМФ «Нейротех». регистрационное удостоверение № ФСР 2010/07176 от 29 марта 2010. (2) Программное обеспечение электронейромиографической системы «Синапсис» - разработчик НМФ Нейротех.
Последующая обработка и распознавание сигнала проводились при помощи следующего программного обеспечения: (3) программный пакет MATLAB, разработчик Tlie Math Works; программный пакет STATISTICA, разработчик компания StatSoft; программа Microsoft Office Excel, разработчик компания Microsoft.
Первый и третий канал электромиографа размещались на левой и правой височных мышцах (Temporaiis), второй канал размещался на лобной (Frontalis) мышце между бровями, как показано на рисунке 2.
Канал 2
Рис. 2. Позиции электродов и мышцы, участвующие в исследовании
Сигнал снимался в биполярном отведении (межэлектродное расстояние 2 см) с целью уменьшения шумовой составляющей. Электроды использовались поверхностные, диаметром 1 см, стандартные для ЭМГ исследований [4]. В проведении исследований участвовало десять психически и физически здоровых добровольцев в возрасте 19-26 лет (5 мужчин и 5 женщин). Перед записью данных все участники обучались мимическим движениям. Ввиду слабой амплитуды ЭМГ сигнала лицевых мышц, необходимо было выбрать движения, приводящие к достаточно интенсивным мышечным сокращениям, причем непосредственно активизирующие выбранные мышцы. Мимические жесты, рассматриваемые
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 1 (33) 2016 СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
в данном исследовании, были достаточно типичны для человека: (1) сжатие челюстей; (2) улыбка «до ушей»; (3) поднятие бровей; (4) сведение бровей. Из этих четырех МЖЧ «1» и «2» задействуют височные мышцы, «3» и «4» - лобную мышцу. При этом каждый из этих МЖЧ оказывает влияние на все три канала в виде артефактов движения, что также имеет значение при их распознавании.
Кожа перед наложением электродов очищалась с помощью спиртовых салфеток для удаления пыли, пота и продуктов деятельности сальных желез. Для получения сигнала с более высокой амплитудой, электроды размещались на активно сокращающейся части, брюшке мышцы [4, 7]. Участники выполняли каждый мимический жест 5 раз по 2 секунды (активный сигнал) с 5-ти секундным отдыхом между усилиями для устранения эффекта мышечной усталости. Запись и предварительная фильтрация сигнала производились с помощью программного обеспечения электронейромиографической системы «Синапсис». По результатам записи ЭМГ была получена база данных по всем участникам.
Так как в данном исследовании проводился анализ ЭМГ для выделения характеристик, позволяющих провести классификацию МЖЧ, то необходимо было исключить влияние помех на форму кривой. Для оценки полученных сигналов на предмет шумовой составляющей рассчитывался спектр для сигнала каждого канала по каждому участнику.
На рисунке 3 представлен график спектра мощности для одного из испытуемых по пробе «Сжатие челюсти». На частотах 50, 100, 150, 200, 250 видны «срезы», вследствие применения режек-торного фильтра. В остальном спектр мощности имеет тривиальный для ЭМГ вид. Частотный диапазон укладывается в интервал до 400 герц, что соответствует диапазону лицевой ЭМГ. Далее была проведена предварительная обработка сигнала для удаления выбросов и сглаживания данных.
;Спектр мощности для пробы "Сжатие челюстей" (по 3-м каналам соотвественно)
400 500 600
Частота, Гц
1000
■ к 10
L_ 1Q
ш
ч
г
м о.
,=г х 10
•ш^иХш-uJ
100
200
300
400 500 600
Частота, Гц
700
800
900
1000
ш 0
чг 2
3"
2 0.
100
200
300
400
500 Частоте.
ГЦ
600
700
800
900
1000
Рис. 3. Спектр мощности по пробе одного из испытуемых
В задачах классификации целесообразнее рассматривать не сами значения временного ряда, а выделять его наиболее существенные характеристики. Поэтому на подготовительном этапе отбора признаков отфильтрованные сигналы были сегментированы неперекрывающимися окнами длиной 25 мс [6].
Поскольку длина сигнала по каждому каналу равна 7000 мс. то в результате сегментации было получено 280 интервалов (7000 / 25 = 280). Для дальнейшего анализа по ним были рассчитаны описанные ранее 9 признаков. Таким образом, по каждому признаку была получена трехмерная (входы по трем каналам) вектор-функция, содержащая 1120 значений (для четырех мимических жестов).
На рисунке 4 представлены графики по результатам сегментирования и выделения признаков для одного из испытуемых.
Препроцессирование сигнала проводилось в пакете МАТЪАВ, создание и обучение нейронной сети - в пакете 8ТАТ18Т1СА. Были заданы входной вектор признаков, категориальная переменная цели, тип сети, функция ошибки, функция активации и функция выхода. Параметры НС: число скрытых нейронов - 21; алгоритм обучения - РБФ; функция ошибки - энтропия; функция активации - Гаус-сиан. Активация выхода: функция софтмакс. Эта функция активации, специально предназначена для классификационных сетей с кодированием по методу один-из-К Вычисляет нормированную экспоненту (т.е. сумма выходов равна единице). Используется для минимизации перекрестной энтропии. В сочетании с кросс-энтропийной функцией ошибок позволяет модифицировать НС для оценки вероятностей принадлежности классам [6].
.X 10
Максимальные абсолютные значения по сегментам (по трем каналам соотвественно)
<9 10
X 10
<9 ю
хЮ
280 555 840
Число сегментов (по числу окон усреднения, N)
1120
280 555 840
Число сегментов (по числу окон усреднения, N)
1120
280 555 840
Число сегментов (по числу окон усреднения, N)
1120
о
о 1
X 10
^ 0
5-1
о
о 1
X 10
^ 0
:> -1 < ,
о
о 1
X 10
^ 0
5-1
Средние значения по сегментам (по трем каналам соотвественно) ! ! ! Сжатие челюсти Улыбка Поднятие бровей Сведение бровей
280 555 840
Число сегментов (по числу окон усреднения, канал 1), N
1120
280 555 840
Число сегментов (по числу окон усреднения, канал 2), N
1120
280 555 840
Число сегментов (по числу окон усреднения, канал 3), N
Рис. 4. К созданию вектора признаков для параметров МАХ (первые три изображения) и МУ (последние три изображения)
Результаты распознавания мимических жестов по ЭМГ сигналам На рисунке 5 по одному из испытуемых представлены четыре матрицы для процедур обучения, валидации, тестирования и средний результат по всем процедурам. Зеленой заливкой отмечена главная диагональ матрицы. Она показывает случаи. когда выходные классы и категориальные (исходные) данные совпадают, правильная классификация.
Сумма значений диагональных элементов показывает общее количество правильно классифицированных значений по МЖЧ, а отношение этого количества к общему количеству значений в матрице входных значений N называется общей точностью классификации и обычно выражается в процентах.
Матрица ошибок обучения Матрица ошибок валидации
1 186 24.0% 6 0.8% 0 0.0% п 0.0% 96 9% 3.1% и и пз Е 1 45 26.9% 3 1.8% 0 0 0% 0 0 0% 93.8% 6.3%
и о го 2 0 0 0% 193 24.9% 0 0 0% 0 0 0% 100% 0.0% 2 0 0.0% 27 16.2% и 0.0% и 0.0% 100% 0.0%
л зс н 3 2 0.3% 1 0 1: % 190 24.5% 0 0.0% 98.4% 1.6% >5: л X н (И ■у и ПЗ а 3 0 0.0% 1 0.6% 52 31.1% п 0.0% 98.1% 1.9%
ш т и пЗ а 4 0 0.0% 0 0.0% 0 0.0% 198 25.5% 100% 0.0% 4 а 0.0% 0 0.0% и 0.0% 39 23.4% 100% 0.0%
98.9% 1.1% 96.5% 3.5% 100% 0.0% 100% 0.0% 98.8% 1.2% 100% 0 п% 87.1% 12.9% 100% 0.0% 100% 0 0% 97.6% 2.4%
12 3 4 12 3^4
Реальный класс Реальный класс
Матрица ошибок тестирования Матрица ошибок по трем тестам
1 43 25.7% 1 0.6% 0 0.0% 0 0 0% 97.7% 2.3% и о го 1 274 24.7% 10 0.9% 0 0.0% 0 0 0% 96.5% 3.5%
2 а 0.0% 46 27.5% 0 0.0% 0 0.0% 100% 0.0% 2 0 0.0% 266 24.0% 0 0.0% о 0 0% 100% 0.0%
3 1 0.6% 0 0.0% 35 21.0% 1 0.6% 94.6% 5.4% ж л х И" ш т о пз а 3 3 0.3% 2 0.2% 277 25.0% 1 0.1% 97.9% 2.1%
4 а 0.0% 0 0.0% 0 0.0% 40 24.0% 100% 0.0% 4 0 0.0% 0 0.0% 0 0.0% 277 25.0% 100% 0.0%
97.7% 2.3% 97.9% 2.1% 100% 0.0% 97.6% 2.4% 98.2% 1.8% 98.9% 1.1% 95.7% 4.3% 100% 0.0% 99.6% 0.4% 98.6% 1.4%
1 2 3 4 1 2 3 4
Реальный класс Реальный класс
Рис. 5. Матрицы ошибок для процедур обучения, валидации, тестирования и средний результат
по всем трем процедурам
Для оценки точности определенного расчетного класса, необходимо разделить количество правильно классифицированных случаев этого класса на общее количество случаев в этом классе согласно проверочным данным. Этот показатель также называют «точностью производителя», так как он показывает, насколько хорошо результат классификации для этого класса совпадает с проверочными данными. На рисунке 5 этот показатель представлен ячейками с серой заливкой в дополнительной колонке по отношению к матрице 4x4.
Похожий показатель может быть вычислен и для реального класса, если разделить количество правильно классифицированных случаев класса на общее количество случаев в этом классе со-
гласно проверяемым данным. Этот показатель называют «точностью пользователя», так как он показывает пользователю классификации насколько вероятно, что данный класс совпадает с результатами классификации. На рисунке 5 этот показатель представлен ячейками с серой заливкой в дополнительной строке под матрицей размером 4x4.
Выделенные красным цветом внедиагональные элементы на рисунке 5 показывают случаи несовпадения между расчетными и реальными классами (ошибки классификации). В ячейках с голубой заливкой приведены средние результаты по всей выборке.
Оценка эффективности признаков при классификации МЖЧ. Ниже оценена эффективность различных функций-признаков для распознавания МЖЧ с помощью алгоритма РБФ НС. Из таблицы 1 видно, что наиболее высокая точность классификации была получена с помощью следующих признаков: MAV для жеста «Сжатие челюсти»; STD для жеста «Улыбка»; IEMG для жеста «Поднятие бровей»; МАХ для жеста «Сведение бровей». Кроме того, первый жест оказался наиболее различимым МЖЧ, так как он был классифицирован с высокой точностью по семью признакам. В то же время точность обнаружения остальных жестов зависит от выбранного признака. Кроме того, видно, что МАХ показал самую высокую точность для всех жестов, по сравнению с другими признаками. Таким образом, его можно рекомендовать в качестве наиболее чувствительного (информативного) признака для распознавания МЖЧ. Признак MV, наоборот, показал недостаточную эффективность, что связано с наименьшей точностью распознавания трех жестов: 1-го, 3-го и 4-го.
Таблица 1
Точность распознавания, достигнутая с использованием различных признаков __по каждому участнику (%)__
____ Жест Сжатие челюстей Улыбка Поднятие бровей Сведение бровей
Интегральная ЭМГ 91 85 96 80
Среднее арифметическое 69 94 29 22
Среднее значение модуля 100 84 82 94
Конечные разности 77 36 70 40
Суммирование элементарных площадей 94 94 80 90
Дисперсия 94 84 85 93
Среднеквадратичное отклонение 93 98 77 88
Длина сигнала 85 54 67 72
Максимальное пиковое значение 95 91 92 95
Максимум 100 98 96 95
Минимум 69 36 29 22
Из таблицы 1 также видно, что чувствительность в классификации определенного МЖЧ для одного и того же признака изменяется. Это может быть вызвано различными причинами, например, различиями роли мышц в формировании конкретного жеста; величиной амплитуды ЭМГ-сигнала, которая зависит от количества двигательных единиц (мышечные волокна + двигательные нейроны); потенциалом действия в результате различных мышечных движений и другими факторами [18, 19].
Оценка эффективности использования алгоритма РБФ. Следующий эксперимент оценивал надежность РБФ по сравнению с методом опорных векторов (линейный классификатор) и алгоритмом многослойного персептрона НС (МНПС). На рисунке 6 показана точность распознавания, достигаемая с применением этих классификаторов в сравнении с использованием признаков MAV, VAR, STD, IEMG, SSI, и МАХ. Видно, что алгоритм РБФ показал более высокую точность распознавания при использовании в качестве входных аргументов перечисленных выше 6-ти признаков. Кроме того, все алгоритмы показали почти аналогичную точность при классификации с использованием признака VAR. Алгоритм многослойного персептрона НС достиг самого высокого уровня точности (96 %) при классификации по признаку МАХ.
Далее была исследована вычислительная нагрузка, создаваемая этими классификаторами на этапе обучения (рис.7). Для этого использовалась ПЭВМ с процессором Intel(R) Core(TM) i3-3217U CPU, работающим на частоте 1,8 ГГц. Сравнивая эти результаты, можно сделать вывод, что для МПНС требуется слишком много времени на обучение сети, минимум 13 секунд для обучения по признаку IEMG. Как и ожидалось, алгоритм РБФ потребляет наименьшие вычислительные ресурсы: максимальное время равно всего 0,105 секунды - для обучения по признаку VAR.
100
97,5 95 92,5 90 87,5 85 82,5 80 77,5 75
♦ Радиальная базисная функция —■— Многослойный персептрон нейронной сети А Метод опорных векторов
/.Л V. ^
V" \ \ —'^ч—
Л Ь и О X У
,о
1ЕМ6
МАХ
МАУ Б51
Признаки
БТО
УАК
Рис. 6. Сравнение показателей для классификаторов на основе трех разных алгоритмов в отношении точности распознавания для 6-ти признаков
Рис. 7. Сравнение классификаторов на основе трех разных алгоритмов по времени обучения
для 6-ти входных признаков
Целью последующего исследования было выявление признака и алгоритма обучения НС, которые смогут обеспечить высокую производительность с учетом рационального компромисса между точностью и затратами времени. Хотя алгоритм МПНС показал точность 94,1 % с использованием МАХ, все же он не может быть расценен как лучший способ, потому что время, затрачиваемое на обучение, было значительно выше - около 4 секунд.
Выводы. 1. Доказана эффективность использования характеристик ЭМГ-сигнала во временной области для распознавания МЖЧ;
2. Показана рациональность использования НС на основе радиальных базисных функций в качестве классификатора МЖЧ;
3. Из исследуемых девяти признаков самый эффективный в качестве входного вектора значений - признак МАХ, поскольку по нему достигнута точность 93,4 % (это немногим меньше точности 94,1 %, достигаемого алгоритмом МПНС) и необходимо всего 0,25 секунды для обучения НС.
Список литературы
1. Будко Р. Ю. Электромиография в исследовании челюстно-лицевых мышц / Будко Р. Ю. // IV Всероссийская молодежная школа-семинар «Инновации и перспективы медицинских информационных систем». Тезисы трудов молодежной школы-семинара. - Ростов-на-Дону : Южный федеральный университет, 2014. - С. 70-73.
2. Брумштейн Ю. М. Анализ моделей и методов выбора оптимальных совокупностей решений для задач планирования в условиях ресурсных ограничений и рисков / Ю. М. Брумштейн, Д. А. Тарков, И. А. Дюдиков // Прикаспийский журнал: управление и высокие технологии. - 2013. - № 3. - С. 169-180.
3. Зунг Н. Т. Распознавание объектов в системе технического зрения мобильного робота: использование библиотеки FLANN и алгоритма SURF / Н. Т. Зунг, И. А. Щербатов // Прикаспийский журнал: управление и высокие технологии. - 2014. - № 4. - С. 65-76.
4. Коуэн X. JI. Руководство по электромиографии и электродиагностике : пер. с англ. / X. JI. Коуэн, Дж. Брумлик. - Москва : Медицина. 2005. - С. 173-174.
5. Лучинин А. В. Анализ и выявление медленно-волновых компонентов фотоплетизмограммы и построение функции регрессии / А. В. Лучинин, И. Б. Старченко, А. А. Резниченко // Известия Южного федерального университета. Технические науки. - 2014. - № 10. - С. 114-120.
6. Реброва О. Ю. Статистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA / под ред. О. Ю. Ребровой. -Москва : МедиаСфера, 2006. - С. 167-195.
7. Рудный Н. Е. Анализ моделей элекгромиограммы в задаче управления биоэлектрическим протезом предплечья / Н. Е. Рудный, А. А. Догадов, М. В. Маркова, А. Е. Маслов // Молодежный научно-технический вестник. -2014. -№ 11. - С. 67.
8. Castro М. Selection of suitable hand gestures for reliable myoelectric human computer interface / M. Castro, S. P. Arjunan, D. K. Kumar // BioMedical Engineering Online. - 9 April 2015. - Available at: http://www. biomedical-engineering-online. com/ content/14/1/30.
9. Clancy E. A. Sampling, Noise-reduction and Amplitude Estimation Issues in Surface Electromyography / E. A. Clancy, E. L. Morin, R. Merletti // Journal of Electromyography and Kinesiology. - 2002. - Vol. 12. - P. 11-16.
10.Englehart K. A robust, real-time control scheme for multifunction myoelectric control / K. Englehart, B. Hudgins // IEEE Translocation Biomedical Engineering. - 2003. - Vol. 50. - P. 848-854.
11. Hamedi M. SEMG based Facial Expression Recognition in Bipolar configuration / M. Hamedi, H. S. Sheikh, T. S. Tan, A. Kamarul // Journal of Computational Science. - 2011. - № 7 (9). - P. 1407-1415.
12. Kumaragamage Ch. L. Development of an ultra low noise, miniature signal conditioning device for vestibular evoked response recordings / Ch. L. Kumaragamage, B. J. Lithgow, Z. Moussavi // BioMedical Engineering Online. -27 January 2014. - Available at: http://www.biomedical-engineering-online.eom/content/13/l/6.
13.Li H. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients / H. Li, G. Zhao, Y. Zhou, X. Chen, Zh. Ji, L. Wang // BioMedical Engineering OnLine. - 27 January 2014. - Available at: http://www.biomedical-engineering-online.com/ content/13/1/5.
14.Mitsuhiro H. Voluntary EMG-to-force estimation with a multi-scale physiological muscle model / H. Mi-tsuhiro, D. Guiraud // BioMedical Engineering OnLine. - 4 September 2013. - Available at: http://www.biomedical-engineering-online. com/ content/12/1/86.
15.Peng H. C. Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy / H. C. Peng, F. Long, C. Ding // IEEE Transactions on Pattern Analysis & Machine Intelligence. -2005. - Vol. 27. - P. 1226-1238.
16.Saichon J. A very fast neural learning for classification using only new incoming datum / J. Saichon, L. Chidchanok, P. Suphakant // IEEE Trans Neural Netw. - 2010. - № 21 (3). - P. 381-392.
17. Sawarkar К. G. Analysis and Inference of EMG Using FFT / K. G. Sawarkar // Proceeding of SPIT-IEEE Colloquium and International Conference. - 2007. - № 1. - P. 107.
18. Soares F. Motor unit action potential conduction velocity estimated from surface electromyographic signals using image processing techniques / F. Soares, J. Carvalho, C. Miosso, M. de Andrade, A. da Rocha // BioMedical Engineering Online. -2015. - Available at: http://www.biomedical-engineering-online.eom/content/14/l/84.
19. Trabuco M. S-EMG signal compression based on domain transformation and spectral shape dynamic bit allocation / M. Trabuco, M. V. Costa, F. de O. Nascimento // BioMedical Engineering Online. - 27 February 2014. -Available at: http://www.bi0medical-engineering-0nline.c0m/c0ntent/l3/1/22.
References
1. Budko R. Yu. Elektromiografiya v issledovanii chelyustno-litsevykh myshts [Electromyography study max-illo-facial muscles], IV Vserossiyskaya molodezhnaya shkola-seminar «Innovatsii i perspektivy meditsinskikh informat-sionnykh sistem». Tezisy trudov molodezhnoy shkoly-seminara [IV All-Russian Youth Workshop "Innovations and Prospects of Medical Information Systems". Proceedings of the Youth Workshop], Rostov-on-Don, Southern Federal University Publ. House, 2014, pp. 70-73.
2. Brumshteyn Yu. M., Tarkov D. A., Dyudikov I. A. Analiz modeley i metodov vybora optimalnykh so-vokupnostey resheniy dlya zadach planirovaniya v usloviyakh resursnykh ogranicheniy i riskov [The models and methods analysis of optimum choice for decisions sets in conditions of resources restrictions and risks]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Management and High Technologies], 2013, no. 3. pp. 169-180.
3. Zung N. Т., Shcherbatov I. A. Raspoznavanie obektov v sisteme tekhnicheskogo zreniya mobilnogo robota: ispolzovanie biblioteki FLANN i algoritma SURF/N [Object recognition in machine vision system of mobile robot: the using of library "FLANN" and algorithm "SURF"]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Management and High Technologies], 2014, no. 4, pp. 65-76.
4. Kouen X. L., Brumlik Dzh. Rukovodstvopo elektromiografii i elektrodiagnostike [Guide to an electromyography and electrodiagnostics], Moscow, Meditsina Publ., 2005, pp. 173-174.
5. Luchinin A. V., Starchenko I. В., Reznichenko A. A. Analiz i vyyavlenie medlenno-volnovykh komponen-tov fotopletizmogrammy i postroenie funktsii regressii [Analysis and identification slow and wave component pho-toplethysmogram and creation of function of regression], Izvestiya Yuzhnogo federalnogo universiteta. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2014, no. 10, pp. 114-120.
6. Rebrova O. Yu. Statisticheskiy analiz meditsinskikh dannykh. Primenenie paketa prikladnykh programm STATISTICA [Statistical analysis of medical data. Application of a package of the STATISTICA application programs], Moscow, MediaSfera Publ., 2006, pp. 167-195.
7. Rudnyy N. Ye, Dogadov A. A., Markova M. V., Maslov A. Ye. Analiz modeley elektromiogrammy v zad-ache upravleniya bioelektricheskim protezom predplechya [Analysis of EMG patterns in the problem of a bioelectric prosthesis of the forearm], Molodezhnyy nauchno-tekhnicheskiy vestnik [Youth Science and Technology Bulletin], 2014, no. 11, pp. 67.
8. Castro M., Arjunan S. P., Kumar D. K. Selection of suitable hand gestures for reliable myoelectric human computer interface. BioMedical Engineering OnLine, 9 April 2015. Available at: http://www.biomedical-engineering-online.com/content/14/1/30.
9. Clancy E. A., Morin E. L., Merletti R. Sampling, Noise-reduction and Amplitude Estimation Issues in Surface Electromyography. Journal of Electromyography and Kinesiology, 2002, vol. 12, pp. 11-16.
10.Englehart K., Hudgins B. A robust, real-time control scheme for multifunction myoelectric control. IEEE Translocation Biomedical Engineering, 2003, vol. 50, pp. 848-854.
11. Hamedi M., Sheikh H. S., Tan T. S., Kamarul A. SEMG based Facial Expression Recognition in Bipolar configuration. Journal of Computational Science, 2011, no. 7 (9), pp. 1407-1415.
12.Kumaragamage Ch. L., Lithgow B. J., Moussavi Z. Development of an ultra low noise, miniature signal conditioning device for vestibular evoked response recordings. BioMedical Engineering OnLine, 27 January 2014. Available at: http://www.biomedical-engineering-online.eom/content/13/l/6.
13. Li H., Zhao G., Zhou Y, Chen X., Ji Zh., Wang L. Relationship of EMG/SMG features and muscle strength level: an exploratory study on tibialis anterior muscles during plantar-flexion among hemiplegia patients. BioMedical Engineering OnLine, 27 January 2014. Available at: http://www.biomedical-engineering-online.com/ content/13/1/5.
14.Mitsuhiro H., Guiraud D. Voluntary EMG-to-force estimation with a multi-scale physiological muscle model. BioMedical Engineering OnLine, 4 September 2013. Available at: http://www.biomedical-engineering-online.com/ content/12/1/86.
15.Peng H. C., Long F., Ding C. Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, vol. 27, pp. 1226-1238.
16. Saichon J., Chidchanok L., Suphakant P. A very fast neural learning for classification using only new incoming datum. IEEE Trans Neural Netw, 2010, no. 21 (3), pp. 381-392.
17. Sawarkar K. G. Analysis and Inference of EMG Using FFT. Proceeding of SPIT-IEEE Colloquium and International Conference, 2007, no. l,pp. 107.
18. Soares F., Carvalho J., Miosso C., M. de Andrade, A. da Rocha. Motor unit action potential conduction velocity estimated from surface electromyographic signals using image processing techniques. BioMedical Engineering OnLine, 2015. Available at: http://www.biomedical-engineering-online.eom/content/14/l/84.
19.Trabuco M., Costa M. V., F. de O. Nascimento. S-EMG signal compression based on domain transformation and spectral shape dynamic bit allocation. BioMedical Engineering OnLine, 27 February 2014. Available at: http ://www. biomedical-engineering-online. com/ content/13/1/22.
УДК 004.021
КОМПЛЕКСНАЯ КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИННОВАЦИОННЫХ ИТ-ПРОЕКТОВ НА ОСНОВЕ НЕЧЕТКО-МНОЖЕСТВЕННЫХ ОПИСАНИЙ
Статья поступила в редакцию 17.02.2016, в окончательном варианте 10.03.2016
Чертина Елена Витальевна, аспирант, Астраханский государственный технический университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 16, e-mail: saprikinae_1912@mail.ru
Квятковская Ирина Юрьевна, доктор технических наук, профессор, Астраханский государственный технический университет, 414056, Российская Федерация, г. Астрахань, ул. Татищева, 16, e-mail: i.kvyatkovskaya@astu.org
Рассмотрен алгоритм комплексной количественной оценки ИТ-проектов, основанный на использовании методов теории нечетких множеств для преобразования трудноформализуемых суждений экспертов в количественную форму. Авторами представлена система критериев оценивания проекта в виде иерархической структуры, которая позволяет более детально исследовать взаимосвязи между элементами системы. Предложена методика определения весов влияния для критериев в пределах выделенных групп базовых критериев на основе использования метода парных сравнений. Анализ согласованности экспертных суждений предлагается проводить как на этапе построения матриц парных сравнений, так и на этапе получения экспертных оценок. Для разработанного алгоритма приведен расчетный пример применения экспертного и нечетко-множественного методов для определения интегральной количественной оценки проекта. Затем эта оценка «распознается» на лингвистической шкале инвестиционной привлекательности. Данная методика может быть использована венчурными фондами для анализа, оценки и отбора инновационных ИТ-проектов с целью их последующей реализации.
Ключевые слова: инновационный ИТ-проект, нечетко-множественное описание экспертных суждений, матрица парных сравнений, лингвистическая оценка критериев, оценка согласованности экспертных суждений, интегральный показатель оценки, уровень инвестиционной привлекательности ИТ-проекта
THE COMPLEX QUANTITATIVE ESTIMATION OF INNOVATIVE IT-PROJECTS BASED ON FUZZY-MULTIPLE DESCRIPTIONS
Chertina Elena V., post-graduate student Russia, 414056, Astrakhan State Technical University, 16 Tatishchev St., Astrakhan, 414056, Russian Federation, e-mail: saprikinae_1912@mail.ru
Kvyatkovskaya Irina Yu., D.Sc. (Engineering), Professor, Astrakhan State Technical University, 16 Tatishchev St., Astrakhan, 414056, Russian Federation, e-mail: i.kvyatkovskaya@astu.org
The complex quantitative estimation algorithm of the IT-project based on using theory methods of indistinct sets for transformation in experts' hardly formalized judgments to a quantitative form is considered. Authors have presented criteria system for project estimation in the form of hierarchical structure that allows considering in more detail interrelations between her elements. The technique defines the scales definition of influence for criteria within the allocated groups of basic criteria with using of method of pair comparisons. The coherence analysis of expert judgments is offered to be carried out as at a stage creation of pair's matrix comparisons, and at a stage of receiving expert estimates. For developed algorithm, the settlement example of expert application and indistinct and multiple methods for definition of an integrated quantitative assessment of the project is given. Then this assessment «is distinguished» on a linguistic scale of investment appeal. This technique can be used by venture funds for the analysis, an assessment and selection of innovative IT-projects with the purpose of their realization.
