CC BY
46
The rationale of ink penetration evaluation task into pores of printed materials is discussed using an analyze of different known solutions. The evaluate algorithm and the ma-thematic model of ink depth penetration evaluation from a nominal surface were developed as a function taking into account macro-geometrical and sto^astic micro-geometrical excursions. It allows predicting an ink distribution on a printed surface. Whatever a start point, statistical parameters can be defined by treatment results of a single realization - it is a feature of the study.
Key words: algorithm, nominal surface, surface microgeometry, ink distribution.
Trapeznikova Ol'ga Valer'evna, postgradute, ol-trapeznikovaayandex.ru, Russia, Omsk, Omsk State Technical University,
Varepo Larisa Grigor'evna, doctor of technical sciences. professor, larisavare-poayandex.ru, Russia, Omsk, Omsk State Technical University,
Kolozova Ol'ga Alekseevna, Senior lecturer, kolozovaoaarambler.ru, Russia, Omsk, Omsk State Technical University,
Nagornova Irina Viktorovna, candidate of technical sciences, head of laboratory, irine.nagornovaayandex. ru, Russia, Moscow, Moscow State University of Printing Art called after Ivan Fedorov
УДК 517.9
ГИБРИДНЫЙ МЕТОД ОТБОРА ИНФОРМАТИВНЫХ ПРИЗНАКОВ С ПРИВЛЕЧЕНИЕМ САМООРГАНИЗУЮЩИХСЯ НЕЙРОСЕТЕВЫХ КЛАССИФИКАТОВ
Е.Д. Лосева, Л.В. Липинский
В настоящее время, в связи с развитием технологий в сфере "человеко-машинной" коммуникации необходимо совершенствовать методы повышения качества распознавания психоэмоцианального состояния речи человека. Зачастую, извлекаемые акустические данные могут одержать избыточную информацию, различные шумы или помехи. Предложен альтернативный метод, основанный на применении многокритериального генетического программирования с привлечением нейросетевых классификаторов. Для тестирования предлагаемого подхода выбраны три базы данных, содержащие акустические характеристики на трех языках: английский, немецкий и русский. Результаты тестирования реализованного метода показали высокую эффективность.
Ключевые слова: Распознавание эмоций, нейронные сети, многокритериальное генетическое программирование, генетический алгоритм, отбор признаков, подмножество признаков.
Современные технологии позволяют достаточно эффективно использовать методы распознавания эмоционального состояния человека. В настоящее время существует несколько подходов для распознавания -это видео съемка, аудиозапись голоса и фотография лица человека [1].
Информация об эмоциональном состоянии человека актуальна во многих других областях. Статистическая оценка удовлетворенности клиентов и их заинтересованности в продуктах осуществляется на основе эмоционального состояния. Например, в Call - центрах можно обучить новых операторов корректному общению с клиентами. Речевой сигнал может служить в качестве ключа авторизации для доступа в системах. Это лишь некоторые примеры применения систем распознавания речи и эмоций [25]. Разработка приложений и сервисов приведет к развертыванию успешного взаимодействия в режиме "человек - машина".
Эмоция является одной из характеристик человека, отражающая его психоэмоциональное состояние. Переход от одного вида эмоции к другой может быть не выраженным, поэтому важным значением для эффективной работы речевых систем являются методы, повышающие точность распознавания (классификации) акустической информации. Звуковой сигнал состоит из множества характеристик: частота, высота, форманты и т.д. На сегодняшний день для извлечения акустической информации (признаков) существуют эффективные методы, но их работа существенно зависит от отбора признаков. Поэтому, совершенствование существующих или разработка новых методов предобработки акустических сигналах является актуальной задачей. Общая схема работы системы распознавания акустических сигналов представлена на рис. 1. Схема состоит из базы данных, а так же других блоков, которые описывают функции работы блоков системы.
Рис. 1. Общая схема системы распознавания акустических сигналов
В этой статье предложен и описан гибридный метод для отбора информативных признаков, основанный на кооперации метода "обертки" и метода "фильтра" [6]. Разработанный метод состоит из двух этапов. На первом этапе проводится предобработка данных. А на втором применяется самоорганизующийся многокритериальное генетическое программирование (ГП) с привлечением нейросетевых классификаторов. Так как эволюционные алгоритмы требуют настройки большого числа параметров авто-
237
рами была разработана и описана процедура самоорганизации генетического программирования, позволяющая выбирать наиболее эффективные настройки эволюционных операторов (ЭО) автоматически.
На первом этапе для предобработки данных применяется процедура PS (англ. Preprocessing with Sort). Оценка релевантных признаков осуществляется с помощью нескольких критериев: уровень вариации признака, расстояние между кластерами [7] и Оценка Лапласа [8]. На этом этапе оценка признаков осуществляется без привлечения классификаторов, а с помощью вычисления уровня плотности расположения классов, а также по статистической оценки имеющихся данных (процесс "без учителя"). Для отбора признаков в промежуточное подмножество необходимо выполнить следующие действия.
1. Вычислить значения пригодностей каждого признака из начального набора.
2. Вычислить среднее значение эффективности признаков
R F -
X XFitf
Value = F ■ rr=1f=1-, (1)
R
где K- количество классов; Fit f - функция пригодности r - ого признака.
3. Присвоить признаку значение "0" - неэффективный, если
R F R F .
X XFit} X XFitf
r=1 f=1-> Value или "1" - эффективный, если r=1 f=1-<= Value.
FF
4. Отбор признаков с рангом "1" в промежуточную популяцию. Для оценки эффективности признаков сформированы следующие
функции пригодности.
Первый критерий эффективности - уровень вариации признака. Функция пригодности
FitGAlr =—(2) 1 + 5 r 2
где 52- значение дисперсии r -го признака.
Второй критерий эффективности - оценка Лапласа. Для вычисления оценки Лапласа необходимо сделать следующие обозначения: p k - ко-
2
личество объекта в k -м классе, mk - математическое ожидание, 5k - дисперсия k -го класса при k = 1, K и r - текущий номер признака. Обозначим также m- матем ных. Оценка Лапласа
чим также ¡1 - математическое ожидание и 52 - дисперсия всей базы дан-
Lr =-, (3)
r 1 + Fr
где
* >2
ZPk(mk -mУ
Вторая функция пригодности
Fr = ^-— ■ (4)
Z Pk d k
k=1
FitGA? = Lr, (5)
На втором этапе применяется многокритериальный эволюционный алгоритм на основе ГП - MCGP (англ. Multi - criteria Genetic Programming) с использованием разработанной самоорганизующейся процедурой выбора наиболее эффективных ЭО. На втором этапе отбираются наиболее эффективные признаки из промежуточного набора, полученного на первом этапе. После того, как алгоритм MCGP завершает работу, найденный набор признаков является финальным.
В алгоритме MCGP используются модели нейронных сетей (НС) для отбора признаков. В качестве оценки релевантности используется точность, сложность НС, а также уровень парной корреляции признаков на входном слое НС. В этом подходе используются классификаторы для оценки качества признаков.
Для применения ГП необходимо представить НС в форме дерева. В [9] описаны основные понятия и принцип работы ГП. Дерево представляет собой направленный граф, состоящий из узлов и конечных вершин (листьев). В узлах - операторы, объединяющие нейроны в слой и слои в целую сеть. Эти объекты выбираются из функционального множества F {+; <}. В конечных вершинах представлены элементы нейросетевой модели - нейроны. Это объекты, выбранные из терминального множества T {входные блоки: In12, ...,Innm, нейроны (функции активации: F1, F2, ..., Fn)} [10]. В качестве входных нейронов в НС используется выбранное подмножество признаков из промежуточного набора. Оценка индивидов НС осуществляется по трем критериям. Функции пригодности индивидов НС вычисляется по формулам, представленным ниже.
Первый критерий качества - значение парной корреляции. Функция пригодности
FitGP^md = --1-, (6)
1 + measure
где measure - максимальное значение парной корреляции между входными нейронами в НС; ind - текущий индивид НС из популяции:
measure = max(corrt), (7)
где сощ - значение корреляции пары входных нейронов (х 9у) НС, где 1 = 1Д, Т - количество всех возможных пар входов НС; значение парной корреляции
м
;"=1 (8)
corrt
М t /2 ///=1
хо4-/)2
m=1 t
где m = 1,М, М- количество объектов в X
Второй критерий качества - точность классификации. Функция пригодности
FitGP 2 jnd (9)
где Р - количество правильно классифицированных объектов; V - общее количество объектов в базе данных.
Третий критерий - сложность структуры НС. Функция пригодности
FitGP3ы= п-Щ + +Nl I (10)
7=1
где п - количество признаков (нейронов) на входном слое в НС; Nt - количество нейронов на i-м слое в НС; L - количество скрытых слоев в НС; / - количество выходных нейронов в НС.
Алгоритм MCGP работает следующим образом. Шаг 1. Инициализация.
Создание популяции индивидов. Каждый индивид - это модель НС с разным количеством и сочетанием признаков на входном слое. Шаг 2. Оптимизация НС.
Проводится поиск оптимальных весовых коэффициентов для НС с помощью однокритериального ГА. Критерием поиска ГА является точность классификации.
Шаг 3. Выбор эволюционных операторов.
На этом шаге для каждой комбинации ЭО назначается равная вероятность выбора. Выбраны следующие виды операторов: оператор селекции (турнирная и пропорциональная), два вида мутации (сильная и слабая), один тип рекомбинации (одноточечная).
Шаг 4. Генерация новой популяции.
Рекомбинация двух выбранных индивидов для создания потомка. Выбор двух индивидов методом VEGA (англ. Vector Evaluated Genetic Algorithm) [11].
Мутация потомка.
Оценка потомка.
Создание новой популяции из потомков. Шаг 5. Перераспределение ресурсов.
Выбор новых эволюционных операторов. Определение новых вариантов сочетаний ЭО осуществляется после расчета значения
Fit _ Oper p :
1 Ip kr d Fit _ Operp = — ■ X X Fitgd ® max, (11)
Ip d=1 g=1
где kr - количество функций пригодности; Fitgd - пригодность g-го потомка по d - му критерию; I p - количество потомков, созданных p-м сочетанием ЭО.
Количество суммированных функций пригодности может быть различным, в зависимости от алгоритма. Сочетание ЭО, которое получило большее значение Fit _ Oper , становится "приоритетным" вариантом и его вероятность быть выбранным повышается. После пересчета вероятностей всех сочетаний проводится замещение. Сочетание ЭО с наименьшей вероятностью замещается на "приоритетное". Перерасчет вероятностей проводится на каждой итерации алгоритма. Шаг 6. Критерий останова.
Проверка критерия останова: если достигнута заданная точность классификации или исчерпаны вычислительные ресурсы, иначе - переход на шаг (2). Выбранная НС - это модель с релевантным подмножеством признаков, который принимается за релевантный набором признаков.
Разработанный подход был исследован с привлечением следующих классификаторов:
таблица решений (англ. Decision Table); правило RIpple-DOwn (англ. RIpple-DOwn Rule - Ridor); дерево решений совместно с Байесовским классификатором (в листьях) (англ. NBTree);
наивный Байесовский классификатор (англ. Naive Bayes); корневой оператор - классификатор (англ. REPTree); класс классификаторов HyperPipe (англ. HyperPipe); классификация с помощью голосования (англ. VFI ); локальное взвешенное обучение (англ. LWL); k ближайших соседей (англ. k nearest neighbors - k-NN); используется метод "обрезки" - оптимизационная процедура (англ.JRip).
Значение точности классификации в процентах:
Точность = (P / V ) -100%, (12)
где P / V - отношение правильно классифицированных объектов к общему количеству.
Начальные установки ГП: 150 индивидов и 100 поколений. Для формирования НС определены следующие параметры: максимальное число скрытых слоев нейронной сети - 5; максимальное число нейронов на каждом слое в НС - 10; количество вариантов активационных функций -8; количество выходов НС - 1; количество запусков для тестирования 50.
Для оценки работоспособности разработанного метода PS + MCGP и с целью проверки качества распознавания информации (типа эмоций) на основе речевого сигнала протестировано три базы данных, а так же проведено исследование точности на полном и сокращенном наборе признаков. Исследование эффективности предложенного подхода проводилось с использованием баз данных: Berlin [12], LEGO [13] и RSDB [14], содержащих характеристики голосовых записей на немецком, английском и русском языках соответственно (табл. 1). При анализе каждой аудиозаписи с помощью программных систем Praat script [15], Excel были получены следующие признаки: максимальное, минимальное, среднее значения или среднеквадратическое отклонение акустических характеристик, описывающих речевой сигнал, его высоту, вибрации, интенсивность и т. п. [16].
После применения описанного метода количество признаков, используемых алгоритмом классификации, для базы данных Berlin было сокращено в среднем с 45 до 22, для LEGO - до 19, для RSDB - до 12.
Таблица 1
Описание баз данных
База данных Язык Объем базы данных Количество признаков Количество классов Количество спикеров
Berlin Немецкий 535 45 7 10
LEGO Английский 4827 29 5 291
RSDB Русский 800 20 3 300
В табл. 2, 3 представлена матрица неточностей, полученная при классификации объектов базы данных LEGO с применением классификатора Decision Table [17] на полном и сокращенном наборе признаков. Табл. 4 содержит результаты классификации на полном и сокращенном наборе признаков для трех баз данных с применением описанных классификаторов.
Применение метода PS + MCGP позволяет существенно сократить пространство признаков. По результатам исследования, приведенном в табл. 4 на сокращенном наборе признаков наблюдается улучшение по точности в среднем на 12,4 %. Самое большое значение наблюдается на
базе данных - RSDB и составляет 33,7 %. Также в данных, представленных в табл. 4, присутствует и отрицательный результат, который составляет в среднем 6,4 % на базах данных LEGO, Berlin. Как показывают результаты из табл. 2, 3, 4, в большинстве экспериментов применение предложенного метода отбора информативных признаков повышает точность классификации, а следовательно демонстрирует эффективность работы.
Таблица 2
Пример матрицы неточностей для базы данных LEGO, полученной на сокращенном наборе признаков
с привлечением классификатора Decision Tabl
Значения Вид эмоций Действительные Точность в пределах класса, %
Счастье Нейтральное Злость
Предсказанные Счастье 628 63 132 76,3
Нейтральное 14 46 2 74,2
Злость 19 9 53 65,4
Полнота в пределах класса, % 95,0 38,9 28,3 —
Таблица 3
Пример матрицы неточностей для базы данных LEGO, полученной на полном наборе признаков с привлечением _ классификатора Decision Table__
Значения Действительные
Точность в
Счастье Нейтральное Злость пределах
Вид эмоций класса, %
0) Счастье 655 89 186 70,4
К К Нейтральное 6 29 1 80,6
сп оЗ И с д Злость 0 0 0 0,0
Полнота в
0) СР i—i пределах 99,1 24,6 0,0 —
П класса, %
Таблица 4
Результаты тестирования разработанного метода для трех
баз данных
Классификатор Berlin LEGO RSDB
Точность, % Точность, % Точность, %
Набор признаков
Полный Сокращенный (после PS+MCGP) Разница, % Полный Сокращенный (после PS+MCGP) Разница, % Полный Сокращенный (после PS+MCGP) Разница, %
LWL 30,9 22,6 -8,2 69,8 69,9 0,1 70,6 93,7 23,1
JRip 23,6 41,5 17,9 67,9 70,8 2,9 83,7 98,7 15
k-NN 54,3 66,9 12,6 75,7 69,3 -6,4 74,4 98,7 24,3
Naive Bayes 62,3 64,9 2,6 59,7 66,6 6,9 77,5 96,2 14,7
Decision Table 23,6 51,9 28,3 70,8 75,3 4,5 69,4 77,7 8,3
Ridor 53,5 54,7 1,2 69,7 70,1 0,4 20,6 22.5 1,9
REPTree 48,1 43,6 -4,5 65,4 68,4 3 70,6 97,2 26,6
NBTree 53,6 67,9 14,3 66,8 68,1 1,3 74,3 97,5 23,2
HyperPipe 51,7 61,3 9,6 68,3 68,9 0,6 80,0 96,2 16,2
VFI 36,0 54,7 18,7 45,0 67,0 22 61,9 95,6 33,7
Заключение. Применение предложенного гибридного метода PS + MCGP позволяет отобрать релевантные признаки и тем самым повысить точность распознавания (классификации). Как видно из табл. 4, в большинстве случаев, наблюдается повышение точности классификации после применение разработанного метода отбора информативных признаков. Необходимо отметить эффективность работы выбранных классификаторов. Например, наибольшее значение точности наблюдается с привлечением классификаторов k-NN, Naive Bayes, Decision Table и HyperPipe (табл. 4). Индивидуальные исследования показывают, что нельзя точно сказать, какой классификатор для распознавания (классификации) является лучшим. Один классификатор или их комбинации могут достигнуть опреде-
ленных результатов точности. Успех (высокая точность) распознавания непосредственно зависит от используемых данных. Это вытекает из того факта, что точность изменяется в зависимости от характера данных, например, от количества и качества признаков, распределения плотности каждого класса, а так же от языка, на котором человек произносит слова. На точность так же может влиять присутствие в данных спокойного или раздраженного (злость) состояния человека. Если данные состоят на 80...95 % из раздраженного состояния с повышением голоса и выкриками, то имеющиеся помехи могут резко снизить точность используемого классификатора. Таким образом, важно оценить эффективность классификаторов во взаимодействии с алгоритмами отбора признаков для всестороннего совершенствования систем распознавания. Кроме того, очень важно повысить эффективность работы системы в режиме "реального времени" - "online" режиме. "On-line" процесс всегда сопровождается различными типами эффектов, таких как шум, искажений голоса и т.д. Таким образом, полезно включать разработанный метод анализа данных (голосовых сигналов) в онлайновых системах, в том числе для улучшения распознавания психоэмоцианального состояния человека необходимо делать акцент на характеристиках (через колебание, период, фаза, амплитуда) звуковых волн. После проведенного анализа акустических волн можно сказать, что графики волн для различного типа психоэмоцианального состояния человека существенно различны. Поэтому подробное исследование характера акустических волн при проявлении человеком определенного типа эмоций представляет научный интерес и является предметом дальнейших исследований.
Список литературы
1. 10TopTenReviews [Электронный ресурс] // URL: http://voice-recognition-software-review.toptenreviews.com/ (дата обращения 02.04.201б).
2. Nguyen V. D. and Rocke D. M. Tumor classification by partial least squares using microarray gene expression data // Bioinformatics. 2002. Vol. 8. No. 1. P. 39 - 50.
3. Molecular classification of cancer: Class discovery and class prediction by gene expression monitoring / T.R. Golub, D.K. Slonim, P. Tomayo, C. Huard, M. Gaasenbeek, J.P. Mesirov, H. Coller, M.L. Loh, J.R. Downing, M.A. Caligiuri, C.D. Bloofield, E.S. Lander // Science. 1999. Vol. 28б. P. 531 - 537.
4. Polzehl T., Schmitt A. and Metze F. Salient features for anger recognition in german and english ivr portals. Spoken Dialogue Systems Technology and Design // Springer New York, 1st edition. 2011. P. 83 - 105.
245
5. Feature selection method using genetic algorithm for the classification of small and high dimension data / S.M. Mohd, D. Safaai, M.Y. Safie, R.O. Muhammad // First International Symposium on Information and Communications Technologies. 2004. P. 1 - 4.
6. Saadia Minhas, Muhammad Younus Javed. Iris Feature Extraction Using Gabor Filter // International Conference on Emerging Technologies. 2009. P. 252 - 255.
7. Speaker State Recognition with Neural Network-based Classification and Self-adaptive Heuristic Feature Selection / M. Sidorov, C. Brester, E. Se-menkin, W. Minker // International Conference on Informatics in Control (ICINCO). 2014. P. 699 - 703.
8. He X., Cai D. and Niyogi P. Learning a Laplacian Score for Feature Selection // Advances in Neural Information Processing Systems 18 (NIPS). 2005. P. 14 - 24.
9. Koza J.R. Genetic Programming: On the Programming of Computers by Means of Natural Selection // Cambridge, MA: MIT Press. 1992. P. 109 -120.
10. Loseva E. D., Lipinsky L. V. Ensemble of networks with application of multi-objective self-configurable genetic programming // Vestnik SibGAU. 2016. Vol. 17. No. 1. P. 67 - 72.
11. Zitzler E. and Thiele L. Multiobjective evolutionary algorithms: A comparative case study and the strength pareto approach // Evolutionary Computation (IEEET). 1999. No. 3(4). P. 257 - 271.
12. A database of german emotional speech / F. Burkhardt, A. Paeschke, M. Rolfes, W.F. Sendlmeier, B. Weiss // Interspeech. 2005. P. 1517 - 1520.
13. Schmitt A., Ultes S. and Minker W. A parameterized and annotated corpus of the cmu let's go bus information system // International Conference on Language Resources and Evaluation (LREC). 2012. P. 208-217.
14. Лосева Е.Д. Применение десяти алгоритмов для оптимизации параметров машины опорных векторов и оптимизации отбора информативных признаков в задаче распознавания пола и возраста человека // Современные концепции научных исследований: материалы XII Международной науч.-практ. конф. (27-28 марта 2015, г. Москва). 2015. № 3 С.132 - 136.
15. Boersma P. PSat, a system for doing phonetics by computer // Glot international. 2002. No. 5(9/10). P. 341 - 345.
16. Брестер К.Ю., Вишневская С.Р., Семенкина О.Э. Распознавание психоэмоцианального состояния дистанционного студента по устной речи адаптивными интеллектуальными технологиями // Вестник СибГАУ. 2015. № 3 (55). С. 35 - 41.
17. Akthar F. and Hahne C. Rapid Miner 5 Operator reference: Rapid-I // Dortmund. 2012. P. 25 - 55.
Лосева Елена Давидовна, магистр, rabota_lena_19@mail.ru, Россия, Красноярск, Сибирский государственный аэрокосмический университет им. академика М. Ф. Решетнева,
Липинский Леонид Витальевич, канд. техн. наук, доц., lipinskiyl@mail.ru, Россия, Красноярск, Сибирский государственный аэрокосмический университет им. ака-демикаМ.Ф. Решетнева
HYBRID METHOD FOR SELECTION INFORMATIVE FEATURES USING SELF-ADJUSTING NEURAL NETWORK CLASSIFIERS
E.D. Loseva, L.V. Lipinsky
Nowadays, because of grow up development of technologies in sphere of "human -machine" communication are necessary to improve methods for increasing a recognition methods for psychoemotional state of human by speech. For effectiveness working dialog systems is important choosing the method for processing data for increasing recognition effectiveness. Often, the data may have secondary information, such as noise or interference. Thus, the alternative method, which is based on multi-criteria optimization using networks classifiers. Therefore, the aim of the research is improvement methods for recognition, also psychoemotional state of human by speech. In this paper, a new method for selection the effective features is represented. In order to test the proposed approach chosen three databases, containing the acoustic characteristics on three languages: English, German and Russian. Test results after applying method the high effectiveness are shown.
Key words: Emotion recognition, neural network, multi-criteria genetic programming, genetic programming, feature selection, feature subsets.
Loseva Elena Davidovna, master, rabota lena 19@mail.ru, Russia, Krasnoyarsk, Reshetnev Siberian State Aerospace University,
Lipinski Leonid Vitalievich, candidate of technical sciences, docent, lipins-kiyl@,mail.ru, Russia, Krasnoyarsk, Reshetnev Siberian State Aerospace University
