Бинаризация вещественных признаков для построения логических закономерностей Текст научной статьи по специальности «Компьютерные и информационные науки»

Таблица 2

Размеры лучших ИНС для некоторых задач

№ SPEA SPEA2 NSGAII GA-ANN

задачи Количество Общее Количество Общее Количество Общее Количество Общее

слоев количество слоев количество слоев количество слоев количество

нейронов нейронов нейронов нейронов

1 2 4 1 2 2 3 2 2

6 3 3 3 4 3 5 2 3

7 2 3 2 4 2 6 3 5

10 2 5 2 4 2 2 4 8

11 3 4 3 5 3 5 4 9

12 2 4 2 6 2 4 3 6

14 3 7 3 4 3 6 4 8

15 3 8 3 5 3 7 5 10

Библиографические ссылки

1. Цой Ю. Р., Спицын В. Г. Эволюционный подход к настройке и обучению искусственных нейронных сетей // Нейроинформатика : электрон. журнал. 2006. Т. 1, № 1. С. 34-61.

2. Brester Ch. Yu., Semenkin E. S. Development of adaptive genetic algorithms for neural network models multicriteria design // Вестник СибГАУ. 2013. № 4 (50). С. 99-103.

3. Коромыслова А. А. Сравнение эффективности эволюционных алгоритмов многокритериальной оптимизации // Актуальные проблемы авиации и космонавтики : сб. тезисов конференции. 2013. Ч. 1.

С. 333-334

4. Electronic textbook StatSoft [Электронный ресурс]. Режим доступа: http://www.fmi.uni-sofia.bg/fmi/statist/ education/textbook/eng/glosa.html.

5. Коромыслова А. А., Семенкина М. Е. Эволюционное проектирование нейросетевых классификаторов с выбором наиболее информативных признаков // Теория и практика системного анализа : материалы конференции. Рыбинск : ИСА РАН, РГАТА им. П. А. Соловьева, 2014. Ч. 2. С. 74-83.

6. Семенкин Е. С. [и др.] Эволюционные методы моделирования и оптимизации сложных систем. : конспект лекции. Красноярск, 2007.

References

1. Choi Y. R., Spitcin V. G. Evolutionary approach to setting up and training artificial neural networks // Electronic Journal "Neuroinformatics". 2006. Vol. 1, № 1. p. 34-61.

2. Brester Ch. Yu., Semenkin E. S. Development of adaptive genetic algorithms for neural network models multicriteria design // Vestnik SibSAU. 2013. № 4 (50). p. 99-103.

3. Koromyslova A. A. Comparison of the effectiveness of evolutionary multiobjective optimization algorithms // Proceedings of the Conference "Actual Problems of Aviation and Cosmonautics", 2013 Part 1. p. 333-334.

4. Electronic textbook StatSoft [electronic resource]. Mode of access: http://www.fmi.uni-sofia.bg/fmi/statist/ education/textbook/eng/glosa.html.

5. Koromyslova A. A., Semenkina M. E. Evolutionary design of neural network classifiers with the selection of the most informative features // Proceedings of the conference "Theory and Practice of System Analysis." -Rybinsk: ISA RAS, RGATA behalf PA Solovyov, 2014. Part 2. p. 74-83.

6 Semenkin E. S., Zhukova M. N., Zhukov V. G., Panfilov I. A., Tynchenko V. Evolutionary methods of modeling and optimization of complex systems : Summary of lectures, Krasnoyarsk, 2007.

© KopoMbicnoBa A. A., 2014

УДК 519.854.33

БИНАРИЗАЦИЯ ВЕЩЕСТВЕННЫХ ПРИЗНАКОВ ДЛЯ ПОСТРОЕНИЯ ЛОГИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ*

Е. М. Краева, И. С. Масич

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Россия, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 Е-таП: [email protected]

Рассматриваются вопросы дискретизации и бинаризации вещественных признаков для возможности их использования при построении логических классификаторов.

Ключевые слова: логические алгоритмы, распознавание, закономерности.

*Работа выполнена при финансовой поддержке гранта Президента РФ МК-1371.2013.08.

Решетневскуе чтения. 2014

BINARIZATION OF REAL ATTRIBUTES FOR CONSTRUCTING LOGICAL RULES

E. M. Kraeva, I. S. Masich

Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected]

The issues of discretization and binarization of real attributes to be used in constructing logical classifiers are considered.

Keywords: logic algorithms, recognition, pattern.

Ранее описанный подход к распознаванию [1], основанный на выявлении в данных правил, изначально разработан для распознавания объектов, признаки которых являются бинарными. Для применения этого подхода к задачам распознавания, в которых объекты описываются вещественными или какими-либо другими признаками, необходимо использовать процедуру бинаризации, которая должна быть неотъемлемым этапом при построении классификатора.

Наибольшую сложность представляет кодирование метрических признаков. Так как число различных значений некоторого метрического признака объектов выборки может быть велико, наиболее популярным и обоснованным подходом является дискретизация численного признака, при которой весь диапазон значений разбивается на интервалы и каждое значение может относиться только к одному интервалу. Граничные значения этих интервалов называются порогами.

Очевидно, что от выбора числа интервалов и расположений порогов зависит работа всего метода распознавания и качество распознавания. Решению этой задачи и посвящена эта часть исследования.

Исходным критерием при дискретизации является качество распознавания объектов, а именно точность и интерпретируемость. Но оценить точность распознавания можно только после прохождения всех этапов построения классификатора, поэтому применить этот критерий при дискретизации не представляется возможным.

Наиболее разумными критериями, которые можно вычислить, являются следующие.

1. Различимость объектов разных классов.

2. Минимум интервалов дискретизации.

3. Робастность дискретизации.

Рассмотрим один из способов выбора порогов при бинаризации действительных признаков с целью использования полученных порогов для построения решающих логических правил.

Пусть имеется два класса объектов K + и K" (K + U K = K, K + П K~ = 0), объекты распознавания описываются d действительными признаками. Расположим все возможные значения каждого признака j = 1,...,d для объектов данной выборки в порядке возрастания: b1(j) < b2j) < b3j) < ....

Потенциальные пороги можно взять как середины между двумя ближайшими значениями признака:

b( j) + b( j) в j = bi + bi+1

Pi 2 .

Считается, что в качестве потенциальных порогов имеет смысл брать только те (из вышеуказанных), для которых ближайшие значения признака с разных сторон от порога соответствуют объектам разных классов, т. е. существуют г е K+ и w е K- (или наоборот) такие, что 2/ = Ь( 1) и Wj = .

Таким образом, для каждого действительного признака, описывающего объект распознавания, имеем упорядоченное по возрастанию множество потенциальных порогов р/ Рг,..., Р/.

Бинарные переменные указывают, превысило ли значение признака объекта соответствующий порог:

х =|1, ,

х [о,Ь/ .

Рассмотрим объекты разных классов 2 е К+ и w е К-, для которых определим величины

а2 = |ху - ху \ .

Если а1 = 1, то объекты 2 и w различны по бинарной переменной Ху, т. е. значения численного признака Ь/ у этих объектов лежат по разные стороны порога Р1.

Введем бинарную переменную у/, указывающую, будет ли порог р/ использоваться при дискретизации:

[1, если порог Ру используется,

УУ I Л

[0, в противном случае.

В работе [2] рассматривается модель оптимизации, направленная на снижение числа порогов, достаточных для разделения объектов различных классов:

й к/

ЕЕ У/ ^ тщ

/=1 ¿=1

й к/

ЕЕаЦТУ/ * 1,2 е К +, w е К-.

/=1 ¿=1

При практическом использовании приведенной выше модели оптимизации выяснилось, что получаемые с помощью нее решения имеют недостатки.

Во-первых, число порогов в найденном решении может быть слишком мало, что уменьшает разделяющую способность классификатора, который строится на основании этих порогов и негативно влияет на точность распознавания.

Во-вторых, в этой модели пороги всех признаков смешаны. В полученном решении для некоторого признака может оставаться большое число порогов, в то время как для многих других признаков пороги могут отсутствовать.

Поэтому, как показывают результаты практического решения задач, приближенное решение этой задачи может быть предпочтительней, чем оптимальное, так как это позволяет добиться лучшего компромисса в балансе «вычислительная сложность - разделяющая способность».

В связи с этим возникла необходимость решать новую задачу: выбрать такое расположение приемлемого числа порогов, при котором объекты различных классов разделены как можно сильнее.

Построенная и реализованная новая модель оптимизации позволяет находить такое расположение порогов, которое способствует лучшему качеству классификатора.

Библиографические ссылки

1. Краева Е. М., Масич И. С. Методы отбора закономерностей в логических алгоритмах распознавания // Решетневские чтения : материалы XVII Между -нар. науч. конф. / Сиб. гос. аэрокосмич. ун-т. Красноярск, 2013.

2. Boros E., Hammer P. L., Ibaraki T., Kogan A. Logical analysis of numerical data // Mathematical Programming. 1997. № 79. Р. 163-190.

References

1. Kraeva E. M., Masich I. S. Methods for pattern selection in logical algorithms of recognition // Materialy XVII Mezhdunarodnoy nauchnoy konferentsii "Reshetnevskie chteniya", Krasnoyarsk, 2013.

2. Boros E., Hammer P. L., Ibaraki T., Kogan A. Logical analysis of numerical data. Mathematical Programming 79, 1997, 163-190.

© Краева Е. М., Масич И. С., 2014

УДК 004.414.23

ИССЛЕДОВАНИЕ ВЛИЯНИЯ СТРУКТУРЫ НЕЙРОННОЙ СЕТИ НА ЭФФЕКТИВНОСТЬ ЕЕ РАБОТЫ

У. Н. Круглова, Л. В. Липинский

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31 E-mail: [email protected], [email protected]

Исследуется влияние структуры ИНС на эффективность ее работы.

Ключевые слова: нейронные сети, структура ИНС.

ANALYSIS OF STRUCTURE INFLUENCE ON THE EFFICIENCY OF NEURAL NET WORK

U. N. Kruglova, L. V. Lipinskiy

Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russian Federation E-mail: [email protected], [email protected]

The author presents analysis of structure influence on the efficiency of ANN work.

Keywords: neural nets, structure of ANN.

Нейронные сети - это математические модели обработки информации, основанные на имитации работы нервных клеток живого организма. Первые искусственные нейронные сети были разработаны в пятидесятых годах, в то время они могли решать такие задачи, как предсказание погоды, и проводили анализ электрокардиограмм. К настоящему времени область применения нейронных сетей значительно расширилась. Сегодня сети успешно используются в задачах распознавание образов, классификации, принятия решений и управления, прогнозирования, аппроксимации [1].

Различают несколько видов нейронных сетей. На практике наибольшее распространение получили сети вида «многослойный персептрон». Входной сигнал в

таких сетях распространяется в прямом направлении, от слоя к слою. Каждый нейрон сети имеет нелинейную функцию активации [2].

Для настройки нейронной сети на конкретную задачу необходимо выбрать эффективную структуру и весовые коэффициенты. Исследователю необходимо решить вопрос о распределении вычислительных ресурсов [3]. Что лучше: исследовать больше различных структур или потратить вычислительные ресурсы на оптимизацию весовых коэффициентов для конкретной сети? Эффективное распределение ресурсов может не только помочь исследователю в формировании нейросетевых моделей, но и повысить эффективность автоматизированных процедур нейросетевого