CC BY
27
"Информатика и моделирование". - Харьков: НТУ "ХПИ". - 2003. - №26. - С. 35-40.
13. Слипченко А.Н. Управление архитектурой нейронной сети // Тези допов1дей учасниюв VI МНжнародно'Т нау-ково-практично'Т конференци студенев, асп1рант1в, моло-дих вчених 1-3 липня 2004 р., м. КиТ'в. - КиТ'в: Друк. НТУУ "КП1". - 2004. - С. 81-82.
14. Poggio T., Girosi F. A Theory of Networks for Approximation and Learning. A.I. Memo No. 1140, Artificial Intelligence Laboratory, Massachusetts Institute of Technology, 1989.
15. Platt J. A resource allocating network for function interpolation // Neural Computation. - 1991. - 3. - P. 213 225.
16. Nag A., Ghosh J. Flexible resource allocating network for noisy data // In SPIE Conf. on Applications and Science of Computational Intelligence, SPIE Proc. Vol. 3390, Orlando, Fl., April 1998. - P.551 559.
17. Yingwei L., Sundararajan N., Saratchandran P. Performance evaluation of a sequential minimal radial basis function (RBF) neural network learning algorithm // IEEE Trans. on Neural Networks. - 1998. - 9. № 2. P.308 318.
18. Fahlman S. E., Lebiere C. The cascade-correlation learning architecture. Technical Report CMU-CS-90-100, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, 1990.
19. Cun Y. L., Denker J. S., Solla S. A. Optimal Brain Damage / / Advances in Neural Information Processing Systems, D.S. Touretzky, Eds. - 1989. - P.598-605.
20. Hassibi B., Stork D. G. Second-order derivatives for network pruning: Optimal brain surgeon // Advances in Neural Information Processing Systems, Hanson et al., Eds. - 1993. -P. 164-171.
21. Prechelt L. Connection pruning with static and adaptive pruning schedules // Neurocomputing. - 1997. - 16. P.49 61.
22. Перельман И.И. Оперативная идентификация объектов управления. - М.: Энергоиздат, 1982. - 272 с.
23. Бодянский Е.В., Слипченко А.Н. Управление количеством узлов в нейронных сетях, обучаемых в реальном времени // АСУ и приборы автоматики. 2004. № 127. -С. 90-97.
24. Гантмахер Ф.Р. Теория матриц. - 4-е изд. - М.: Наука. Гл. ред. физ.-мат. лит., 1988. - 552 с.
25. Mandelbrot B.B. Die fraktale Geometrie der Natur. - Basel: Birkhaeuser Verlag, 1991. - 491 S.
26. Mackey, M.C., Glass, L.: Oscillation and chaos in physiological control systems. Science 197 (1977) 287-289.
27. Бодянский 6.В., М1хальов 0.1., Плсс I.П. Адаптивне виявлення розладнань в объектах керування за допомогою нейронних мереж. - Днтропетровськ: Системы технологи, 2000. - 140 с.
28. Kaczmarz S. Approximate solution of systems of linear equations // Int. J. Control. - 1993 - 53. - P. 1269-1271.
Надшшла 27.09.2004
У po6omi розглядаеться задача прогнозування часовых ряд1в з выкорыстанням ансамля HeuponpeduKmopie. Запропо-новано алгоритм змiнu числа вузлiв у ансамблi за умовы обробки iнфopмацi'i у реальному часi.
The work is devoted to the task of time-series prediction using ensemble of neuropredictors. An algorithm capable of changing the number of predictors in ensemble in real time is proposed.
УДК 681.3
Л.А. Жуков, Н.В. Решетникова
ИССЛЕДОВАНИЕ РАЗЛИЧНЫХ ВАРИАНТОВ КОНТРАСТИРОВАНИЯ И БИНАРИЗАЦИИ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ОБРАБОТКИ МЕДИЦИНСКИХ ДАННЫХ
Исследовались различные варианты контрастирования и бинаризации нейронных сетей на примере медицинских данных. Выполнено сравнение качества тестирования для бинаризованных и небинаризованных синапсов.
ВВЕДЕНИЕ
В работе предлагаются отдельные элементы технологии для обработки параметров анализов крови доноров электролизных цехов Красноярского алюминиевого завода, подвергшихся иммунному плазмаферезу. Сбор исходных данных и их первичная обработка проводились на базе Красноярской краевой станции переливания крови за период с 1978 г. по 1992 г. врачом Петровской В.А. [1, 2].
Цель работы: выявить влияние процедур контрастирования и бинаризации на качество тестирования ней-росетей и сходство и различие при различных комбинациях этих процедур.
Задачи работы: провести изолированно процедуры бинаризации и контрастирования на примере медицинских данных; провести эксперименты и изучить результаты при различных комбинациях данных подходов,
например, при бинаризации после и до контрастирования. Отметим, что в данной работе не ставилась задача достижения наилучших результатов тестирования.
Исходные данные включают гематологические, биохимические и иммунологические показатели и дополнительно следующие параметры: величина титра антител, число плазмаферезов и некоторые другие характеристики, указывающие на функциональные сдвиги в системе гомеостаза в ответ на введение стафилококкового антигена и под влиянием многолетних плазмаферезов [3, 4].
Для выполнения полномасштабных экспериментов и проверки некоторых частных гипотез был создан общий файл данных, содержащий всю информацию по всем категориям доноров: анодчики - 266 записей, электролиз-ники - 186 записей, крановщики 168, слесари - 198, сварщики - 130, литейщики - 124, студенты - 472. Каждая запись представляет собой данные анализа крови донора, взятого за одно посещение. Следует отметить, что не все изучаемые поля заполнены, что связано со спецификой проведения и обработки анализов крови, т.к. в соответствии с ведомственной медицинской инструкцией некоторые анализы берутся у доноров один раз за несколько сдач крови [5, 6]. Для обработки были использо-
ваны нейронные сети с учителем [7]. Для повышения качества обучения нейронных сетей были реализованы дополнительные операции по предобработке данных. Эти операции позволили включить в число полей дополнительно следующие: идентификация категорий, год, дни недели, сезоны года (зима, осень, весна, лето).
1 ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ
ОБРАБОТКИ МЕДИЦИНСКИХ ДАННЫХ
С ПОМОЩЬЮ НЕЙРОСЕТЕЙ
Для задач медицинского плана часто характерно приблизительное, реже относительно точное представление о характере взаимосвязи изучаемых параметров и почти никогда не известен точный алгоритм решения задачи. Поэтому для решения таких задач используются методы нейроинформатики [8].
При постановке задачи для нейронной сети не всегда удается точно определить сколько и каких входных данных нужно подавать на вход. Гораздо чаще на вход сети подается избыточный набор входных параметров. Например, при обучении сети постановке диагноза в задачах медицинской диагностики на вход сети подаются все данные, необходимые для постановки диагноза в соответствии с существующими методиками. Как правило, при диагностике заболеваний населения какого-нибудь небольшого региона (например города) можно обойтись меньшим набором исходных данных. Требуется определить, какие данные необходимы для решения конкретной задачи, поставленной для нейронной сети. Кроме того, в ходе решения этой задачи определяются значимости входных сигналов. Следует заметить, что умение определять значимость входных сигналов представляет самостоятельную ценность [9].
Нейронная сеть производит из таблицы данных скрытое знание, т. е. формулирует некоторый навык предсказания или классификации. На практике пытаются привести нейронные сети к наиболее простой логической структуре для чего используется понятие логически прозрачной сети. Логически прозрачной называется максимально упрощенная сеть, по структуре которой легко можно сформировать понятный пользователю алгоритм решения задачи [7, 10].
После получения логически прозрачной нейронной сети обычно наступает этап построения вербального описания. Принцип построения вербального описания достаточно прост. Используемая терминология заимствована из медицины. Входные сигналы называют симптомами, выходные сигналы нейронов первого слоя - синдромами первого уровня и т. п. [7, 9]. Однако, оказывается довольно сложно формализовать и расшифровать данное описание применительно к конкретной задаче, особенно если исследуемые параметры имеют сложные и многоуровневые взаимосвязи. Иногда для ряда задач медицинской тематики характерно неполное упрощение нейросетей, т.е. несколько увеличенный набор оставленных входных параметров и выявление их взаимосвязей,
что обусловлено некоторой консервативностью специалистов-медиков и их представлений о результатах.
Для приведения сетей к логически прозрачному виду используется несколько различных подходов [11], но в данной работе нас интересуют прежде всего бинаризация и контрастирование. Исследователями отмечается, что данные процедуры позволяют существенно упростить структуру нейросетей и выявить набор наиболее значимых входных параметров [7, 9, 11]. Существует два варианта контрастирования: 1) выбираются наиболее значимые параметры и к ним подстраиваются менее значимые - сверху-вниз; 2) удаляются малозначимые параметры, начиная с самого малозначимого - снизу-вверх [7]. В данной работе используется вторая реализация контрастирования [10]. Следует проверять результаты обучения нейросетей после контрастирования и бинаризации путем тестирования, т.к. упрощенная сеть не всегда может решить задачу с требуемой точностью [7]. Считается невозможным добиться при упрощении нейронной сети бинаризации всех связей [2, 9, 12, 13], что зависит от сложности как самой задачи, так и взаимосвязей между параметрами. Нужно иметь в виду, что для данной задачи существует некоторое подмножество различных вариантов сетей после упрощения и соответственно несколько вариантов решения данной задачи [7].
2 ПЕРВИЧНОЕ ОБУЧЕНИЕ
И ТЕСТИРОВАНИЕ
Для дальнейшей обработки использовался нейроими-татор КеигоРго версии 0.25 (разработчик В.Г. Царе-городцев). Данная программа реализует создание, обучение и тестирование искусственных нейронных сетей с учителем [7, 10]. Нейроимитатор реализует несколько видов упрощения сетей, из которых в данной работе нас интересуют сокращение числа синапсов сети, нейронов, неоднородных (пороговых) входов нейронной сети, бинаризация весов синапсов и неоднородных входов. При упрощении сетей действует жесткое ограничение, согласно которому исходное число слоев остается постоянным (слой не может быть удален), т. е. в слое обязательно присутствует хотя бы один нейрон.
При обучении и тестировании используются 10 ней-росетей с 3 слоями нейронов, по 10 нейронов в каждом слое, с точностью 1,5 и характеристикой нейронов 0,1, где точность (ошибка обучения) представляет собой допустимое отклонение выходной величины от ее реального значения. В качестве выходного поля использовалось общее количество лейкоцитов (Х6), количество входных параметров - 48. Объем общей выборки составил 300 записей, объемы обучающей и тестовой выборок - 158 и 142 записи соответственно.
Перекрестным тестированием называют процесс проверки качества обучения нейросетей, при котором используются две выборки: обучающая и тестовая (в данном случае полученная из исходной выбором четных/ нечетных записей), по одной из которых обучают (обучающая), а по другой тестируют (тестовая).
В данном случае процент правильно определенных примеров при перекрестном тестировании составил от 69% до 87% (см. табл. 1).
Таблица 1 - Результаты перекрестного тестирования
Кол-во верно % верно Кол-во неверно % неверно
Сеть 1 114 80,28 28 19,72
Сеть 2 134 94,37 8 5,63
Сеть 3 124 87,32 18 12,68
Сеть 4 129 90,85 13 9,15
Сеть 5 131 92,25 11 7,75
Сеть 6 106 74,65 36 25,35
Сеть 7 126 88,73 16 11,27
Сеть 8 115 80,99 27 19,01
Сеть 9 124 87,32 18 12,68
Сеть 10 124 87,32 18 12,68
Среднее 122,70 86,41 19,30 13,59
Кол-во % верно Кол-во % неверно
верно неверно
Сеть 1 153 96,84 5 3,16
Сеть 2 149 94,30 9 5,70
Сеть 3 153 96,84 5 3,16
Сеть 4 143 90,51 15 9,49
Сеть 5 148 93,67 10 6,33
Сеть 6 153 96,84 5 3,16
Сеть 7 149 94,30 9 5,70
Сеть 8 151 95,57 7 4,43
Сеть 9 149 94,30 9 5,70
Сеть 10 155 98,10 3 1,90
Среднее 150,30 95,13 7,70 4,87
Причем, при удалении менее 90% синапсов, менее 70% входных параметров и менее 10% нейронов процент правильно определенных примеров не превышает 91%, но при удалении 95% синапсов - процент правильно определенных примеров составляет от 94 до 97%. Самые лучшие результаты тестирования (97-98%) показывают нейросети с процентом удаленных синапсов - от 94% до 95%, удаленных входов - от 88% до 94%, удаленных нейронов - от 37% до 53%.
Следует отметить, что после контрастирования большая часть синапсов представляла собой неоднородные входы, а именно, на входе/выходе в качестве сигналов передавались константы (некоторые действительные числа). Поэтому дополнительно (после контрастирования) было проведено сокращение числа неоднородных входов, в результате чего сократилось число синапсов и нейронов (графическое представление структуры сетей см. рис. 1, где а и 6 - два варианта нейросетей).
3 КОНТРАСТИРОВАНИЕ
Контрастирование - это процесс сокращения числа параметров, не влияющий на качество обучения, при котором удаляются наиболее незначимые параметры при определении выходного поля [14]. В данном случае используется сокращение числа внутренних синаптических связей, т. е. происходит упрощение внутренней структуры нейронных сетей. Контрастирование показало, что в среднем удалено 94% синапсов. Параллельно сокращению синапсов проходило сокращение числа нейронов и входных параметров. В среднем удалено около 84% входных параметров и 43% нейронов.
При перекрестном тестировании после контрастирования были получены существенно лучшие показатели, чем при полном наборе входных параметров (см. табл. 2). В среднем процент правильно определенных примеров составил 95%. Видимо, это связано с тем, что некоторые входные параметры, слабо влияющие или не влияющие на общее количество лейкоцитов, создают шумовой эффект.
Таблица 2 - Результаты перекрестного тестирования после контрастирования
и-О-О
1-й слой 2-й слой 3-й слой а)
1-й слой 2-й слой3-й слой
Рисунок 1 — Структура нейронной сети после сокращения неоднородных входов:
О - нейрон; * - константа (подача постоянного сигнала); -► -
связь, где вес синапса равен -1; -> - связь, где вес синапса равен +1;
X - сумматор; - связь между элементами сети (небинаризо-
ванные синапсы); «—», «+» - знак связи
Было удалено в среднем 65% синапсов (процент рассчитан от оставшегося после контрастирования количества) и 72% нейронов. Причем, чем больше количество удаленных при контрастировании нейронов, тем меньше нейронов удалено при сокращении неоднородных входов. Но для синапсов наблюдается обратная тенденция: чем больше обычных синапсов удалено при контрастировании, тем больше удаляется их при сокращении числа неоднородных входов, что тривиально. Удаляются, в основном, нейроны второго и третьего уровней, минимальная структура состоит из трехслойной сети, каждый слой содержит всего один нейрон (см. рис. 1, 6). Что касается перекрестного тестирования, его результаты после данной процедуры не изменились.
4 БИНАРИЗАЦИЯ И КОМБИНИРОВАНИЕ
Процедура бинаризации параметров сети представляет собой приведения весов синапсов к некоторому набору конкретных значений, в данном случае используется их приведение к значениям -1 и 1.
АЫОБ
Х6
Х6
Х9
Х10
Х11
При бинаризации без контрастирования процент бинаризованных синапсов в среднем составляет 84-87%. Причем результаты перекрестного тестирования после бинаризации дают приблизительно такие же результаты, процент верно определенных примеров в среднем составляет от 78% до 83% (см. табл. 3). В среднем лучшие результаты тестирования дают нейросети с большим процентом бинаризованных синапсов.
Таблица 3 — Результаты перекрестного тестирования после бинаризации
Кол-во бинаризованных синапсов % бинаризованных синапсов Кол-во верно % верно Кол-во неверно % неверно
Сеть 1 642 89,04 111 78,17 31 21,83
Сеть 2 603 83,63 134 94,37 8 5,63
Сеть 3 569 78,92 121 85,21 21 14,79
Сеть 4 625 86,69 118 83,10 24 16,90
Сеть 5 643 89,18 120 84,51 22 15,49
Сеть 6 641 88,90 117 82,39 25 17,61
Сеть 7 623 86,41 110 77,46 32 22,54
Сеть 8 640 88,77 116 81,69 26 18,31
Сеть 9 637 88,35 114 80,28 28 19,72
Сеть 10 641 88,90 124 87,32 18 12,68
Среднее 626,40 86,88 118,50 83,45 23,50 16,55
После процедуры контрастирования (контрастирование, затем бинаризация) процент бинаризованных синапсов значительно падает и составляет уже от 29% до 39%. Тенденция получения лучших результатов перекрестного тестирования сохраняется аналогично процедуре контрастирования (см. табл. 4). Результаты перекрестного тестирования практически не отличаются от полученных при контрастировании без бинаризации, процент верно определенных примеров в среднем составляет 95-96%.
Таблица 4 — Результаты тестирования после
вильно определенных примеров составляет в среднем 83,5%. Количество удаленных синапсов варьируется от 75 до 692 из 721 возможного, что составляет в среднем 71%, процент удаленных входов в среднем составляет 27%, удаленных нейронов - 33%. Причем, в среднем, чем больше процент бинаризованных синапсов, тем меньше процент удаленных синапсов, входов и нейронов. Удаляется не более 12% синапсов (входные параметры и нейроны не удаляются), если процент бинаризации превышает 87%. Если процент бинаризации не превышает 38%, в среднем удаляется 95% синапсов, 87% входов и 60% нейронов. При значениях процента бинаризации 60-70%, в среднем удаляется 73% синапсов, но не более 11% входных параметров и 27% нейронов. Итак, процент удаления синапсов возрастает пропорционально уменьшению процента бинаризации, что характерно для нейронов и входных параметров.
Аналогично отдельно проведенной процедуре контрастирования, при контрастировании после бинаризации наблюдается относительно большое количество неоднородных входов. Для упрощения структуры дополнительно проводилось сокращение числа неоднородных входов, в ходе которого удалялись синапсы и нейроны. В среднем удалено 27% синапсов (процент от оставшегося после контрастирования количества синапсов) и 45% нейронов. Процент удаленных синапсов после сокращения неоднородных входов увеличивается согласно увеличения удаленных синапсов после контрастирования (см. табл. 5). Т.е. чем больше обычных синапсов удаляется при контрастировании, тем больше их удалено и при сокращении неоднородных входов, что тривиально.
Таблица 5 — Результаты тестирования после сокращения неоднородных входов
в -о а й к и нби си ° 3 изованных напсов о -в § § ^ о еп оа нн удаленных напсов х ыв но нс еп ла ан о н р е в о -в о н р е в о н р е в е н о о н р е в е оа нн Р я ес н о К ла ан Кол-во уда напсов после неоднородн % удаленны после сок неоднородн Кол-во удал ронов после неоднородн Зйй нод нн со дод %н о -в л- о Ко е в
вы ' Я аи К о Р я ес ои м о ди ус л- % в--л н Сеть 1 58 91,96 21 36,21 9 69,23 144 91,14
лона X 8 з и б н о К л- о оК % Ко о К Сеть 2 92 87,24 23 25,00 11 64,71 130 82,28
Сеть 1 11 37,93 29 692 95,98 152 96,20 6 3,80 Сеть 3 29 95,98 21 72,41 9 75,00 152 96,20
Сеть 2 11 36,67 30 691 95,84 155 98,10 3 1,90 Сеть 4 33 95,42 22 66,67 10 76,92 150 94,94
Сеть 3 15 38,46 39 682 94,59 155 98,10 3 1,90 Сеть 5 215 70,18 23 10,70 9 47,37 121 76,58
Сеть 4 5 5,95 84 637 88,35 144 91,14 14 8,86 Сеть 6 638 11,51 38 5,96 1 3,33 110 69,62
Сеть 5 16 39,02 41 680 94,31 155 98,10 3 1,90 Сеть 7 53 92,65 23 43,40 9 64,29 140 88,61
Сеть 6 30 57,69 52 669 92,79 155 98,10 3 1,90 Сеть 8 360 50,07 4 1,11 2 6,90 95 60,13
Сеть 7 29 50,00 58 663 91,96 140 88,61 18 11,39 Сеть 9 215 70,18 11 5,12 5 21,74 110 69,62
Сеть 8 19 42,22 45 676 93,76 156 98,73 2 1,27 Сеть 10 31 95,70 21 67,74 9 75,00 148 93,67
Сеть 9 10 27,78 36 685 95,01 147 93,04 11 6,96 Среднее 172 76,09 20,70 33,43 7,40 50,45 130,00 82,28
Сеть 10 20 55,56 36 685 95,01 158 100,00 0 0,00
Среднее 16,60 39,13 45 676,00 93,76 151,70 96,01 6,30 3,99 При удалении после контрастирования более 95% си
* 0 3
и
а 3
I 8 I
й г
к д
и
а 3
Исходно каждая сеть содержала 721 синапс, 30 нейронов, 48 входных сигналов. При проведении процедуры контрастирования после бинаризации, процент пра-
напсов, при сокращении неоднородных входов удаляется более 66% синапсов; менее 73% удаленных синапсов -удаляется не более 10% синапсов. Такая же тенденция наблюдается и для нейронов. Минимальная сеть, полу-
~7*0 •<)
■I Х6
Е
1-й слой 2-й слой 3-й слой 1-й слой 2-й слой3-й слой
а) б)
Рисунок 2 - Структура нейронной сети после бинаризации и контрастирования:
О - нейрон; | - константа (подача постоянного сигнала); -► -
связь, где вес синапса равен -1; —► - связь, где вес синапса равен +1;
Е - сумматор; - - связь между элементами сети (небинаризо-
ванные синапсы); «—», «+» - знак связи
ченная в проведенных экспериментах, состоит из трех слоев, по одному нейрону в каждом слое (см. рис. 2, б). Частично бинаризованными являются синапсы нейронов всех слоев. Результаты перекрестного тестирования не отличаются от полученных при контрастировании после бинаризации. Лучшие результаты тестирования дают нейросети с большим процентом удаленных синапсов и нейронов после сокращения неоднородных входов.
5 КОМБИНИРОВАНИЕ БИНАРИЗАЦИИ И КОНТРАСТИРОВАНИЯ
Были проведены эксперименты по последовательному совмещению процедур бинаризации и контрастирования. В первом случае последовательно проводилось контрастирование - бинаризация - контрастирование (КБК), во втором, бинаризация - контрастирование - бинаризация (БКБ).
5.1 Контрастирование-бинаризация-
контрастирование
При первой последовательности процедур (КБК) процент удаленных синапсов составил в среднем 94%, дополнительно (после второго контрастирования) удалено в среднем 9% синапсов, 25% входов и 6% нейронов. Заметим, если процент бинаризованных синапсов не превышает 10% (при этом процент удаленных нейронов минимален по сравнению с остальными сетями и не превышает 27%), то повторного контрастирования не происходит.
В среднем процент бинаризованных синапсов не превышает 39%, что связано с высокими процентами удаленных синапсов, входных сигналов и нейронов после первой процедуры контрастирования: в среднем удалено 94% синапсов, 83% входов и 45% нейронов.
Всего обучено 20 сетей, более подробные результаты 10 из них приведены в таблице 6. Процент правильно определенных примеров при перекрестном тестировании составил в среднем 96%. Более низкие результаты при тестировании по сравнению с другими дают нейросети, у которых либо повторного контрастирования не происхо-
дит вообще, либо суммарное количество дополнительно (после второй процедуры контрастирования) удаленных синапсов, нейронов и входов составляет 4-7, но процент бинаризации в этом случае не превышает 28%.
Таблица 6 — Результаты перекрестного тестирования (КБК)
Кол-во бинаризованных синапсов % бинаризованных синапсов Кол-во удаленных синапсов % удаленных синапсов Кол-во верно % верно Кол-во неверно % неверно Дополнительно удалено синапсов
Сеть 1 11 37,93 692 95,98 158 100,00 0 0,00 1
Сеть 2 11 36,67 691 95,84 157 99,37 1 0,63 1
Сеть 3 15 38,46 682 94,59 156 98,73 2 1,27 3
Сеть 4 5 5,95 637 88,35 144 91,14 14 8,86 0
Сеть 5 16 39,02 680 94,31 156 98,73 2 1,27 2
Сеть 6 30 57,69 669 92,79 155 98,10 3 1,90 7
Сеть 7 29 50,00 663 91,96 142 89,87 16 10,13 4
Сеть 8 19 42,22 676 93,76 155 98,10 3 1,90 6
Сеть 9 10 27,78 685 95,01 149 94,30 9 5,70 3
Сеть 10 20 55,56 685 95,01 158 100,00 0 0,00 0
Среднее 16,60 39,13 676 93,76 153,00 96,83 5,00 3,17 2,70
5.2 Бинаризация-контрастирование-бинаризация
При последовательности БКБ процент бинаризованных синапсов составил в среднем 62%, на втором этапе (после второй процедуры бинаризации) бинаризовано в среднем 4% синапсов. Причем, если процент бинаризации (при первой процедуре бинаризации) превышает 88%, то после контрастирования дальнейшей бинаризации не происходит. Процент правильно определенных примеров при перекрестном тестировании в среднем составляет 84% (см. табл. 7). Наилучшие результаты при тестировании дают нейросети, у которых процент дополнительно (после второй бинаризации) бинаризованных синапсов значительно больше остальных (от 6% до 26%).
Таблица 7 - Результаты перекрестного тестирования (БКБ)
Кол-во бинаризованных синапсов % бинаризованных синапсов Кол-во удаленных синапсов % удаленных синапсов Кол-во верно % верно Кол-во неверно % неверно Дополнительно бинаризовано синапсов
Сеть 1 188 80,00 486 67,41 123 86,62 19 13,38 1
Сеть 2 18 38,30 674 93,48 135 95,07 7 4,93 5
Сеть 3 134 68,72 526 72,95 117 82,39 25 17,61 0
Сеть 4 131 70,81 536 74,34 119 83,80 23 16,20 3
Сеть 5 221 80,66 447 62,00 116 81,69 26 18,31 0
Сеть 6 11 34,38 689 95,56 137 96,48 5 3,52 2
Сеть 7 409 82,46 225 31,21 107 75,35 35 24,65 2
Сеть 8 570 88,24 75 10,40 96 67,61 46 32,39 3
Сеть 9 196 81,67 481 66,71 113 79,58 29 20,42 1
Сеть 10 95 69,85 585 81,14 126 88,73 16 11,27 0
Среднее 197,30 69,51 472 65,52 118,9 83,73 23,10 16,27 1,70
Аналогично предыдущим экспериментам по контрастированию и бинаризации здесь выявлено большое количество неоднородных входов. В среднем дополнительно было удалено 56% синапсов (от оставшегося количества) и 64% нейронов. На результатах перекрестного тестирования данная процедура не отразилась.
для повышения качества обучения нейросетей на примере медицинских данных. Возможно использование описанного подхода для обработки различных данных из других предметных областей.
СПИСОК ЛИТЕРАТУРЫ
г X6
1-й слой 2-й слой3-й слой а)
1-й слой 2-й слой3-й слой
Рисунок 3 — Структура нейронной сети после бинаризации и контрастирования:
О - нейрон; ч - константа (подача постоянного сигнала); -► -
связь, где вес синапса равен -1; -у - связь, где вес синапса равен +1;
£ - сумматор; - связь между элементами сети (небинаризо-
ванные синапсы); «—», «+» - знак связи
Приведем графическое представление вербального описания нескольких нейросетей, полученных после последовательности процедур бинаризации и контрастирования (см. рис. 3). Бинаризованными являются нейроны всех 3 слоев вне зависимости от порядка проведения процедур контрастирования и бинаризации, больше бинаризованных синапсов у нейронов второго слоя. Минимальная структура сети представляет собой 3 слоя, по одному нейрону в каждом слое (см. рис. 3, б).
ЗАКЛЮЧЕНИЕ
В данной работе проведено исследование и сравнение таких методов упрощения нейронных сетей, как бинаризация и контрастирование. Работа проведена на нейронных сетях фиксированного размера и структуры. Отмечены сходства и различия в результатах их применения для задачи предикции на основе медицинских данных иммунного плазмафереза. Были получены результаты перекрестного тестирования для различных вариантов бинаризации, контрастирования внутренних синапсов и неоднородных входов, и комбинации данных процедур. Выявлено снижение процента бинаризованных синапсов после контрастирования и их комбинации, и довольно высокий процент бинаризации до контрастирования. Результаты перекрестного тестирования для данной задачи после отдельных бинаризации и особенно контрастирования по проведенным экспериментам дают результаты в среднем лучше, чем исходные без использования данных процедур. При комбинировании бинаризации и контрастирования результаты тестирования соответствуют первой из проведенных процедур. Следовательно, процедуры контрастирования и бинаризации целесообразно использовать
1. Решетникова Н.В., Петровская В.А., Товбис Е.М., Привалко Е.Ю., Жуков Л.А. Нейросетевая оценка влияния условий труда на параметры крови // Научная сессия МИФИ-2003. V Всероссийская научно-техническая конференция «Нейроинформатика-2003»: Сб. науч. трудов. Ч. 2. М.: МИФИ, 2003. С. 77-85
2. Решетникова Н.В., Петровская В.А., Товбис Е.М., Жуков Л.А. Анализ влияния условий труда на параметры крови с помощью нейросетей // Актуальные вопросы здравоохранения и медицинской науки: Сборник научных трудов / Под ред. д. м. н., проф. О.М. Новикова. Выпуск III. Красноярск, 2003. С. 194-204.
3. Клиническая иммунология: Руководство для практических врачей и врачей-интернов. - Красноярск, 1998. - 87 с.
4. Константинов В.Н. Белковосинтетическая функция печени и факторы неспецифического иммунитета при плаз-маферезе у доноров // Автореф. дисс. на соиск. уч. ст. канд. мед. наук. Актюбинск, 1971.
5. Приказ Минздрава РФ от 23 сентября 2002 г. № 295 «Об утверждении "Инструкции по проведению донорского прерывистого плазмафереза"».
6. Демидова Н.В. Функциональные системы организма доноров гипериммунной плазмы. - М.: Медицина, 1987. -160 с.
7. Горбань А.Н., Россиев Д.А. Нейронные сети на персональных компьютерах. Н.: Наука, 1996.
8. Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики. -Красноярск: Издательство КГТУ, 1998.
9. Россиев Д.А. Медицинская нейроинформатика / Нейро-информатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.
10. Горбань А.Н., Миркес Е.М. Нейронные сети ассоциативной памяти, функционирующие в дискретном времени. Вычислительный центр СО РАН в г. Красноярске. Красноярск, 1997. 23 с., библиогр. 8 назв. (Рукопись деп. в ВИНИТИ 17.07.97, № 2436-В97)
11. Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях. // Нейроинформатика и ее приложения: Материалы III Всероссийского семинара; КГТУ. Красноярск, 1995. С. 66-78.
12. Россиев Д.А., Головенкин С.Е., Назаров Б.В., Шульман В.А., Матюшин Г.В. Определение информативности медицинских параметров с помощью нейронной сети // Диагностика, информатика и метрология - 1994. - Тез. научно-технической конференции (г. Санкт-Петербург, 28-30 июня 1994 г.). С.-Петербург, 1994.- С. 348.
13. Оценка влияния плазмафереза на параметры крови с помощью методов статистики и нейросетей / Решетникова Н.В., Жуков Л.А. Красноярск. госуд. техн. ун-т. Красноярск, 2003. 33 с.: ил. 2. - Библиогр.: 15 назв. -Рус. - Рукопись деп. в ВИНИТИ 29.09.2003 № 1737-В2003.
14. Гордиенко П.В. Стратегии контрастирования // Нейро-информатика и ее приложения. Тезисы докладов 5 Всероссийского семинара, 3-5 октября 1997 г. / Под ред. А.Н.Горбаня. Красноярск: изд. КГТУ, 1997. С. 69.
Надшшла 09.12.2003 Шсля доробки 20.05.2004
Досл1джет pi3ni eapianmu контрастування i бтаризацп нейронних мереж на npuклaдi медичних даних. Виконано nоpiвняння якосmi тестування для бiнapuзовaннuх та небiнapuзовaннuх сuнanсiв.
Various variants of neural networks contrast and binary were investigated by the medical data example. Comparison of testing quality for binary synapse was executed.
X6
