CC BY
40
ИЗУЧЕНИЕ УПРОЩЕНИЯ НЕЙРОСЕТЕЙ ПО МЕДИЦИНСКИМ ДАННЫМ
Н.В. Решетникова, Л.А. Жуков Красноярский государственный технический университет Сибирский государственный технологический университет
E-mail: [email protected], [email protected], [email protected]
В работе проводилось исследование особенностей контрастирования и бинаризации медицинских данных на примере обработки параметров анализов крови доноров электролизных цехов Красноярского алюминиевого завода, подвергшихся иммунному плазмаферезу. Сбор исходных данных и их первичная обработка проводились на базе Красноярской краевой станции переливания крови за период с 1978 г. по 1992 г. врачом Петровской В. А. Исходные данные включают гематологические, биохимические и иммунологические параметры крови и дополнительно плазмафереза.
Цель работы: провести эксперименты по приведению нейросетей к логически прозрачному виду для выявления взаимосвязи различных параметров в терминах предметной области. Логически прозрачной называется сеть, по структуре которой легко можно сформировать алгоритм решения задачи. Для упрощения нейросетей проводились процедуры бинаризации и контрастирования [4]. Бинаризация - приведение весов синапсов и пороговых входов к конечному набору выделенных значений -1 и 1. Контрастирование предполагает удаление наименее значимых входных параметров [2,3].
При упрощении нейронных сетей существует ряд критериев, следуя которым можно исключить из рассмотрения наименее значимые входные сигналы и элементы, а значит привести сеть к логически прозрачному виду [4]:
1) Чем меньше нейронов в каждом из имеющихся путей прохождения сигналов в сети от входа к выходу, тем лучше.
2) Чем меньше число нейронов в каждом слое сети, тем лучше.
3) Чем меньше входных сигналов сети, тем лучше.
4) Чем меньше число приходящих на нейрон сигналов, тем лучше. Однако может быть модификация этого критерия и введение критерия равномерной простоты сети - на каждый нейрон сети должно приходить не более n сигналов, где n достаточно мало (2-3 или другое заданное пользователем).
5) Чем меньше общее число синапсов в сети, тем лучше.
6) Синапс, по которому передается сигнал, логически непрозрачнее неоднородного входа нейрона. Неоднородный вход нейрона - это просто константа, в отличие от синапса, выполняющего умножение своего веса на величину поступающего на синапс сигнала.
7) Необходимо приведение значений настраиваемых параметров сети к конечному набору выделенных значений (бинаризация) [3].
Для обработки использовалось программное обеспечение КеигоРго у.0.25, реализующее нейронные сети с учителем [1]. Для экспериментов использовалась выборка одной из категории рабочих алюминиевого производства - анодчиков, выходное поле - общее количество лейкоцитов. Была проведена процедура контрастирования входных сигналов для 4-х сетей, исходно содержащих 3 слоя по 10 нейронов в каждом из них.
В среднем, после контрастировании остались следующие наиболее значимые входные параметры (табл.1):
Х7 Эозинофилы 0,36
Х29 Суммарная доза извлеченной плазмы 0,35
Х30 Интервал между плазмаферезами 0,35
Х9 Сегментоядерные 0,25
Х15 АлАт 0,25
Следует отметить, что в среднем, пара контрастированных параметров Х15, Х16 имеет меньшие значимости, чем Х7, Х9.
Таблица 1
Показатели значимости после контрастирования сетей
Пока Сеть Ранг Сеть Ранг Сеть Ранг Сеть Ранг Сумма Ранг Среднее
зате 1 1 2 2 3 3 4 4 рангов
ли
Х7 0,47 3 0 5 0 5 0,97 2 15 2 0,36
Х8 0 5 0,39 3 0 5 0 5 18 5 0,10
Х9 0 5 0 5 0 5 1,00 1 16 3 0,25
Х11 0,61 2 0 5 0 5 0 5 17 4 0,15
Х12 0 5 0,29 4 0 5 0 5 19 6 0,07
Х15 0 5 0 5 1,00 1 0 5 16 3 0,25
Х16 0 5 0 5 0,83 2 0 5 17 4 0,21
Х29 1,00 1 0,41 2 0 5 0 5 13 1 0,35
Х30 0,40 4 1,00 1 0 5 0 5 15 2 0,35
Была проведена бинаризация весов синапсов и неоднородных входов, а также сокращение числа синапсов для 4-х сетей, исходно содержащих 3 слоя по 10 нейронов в
каждом из них. Если провести бинаризацию до контрастирования и упрощения сети процент бинаризированных синапсов выше и составляет в среднем от 63% до 89%. Причем эти крайние значения интервалов представляют соответственно студенты (минимум) и анодчики (максимум). В среднем для первой группы профессий (анодчики, электролизники, крановщики) этот процент несколько выше, чем для второй (сварщики, слесари, литейщики), хотя из второй группы выбиваются литейщики со значением более характерным для первой группы профессий (81,08%), а из первой - крановщики (77,86%).
При бинаризации после контрастирования процент бинаризованных синапсов значительно падает и составляет уже от 2% до 44% для разных сетей. Крайние границы представляют студенты (минимум) и литейщики (максимум). В целом можно сказать, что в среднем удаляется от 239 до 350 синапсов из 411 возможных. Максимальное количество удаляется для данных литейщиков, минимальное - соответственно для студентов. При этом параллельно в некоторых случаях происходят процедуры удаления излишних нейронов и входных сигналов. Максимально в среднем было удалено 12 нейронов из 30 (для данных крановщиков) и 6 входов (для электролизников). Из четырех сетей две содержали по 4 входных параметра (симптома), две остальные - по два. При вычислении выходного параметра во всех 4 сетях использовались синдромы третьего уровня (нейроны третьего слоя) и некоторая константа.
Для одной из сетей (бинаризация после контрастирования) можно представить схему на рис.1 (входные поля - Х15 (АлАт), Х16 (тимоловая проба), выходное - общее количество лейкоцитов). Для другой сети (бинаризация после контрастирования) можно представить схему на рис.2 (входные поля - Х7 (эозинофилы), Х9 (сегментоядерные), выходное - общее количество лейкоцитов) (рис.2).
Рис. 1. Трехслойная нейронная сеть с входными полями Х15, Х16
1-й уровень 2-й уровень 3-й уровень нейронов нейронов нейронов Рис. 2. Трехслойная нейронная сеть с входными полями Х7, Х9 На рисунках использованы следующие обозначения: О - нейрон,
^ - константа (подача постоянного сигнала), -► - связь, где вес синапса равен -1,
- * связь, где вес синапса равен +1,
- Е сумматор,
_ - связь между элементами сети (синапсы).
"+", "-" - знак связи.
Данные сети не является логически прозрачной, т.к. не удовлетворяет двум рекомендациям: 1) Синапс, по которому передается сигнал, логически непрозрачнее неоднородного входа нейрона. Действительно, неоднородный вход нейрона - это просто константа, в отличие от синапса, выполняющего умножение своего веса на величину поступающего на синапс сигнала. Поэтому в первую очередь из сети должны исключаться синапсы, а только потом - неоднородные входы адаптивных сумматоров [2]; 2) не все веса бинаризованы.
Причем, сеть на рис.2 имеет всего один бинаризованный вес синапса на входе третьего нейрона второго уровня, в отличие от сети на рис.1, имеющей все бинаризованные веса синапсов на выходе нейронов третьего слоя. Поэтому первая сеть более логически прозрачна и имеет более простое вербальное описание:
Предобработка входных полей БД для подачи сети: Х15=(Х15-14)/13 Х16=(Х16-2,3)/2,3 Функциональные преобразователи: Сигмоида1(Л)=Л/(0,1+|Л|) Сигмоида2(Л)=Л/(0,1+|Л|) Сигмоида3(Л)=Л/(0,1+|Л|) Синдромы 1-го уровня:
Синдром 1_1=Сигмоида1 ( -0,04182678*Х15 ) Синдром 1_2=Сигмоида 1 ( 0,4195326*Х15-0,4685297*Х16 ) Синдром1_3=Сигмоида1(-0,07820331*Х15-0,0876476*Х16-0,127776 ) Синдром 1_4=Сигмоида1( 0,001059906*Х15 )
Синдром 1_5=Сигмоида 1 ( -0,4362015*Х15-0,2746722*Х16-0,4008301 ) Синдромы 2-го уровня:
Синдром2_1=Сигмоида2( -Синдром1_1+Синдром1_4 ) Синдром2_2=Сигмоида2( 0,3251574* Синдром 1_2+
+0,2397753*Синдром1_3+0,2904426) Синдром2_3=Сигмоида2( -0,3106153*Синдром1_2+
+0,1421913*Синдром1_3- Синдром1_4- 0,09089532*Синдром1_5) Синдром2_4=Сигмоида2( Синдром 1_2 ) Синдромы 3-го уровня:
Синдром3_1=Сигмоида3(0,03371634*Синдром2_1-0,3264176*Синдром2_2-
-0,6823077*Синдром2_3-0,3735962*Синдром2_4 ) Синдром3_2=Сигмоида3(-0,02128607*Синдром2_1+
+0,4208932*Синдром2_3 + 0,3155361*Синдром2_4 ) Синдром3_3=Сигмоида3( -0,001097845*Синдром2_1 ) Конечные синдромы:
Х6=Синдром3_1-Синдром3_2+Синдром3_3 -0,02371071 Постобработка конечных синдромов:
Х6=((Х6*11,4000000953674)+16,5999999046326)/2)
При бинаризации без контрастирования попытка получения полностью бинаризованной сети путем увеличения числа нейронов и слоев не принесла особых результатов. При числе
слоев от 4 до 7 (по 10 нейронов в каждом слое) процент бинаризованных синапсов не превышал 60%, при увеличении числа нейронов в слое до 30 (при количестве слоев 4) процент бинаризованных сннапсов составил 70%, но при этом несколько ухудшается качество обучения. Наиболее бинаризованной оказалась сеть с 3 слоями по 30 нейронов в каждом, процент бинаризации здесь составил 90%.
Довольно сложно добиться при упрощении нейронной сети бинаризации всех связей. Это зависит от сложности, как самой задачи, так и взаимосвязей между параметрами. С одной стороны процедура упрощения позволяет получить более простую структуру нейросети, а значит выявление наиболее значимых параметров, но с другой стороны падает процент бинаризованных связей, а значит, появляется больше нелинейных объектов, что затрудняет процесс описания полученных результатов. Как и следовало ожидать, для данной задачи сложно получить полностью логически прозрачную нейронную сеть, т.к. параметры крови и плазмафереза имеют довольно сложные взаимосвязи между собой.
Список литературы
1. Горбань А.Н., Россиев Д.А. Нейронные сети на персональных компьютерах. Н.: Наука, 1996
2. Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // Нейроинформатика и ее приложения: Материалы III Всероссийского семинара, 6-8 октября 1995 г. Ч. 1/Под ред. А.Н.Горбаня; Красноярск: Изд-во КГТУ, 1995. С. 66-78.
3. Гордиенко П.В. Стратегии контрастирования // Нейроинформатика и ее приложения. Тезисы докладов 5 Всероссийского семинара, 3-5 октября 1997 г. / Под ред. А.Н.Горбаня. Красноярск: изд. КГТУ, 1997. С. 69.
4. Царегородцев В.Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей // Методы нейроинформатики. -Красноярск: Издательство КГТУ, 1998.
