CC BY
25
УДК 004.032.26
ФИЗИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ ОБУЧЕНИЯ НЕЙРОНОВ В НЕЧЕТКИХ КЛАСТЕРИЗУЮЩИХ СЕТЯХ ПРИ ИСПОЛЬЗОВАНИИ МИКРОТОМОГРАФИИ В МЕДИКО-БИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЯХ*
С. В. Горбачев1, Л. С. Быхалов2 3, Н. Н. Горбачева1
Национальный исследовательский Томский государственный университет, 2Волгоградский государственный медицинский университет, 3Волгоградский научный медицинский центр
Исследованы физические основы и интерпретация процедуры обучения нейронов в нечетких клеточных нейронных сетях Кохонена. На их основе описывается метод автоматической калибровки цифровых рентгеновских микротомографов, который сводится к нейро-нечеткой сегментации искаженного изображения в конечное число кластеров. Метод имеет большое практическое значение для развития микро- и нанотомографии в медико-биологических исследованиях.
Ключевые слова: рентгеновские микротомографы, детекторы изображения, калибровка, нейро-нечеткие сети. DOI 10.19163/1994-9480-2017-3(63)-36-40
PHYSICAL INTERPRETATION OF NEURON TRAINING IN FUZZY CLUSTERING NETWORKS WHEN USING MICROTOMOGRAPHY IN MEDICAL AND BIOLOGICAL RESEARCH
S. V. Gorbachev1, L. S. Bykhalov23, N. N. Gorbacheva2
1National research Tomsk state University, 2Volgograd State Medical University, 3 Volgograd medical research center
The physical bases and interpretation of the procedure for training neurons in the fuzzy cellular neural networks of Kohonen have been investigated. Based on them, the method of automatic calibration of digital X-ray microtomographs has been described. This method involves neural-fuzzy segmentation of a distorted image into a finite number of clusters. The method is of great practical importance for the use of microtomography in biomedical research. Key words: X-ray microtomographs, detectors, images, calibration, neuro-fuzzy networks.
Компьютерная микротомография - неразрушающий метод визуализации трехмерной внутренней микроструктуры объектов с использованием рентгеновского излучения. На сегодняшний день томографы можно условно разделить на 4 группы: рентгеновская микротомография, рентгеновская нанотомография, микротомография in vivo, система объемного элементного картирования.
Метод микротомографии является достаточно новым и универсальным методом, применяемым в медико-биологических исследованиях в России и за рубежом. В литературе описаны перспективные области его применения: морфометрия органов и тканей лабораторных животных in vivo, лазерная микротомография эмбрионов [7], метод трехмерной реконструкции применительно к зародышу мыши в доимплантационный период [8], исследование кальцинатов коронарных артерий с целью изучения их морфологии и фазового состава [4] и др. Кроме того, показано [6, 10], что микротомография позволяет производить неразрушающие исследования внутренней трехмерной структуры наноструктурирован-
ного титана на примере зубных имплантатов, отличающихся высокой прочностью и хорошей биологической совместимостью с костной тканью человека, без их предварительной обработки и подготовки.
Вместе с тем, одна из проблем, с которыми сталкиваются рентгеновские микротомографы, связана с различными видами искажений [9], так как различная плотность тканей и органов приводит к неоднородности рентгеновского пучка. Другая причина может быть связана с неисправностями оптически-электронной системы. Эти искажения фиксируются на захватываемом изображении в виде геометрически искаженной квадратной сетки, с усилением от центра [19, 20]. Двумерный рентгеновский детектор, предназначенный для регистрации рентгеновских изображений, устроен на базе матрицы, включающей в себя m кристаллов, чувствительных к гамма-лучам. Поэтому встает вопрос о необходимости соответствующей калибровки. По существу, калибровка стремится связать каждый пиксел выходного радиографического изображения с кристаллом, влияющим на этот пиксел [13, 16].
*Работа выполнена по программе повышения конкурентоспособности Национального исследовательского Томского государственного университета, при финансовой поддержке РФФИ (грант № 16-29-12858).
I^mpfö ©©СаГГГМЩ
В литературе описаны способы автоматизированной калибровки рентгеновских микротомографов, например, метод калибровки, основанный на преобразовании водораздела в [11], но они обычно рассчитаны на интерактивное исправление результатов пользователем и не учитывают ситуации, когда один и тот же пиксел с разными уровнями принадлежности (вероятности, возможности) может принадлежать сразу нескольким классам (кристаллам).
ЦЕЛЬ РАБОТЫ
Разработка автоматизированного метода калибровки рентгеновского микротомографа при использовании в медико-биологических исследованиях, на основе нейро-нечеткой кластеризующей сети, дающего возможность нечеткого разделения областей влияния кристаллов как пересекающихся кластеров. Исследование физических основ процедуры обучения нейронов в процессе калибровки.
МЕТОДИКА ИССЛЕДОВАНИЯ
Процесс калибровки производится на изображении, получаемым путем освещения детектора однородным пучком гамма-лучей на время, достаточное, чтобы получить изображение с высоким разрешением [15]. Уровень интенсивности получаемого изображения пропорционален числу гамма-лучей, которые поражают соответствующий кристалл, поэтому идентификация области влияния каждого кристалла может быть получена поиском пиков интенсивностей по изображению.
Автором разработан автоматизированный метод калибровки на основе новой гибридной архитектуры (рис. 1) - нечеткой клеточной нейронной сети Кохоне-на ^NN^0^1).
XI
-о-
-О-
-о-
Рис. 1. Архитектура нечеткой клеточной нейронной сети Кохонена
Клеточные нейронные сети (CNN) были введены Чуа и Янг [17, 18] и стали эффективно использоваться в вычислительных моделях обработки изображений. В работе [1 ] доказана возможность обучения ИНС Ко-
хонена клеточным автоматом (КА), позволяющим существенно улучшить качество и скорость самообучения, однако не решены вопросы разделяющих свойств сети в случае пересекающихся кластеров.
Предложенная автором архитектура нечеткой клеточной нейронной сети Кохонена ^NN^01^) содержит 3 слоя:
1)входной (рецепторный)слой;
2) слой нейронов Кохонена [5] с латеральными связями, обучаемых КА для определения центроидов пиков интенсивностей изображения в виде пересекающихся кластеров;
3) дополнительный (выходной) слой нечеткой кластеризации (рис.1), вычисляющий уровни принадлежности текущего вектора изображения каждому кластеру.
Рассмотрим работу FCNN-S0M поэтапно.
Алгоритм обучения FCNN-S0M
Наборы входных пикселов х(к) = (х1(к),.., хп(к)), (здесь к = 1,.., N имеет смысл номера изображения в обучающей выборке) с рецепторного (нулевого) слоя последовательно подаются на нейроны слоя Кохонена N(I = 1,..., т), имеющего топологию кристаллической решетки матрицы рентгеновского детектора.
Настраиваемые синаптические веса w(k) (I = 1, ..., т;I = 1,.., п)определяют центроиды тпересекающихся кластеров w(k) = ^р(к), ..., w(k), ..., wnn(k)), соответствующие т «лучшим» пикам интенсивности по изображению, где т - количество кристаллов на матрице детектора.
Этап 1. Предварительная обработка данных. Входные данные центрируются и стандартизируются [14] по всем ординатам так, чтобы все наблюдения принадлежали гиперкубу [-1;1]п.
Этап 2. Инициализация начального состояния нейронов сети, обеспечивающая самостоятельное адаптивное саморазворачивание нейронов сети с образованием упорядоченной самоорганизующейся карты Кохонена. Главная идея этого способа заключается в постепенном втягивании активными нейронами неактивных нейронов в нормированный гиперкуб пространства учебных образцов [1]. Для этого при инициализации сети все нейроны исходно помещаются в произвольную точку на гиперсфере достаточно большого радиуса R, центр которой совпадает с центром пространства учебных образцов. Радиус R гиперсферы выбирается таким образом, чтобы находящиеся на гиперсфере нейроны никогда не могли победить и «втягивались» бы в гиперкуб учебных образцов только благодаря своим связям с ранее победившими нейронами, а не за счет собственных побед.
Этап 3 (модифицированный). Обучение слоя Кохонена клеточным автоматом Мура.
Поскольку задача состояла в восстановлении структуры сетки матрицы кристаллов, данный метод определяет центры кластеров и соединяет эти центры согласно фиксированной топологии карты Кохонена. Нейроны в обученной карте должны располагаться
в довольно однородном пространстве, последовательно, с геометрическими искажениями, существующими по выходному изображению и независимо от различий в уровнях интенсивности, связанных с пиками. Поэтому этап 3 можно назвать этапом упорядочения сетки, во время которого процедура обучения будет пытаться на входных векторах строить сетку нейронов таким образом, чтобы в большой степени учитывалась информация, которая отражает ожидаемую структуру сети. Для этого вводится более специфичное понятие окрестности, которое принимает во внимание геометрическую природу нейронной сети, и соответственно обновление весов нейрона-победителя и нейронов-соседей происходит в пределах определенного расстояния от нейрона-победителя, в направлении X и Y сетки. Этот выбор будет давать более высокий вес такой топологии сетки, которая первоначально связалась бы с центрами пиков интенсивности излучения.
Этап 3 калибровки реализуется обучением сети Кохонена клеточным автоматом с конфигурацией фон Неймана, предполагающей наличие только горизонтальных и вертикальных связей между соседними ячейками КА (нейронами SOM). Ячейкой КА является нейрон слоя Кохонена, топологически связанный в окружении фон Неймана с 4 (на границе - с 2 или 3) соседними нейронами двумерной самоорганизующейся карты Кохонена (рис. 2).
обучения. Любой к-й нейрон карты Кохонена в итерациях эпохи может изменить свой многомерный вектор состояния в двух случаях:
1) нейрон стал победителем;
2) нейрон является соседом другого победившего нейрона. Тогда среднее суммарное приращение /-ой компоненты вектора состояния к-го нейрона с окружением фон Неймана за одну эпоху будет равно:
Ц (^) -Ч.)
т j=1
= Л
I
(1)
где -л - скорость обучения; к - номер нейрона-победителя; т= к-Ц к+1, к+Ц к-1 - номера нейронов из окружения к-го нейрона;
Ц - ширина прямоугольной самоорганизующейся карты Кохонена;
пт - число учебных образцов, попавших в окрестность Вороного т-го нейрона;
х^) - /-я координатаj-го учебного образца из ок-
Рис. 2. Топология клеточной карты Кохонена в окружении фон Неймана
В соответствии с принципом «ближайшего соседа» нейроны сети являются центрами многомерных окрестностей Вороного, на которые, подобно мозаике, делится все пространство учебных примеров в итерациях
рестности Вороного т-го нейрона;
wl/i - /-я координата к-го нейрона.
к+4
Обозначим £ = I пт , тогда выражение (1)
т=к
можно переписать в виде: = Л £ I пт(Хт. - ) (2),
^ т
где хт. - /-я координата центра тяжести окрестности Вороного т-го нейрона.
Физический смысл выражения (2) состоит в том, что в каждой эпохе обучения к-й нейрон смещается на относительную величину - в направлении центра тяжести области пространства учебных образцов, образованной объединением окрестностей Вороного к-го нейрона-победителя и его ближайших соседей в окружении фон Неймана. В частности, при - = 1 нейрон смещается точно в центр тяжести этой объединенной области.
Этап 4. Тонкая настройка, во время которой окрестность каждого нейрона включает только самого себя: практически, каждый входной вектор вызывает обновление только весов нейрона-победителя, при этом используется медленное уменьшение скорости обучения, без изменения упорядоченной структуры сетки, достигнутой на предыдущем этапе.
Этап 5 (дополнительный). Обучение сети алгоритмом нечеткой кластеризации Бездека [12] вместо алгоритма WTA, при отключенных латеральных связях в слое Кохонена.
При отсутствии четко выраженной границы между соседними кластерами к слою Кохонена добавлен выходной слой нечеткой кластеризации (рис. 1), нейроны которого N вычисляют уровни принадлежности
т
I^mpfö ©©СаГГГМЩ
и(к) = (и1(к), ..., ит(к))текущего вектора изображения к 1-му кластеру (кристаллу), I = 1,..., т.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
И ИХ ОБСУЖДЕНИЕ
Таким образом, для создания нейро-нечеткой системы калибровки изображений, регистрируемых двумерным рентгеновским детектором микротомографа, метод определяет на выходном изображении пиксельные кластеры влияния каждого кристалла, для чего находятся центроиды пиков интенсивности рентгеновского излучения, которые соединяются согласно топологии обученной нейронной сети Кохонена. Для разделения пересекающихся кластеров и повышения точности калибровки для каждого входного вектора изображения рассчитывается нечеткая степень принадлежности к соответствующему кристаллу. Все вышесказанное позволяет использовать предложенный метод в медико-биологических исследованиях.
Следует отметить, что выходной слой подключается к уже обученной нейронной сети Кохонена и используется непосредственно в обработке входных пикселов. Таким образом, предложенная FCNN-S0M может работать в режиме как четкой, так и нечеткой кластеризации - в зависимости от характера обрабатываемых данных [2, 3].
ЗАКЛЮЧЕНИЕ
В статье представлена новая, основанная на ней-ро-нечетких технологиях, методика для автоматической калибровки цифровых рентгеновских микротомографов, использующихся в медико-биологических исследованиях. Процедура калибровки сводится к разбиению искаженного радиографического изображения на конечное число кластеров так, что каждый пиксел изображения связывается с определенной степенью принадлежности с соответствующим кристаллом, который был фактически поражен гамма-лучом. Для повышения точности калибровки разработана новая гибридная архитектура - нечеткие клеточные нейронные сети Кохонена, при этом используется модифицированное понятие окрестности и дополнительный специфичный этап обучения. Дана оригинальная физическая интерпретация процедуре обучения нейронов как процессу смещения на относительную величину в направлении центра тяжести области пространства учебных образцов, образованной объединением окрестностей Вороного нейрона-победителя и его ближайших соседей. Описанный метод позволяет эффективно решать сложные задачи обработки информации, когда классы, подлежащие разделению, имеют произвольную форму и пересекаются между собой, отличается высокой точностью и эффективностью для решения задач кластеризации данных в условиях неопределенности, в том числе на границах изображения, низким временем обучения, надежностью против шума, пространственных искажений и большой изменчивости в степенях интенсивности пикселов.
Перспектива практического использования метода связана с повышением оперативности и качества микротомографии в медико-биологических исследованиях, а также с развитием средств нанотомографии.
ЛИТЕРАТУРА
1. Аникин В.И. Обучение искусственной нейронной сети Кохонена клеточным автоматом / В.И. Аникин, А.А. Карма-нова // Информационные технологии. - 2014. - № 11. -С. 73-80.
2. Борисов В.В., Круглое В.В., Федулов А.С. Нечеткие модели и сети. - 2-е изд., М.: Горячая линия - Телеком, 2012. - 284 с.
3. Горбачев С.В., Сырямкин В.И. Нейро-нечеткие методы в интеллектуальных системах обработки и анализа многомерной информации. - Томск: Изд-во Томского государственного университета, 2014. - 510 с.
4. Евдокимов Ф.А. Кальцинаты в коронарных артериях: исследование морфоструктуры методом рентгеновской микротомографии / Мат. I всероссийской научной конференции «Практическая микротомография» 28-30 ноября 2012г., г. Казань.
5. Кохонен Т. Самоорганизующиеся карты. - М., БИНОМ. Лаборатория знаний, 2008. - 655 с.
6. Пихур О.Л., Плоткина Ю.В., Франк-Каменецкая О.В., Павлов М.Р. Компьютерная микротомография при исследовании твердых тканей зубов // Альманах клинической медицины. - 2008. - № 17. - С. 236-237
7. Погорелов А.Г., Погорелова В.Н. Количественная микротомография раннего эмбриона млекопитающих посредством лазерной сканирующей микроскопии // Бюллетень экспериментальной биологии и медицины. - 2009. - № 10. -С. 478-480
8. Погорелов А.Г., Кантор Г.М., Сахарова Н.Ю., Смирнов А.А., Аксиров А.М., Чайлахян Л.М. 3-D реконструкция эмбриона мыши на ранних стадиях предимплантационного развития // Цитология. -2005. - Т. 47, № 8. - С. 686-691.
9. Сырямкин В.И., Горбачев С.В., Сунцов С.Б. Адаптивные нейросетевые алгоритмы диагностики материалов, оборудования и радиоэлектронной аппаратуры. LAMBERT Academic Publishing, Saarbrucken, 2013. - 269 с.
10. Шаркеев Ю.П., Белявская О.А., Ерошенко А.Ю., Капранов Б.И., Белкин Д.С., Клименов В.А. Исследование имплантантов из наноструктурированногоскофии // Контроль. Диагностика. - 2011. - № 11. - С. 28-32.
11. Mao A. Positron emission tomograph detector module calibration through morphological algorithms and interactive correction, Society for Technical Communication, Washington, DC, International Student Technical Writing Competition (ISTWC), Winners, 1999-2000.
12. Bezdek, J. C. Pattern Recognition with Fuzzy Objective Function Algorithms / Bezdek J. C. - N. Y.: Plenum Press, 1981. -272 p.
13. Solorzano C.O., E. Garcia Rodriguez, A. Jones, D. Pinkel, J.W. Gray, D. Sudar, S.J. Lockett, Segmentation of Confocal Microscope Images of Cell Nuclei in Thick Tissue Sections, Journal of Microscopy, vol. 3, 1999. - pp. 212-226
14. Dvoretzky A. On stochastic approximation / A. Dvoretzky // Proc. 3-rd Berkley Symp. Math. Statistics and Probability. - 1956. -Vol. 1. - pp. 39-55.
15. Sorenson J.A., Phelps M.E. Physics in Nuclear Medicine. W.B. Saunders Company, 1987. - 312 p.
16. Vaquero J.J., Seidel J., Siegel S, Gandler W.R., Green M.V. Performance Characteristics of a Compact Position-Sensitive LSO Detector Module, IEEE Transactions on Medical Imaging, vol. 17 (no. 6), December 1998. - pp.432-448.
17. Chua L.O., Yang L. Cellular neural networks. Theory, IEEE Transactions on Circuits and Systems CAS-35 (10), 1988. -pp.1257-1272.
©äSmpfä ©©CöFflM]^
18. Chua L.O., Yang L. Cellular neural networks. Applications, IEEE Transactions on Circuits and Systems CAS-35 (10), 1988. -pp.1273- 290.
19. Gonzalez R.C., Woods R.E. Digital Image Processing. AddisonWesley Publishing Company, 1992. - 289 p.
20. Yu X. Performance of Computer-Aided Lesion Detection by Multidimensional Linear Feature Mapping in Positron Emission Tomograph: A Clinical Study, Whitaker Foundation Biomedical Engineering Research Grants, April 1997. - 183 p.
REFERENCES
1. Anikin V.I. Obuchenie iskusstvennoj nejronnoj seti Kohonena kletochnym avtomatom [Training of artificial neural network Kohonen cellular automaton] Informacionnye tehnologii. 2014, no1, S. 7380 (In Russ.)
2. Borisov V.V., Kruglov V.V., Fedulov A.S. Nechetkie modeli i seti. 2-e izd., M.: Gorjachaja linija Telekom, 2012. 284 s.
3. Gorbachev S.V., Syrjamkin V.I. Nejro-nechetkie metody v intellektual'nyh sistemah obrabotki i analiza mnogomernoj informacii. Tomsk: Izd-vo Tomskogo gosudarstvennogo universiteta, 2014. 510 s.
4. Evdokimov F.A. Kal'cinaty v koronarnyh arterijah: issledovanie morfostruktury metodom rentgenovskoj mikrotomografii. Mat. I vserossijskoj nauchnoj konferencii «Prakticheskaja mikrotomografija» 28-30 nojabrja 2012g., g. Kazan'.
5. Kohonen T. Samoorganizujushhiesja karty. M., BINOM. Laboratorija znanij, 2008. 655 s.
6. Pihur O.L., Plotkina Ju.V., Frank-Kameneckaja O.V., Pavlov M.R. Komp'juternaja mikrotomografija pri issledovanii tverdyh tkanej zubov [Computer microtomography in the study of hard tooth tissues] Al'manah klinicheskoj mediciny. 2008, no17, S. 236-237 (In Russ.)
7. Pogorelov A.G., Pogorelova V.N. Kolichestvennaja mikrotomografija rannego jembriona mlekopitajushhih posredstvom lazernoj skanirujushhej mikroskopii [Quantitative microtomography of the early mammalian embryo by laser scanning microscopy] Bjulleten' jeksperimental'noj biologii i mediciny. 2009, no10, S. 478-480 (In Russ.)
8. Pogorelov A.G., Kantor G.M., Saharova N.Ju., Smirnov A.A., Aksirov A.M., Chajlahjan L.M. 3-D rekonstrukcija jembriona myshi na rannih stadijah predimplantacionnogo razvitija [3-D mouse
embryo reconstruction in the early stages of preimplantation development] Citologija. -2005, T. 47, no8. S. 686-691 (In Russ.)
9. Syrjamkin V.l., Gorbachev S.V., Suncov S.B. Adaptivnye nejrosetevye algoritmy diagnostiki materialov, oborudovanija i radiojelektronnoj apparatury. LAMBERT Academic Publishing, Saarbrucken, 2013. 269 s.
10. Sharkeev Ju.P., Beljavskaja O.A., Eroshenko A.Ju., Kapra-nov B.I., Belkin D.S., Klimenov V.A. Issledovanie implantantov iz nanostrukturirovannogoskofii [ ] Kontrol'. Diagnostika. 2011, no11, S. 28-32 (In Russ.)
11. Mao A. Positron emission tomograph detector module calibration through morphological algorithms and interactive correction, Society for Technical Communication, Washington, DC, International Student Technical Writing Competition (ISTWC), Winners, 1999-2000.
12. Bezdek, J. C. Pattern Recognition with Fuzzy Objective Function Algorithms / Bezdek J. C. N. Y.: Plenum Press, 1981. 272 p.
13. Solorzano C.O., E. Garcia Rodriguez, A. Jones, D. Pinkel, J.W. Gray, D. Sudar, S.J. Lockett, Segmentation of Confocal Microscope Images of Cell Nuclei in Thick Tissue Sections, Journal of Microscopy, vol. 3, 1999. pp. 212-226
14. Dvoretzky A. On stochastic approximation / A. Dvoretzky Proc. 3-rd Berkley Symp. Math. Statistics and Probability. 1956. 1. pp. 39-55.
15. Sorenson J.A., Phelps M.E. Physics in Nuclear Medicine. W.B. Saunders Company, 1987. 312 p.
16. Vaquero J.J., Seidel J., Siegel S., Gandler W.R., Green M.V. Performance Characteristics of a Compact Position-Sensitive LSO Detector Module, IEEE Transactions on Medical Imaging, vol. 17 (no. 6), December 1998. pp.432-448.
17. Chua L.O., Yang L. Cellular neural networks. Theory, IEEE Transactions on Circuits and Systems CAS-35 (10), 1988. pp.1257-1272.
18. Chua L.O., Yang L. Cellular neural networks. Applications, IEEE Transactions on Circuits and Systems CAS-35 (10), 1988. pp.1273-290.
19. Gonzalez R.C., Woods R.E. Digital Image Processing. AddisonWesley Publishing Company, 1992. 289 p.
20. Yu X. Performance of Computer-Aided Lesion Detection by Multidimensional Linear Feature Mapping in Positron Emission Tomograph: A Clinical Study, Whitaker Foundation Biomedical Engineering Research Grants, April 1997. 183 p.
Контактная информация
Горбачев Сергей Викторович - к. т. н., с. н. с. международной лаборатории «Системы технического зрения», Национальный исследовательский Томский государственный университет, e-mail: [email protected]
