CC BY
51
И нформационные технологии в управлении
УДК 004.93’1;004.932
ПРИМЕНЕНИЕ ПЕРСЕПТРОНОВ ДНЯ НЕЛИНЕЙНОЙ РЕКОНСТРУКТИВНОЙ ТОМОГРАФИИ
Ю. Н. Кульчин, И. В. Денисов, А. В. Панов, Н. А. Рыбальченко
Представлены принципы решения нелинейных задач реконструктивной томографии с помощью нейронных сетей типа «персептрон». Показаны особенности нейронных сетей, позволяющие значительно увеличить эффективность вычислительного процесса реконструкции исследуемых физических полей, технических и технологических объектов. Предложены пути практической реализации нейронных сетей на основе многослойного персептрона и области их применения.
ВВЕДЕНИЕ
Задача томографической реконструкции функций распределения физических полей стала достаточно актуальной в последние десятилетия в связи с расширением области практического применения ее решений и быстрым развитием компьютерной техники, позволяющим создавать и применять новые высокоскоростные методы сбора и обработки информации, поступающей от измерительных устройств [1].
Возможен как параллельный, так и последовательный сбор информации. Первый из них позволяет осуществлять сбор больших массивов данных за один акт, но, как правило, очень сложен в реализации. Второй значительно выигрывает в простоте реализации, но уступает в скорости обработки массивов данных, что существенно сказывается при восстановлении объектов большой протяженности.
Различие устройств обработки собранной информации определяется выбором чисто компьютерного или предварительного аппаратного решения применяемых математических алгоритмов. В первом из этих случаев алгоритмы реализуются в виде программ в персональном компьютере, поэтому устройства сбора информации от детектирующих систем осуществляют простейшие преобразования информации в цифровую форму. Во втором случае алгоритмы реализуются аппаратно, т. е. осуществляются необходимые функциональные преобразования поступающей информации и
обработанная информация передается для интерпретации и визуализации на компьютер.
Математически постановка томографической задачи заключается в восстановлении параметров исследуемых объектов по интегральным данным, поступающим от измерительных линий. Как правило, число измерительных линий значительно меньше числа элементов исследуемых полей. В результате число неизвестных в уравнениях превосходит число уравнений, в связи с чем задача томографического восстановления функций распределения исследуемой величины по неполным интегральным данным является некорректной [2].
Разработано большое число алгоритмов, применяемых при восстановлении информации о параметрах распределенных физических полей. Это объясняется как исключительным разнообразием постановок томографических задач и способов реализации их решений, так и непрекращающимися усилиями специалистов разработать алгоритмы, превосходящие известные хотя бы по одному из следующих параметров: быстродействию, объему памяти, разрешающей способности, контрасту, числу необходимых проекций и др. [3].
Среди существующих типов томографических задач выделяются нелинейные задачи, возникающие в случае криволинейных измерительных линий либо в случае нелинейной зависимости интегральных данных от измеряемой величины, вызванной физическими характеристиками носителя сигнала. При решении нелинейных томографических задач прибегают к адаптации существующих алгоритмов к условиям эксперимента. В результа-
те чего, как правило, возрастают требования к вычислительным мощностям и одновременно снижается точность восстановления. В реальных условиях траектории измерительных линий, размер и характер влияния исследуемой характеристики объекта на уровень интегрального сигнала могут варьироваться, что снижает точность реконструкции.
Наиболее перспективный способ решения томографических задач заключается в применении алгоритмов работы нейронных сетей (НС), обладающих рядом положительных качеств, наиболее важными из которых, применительно к реконструктивной томографии, являются свойства адаптации и обобщения. Свойство адаптации НС к конкретным условиям задачи, возникает в результате ее обучения. Обобщение обученной НС заключается в том, что она может решать задачу для первоначально неизвестных для нее распределений, принадлежащих к тому же классу, что и использовавшиеся при обучении.
Цель данной работы состоит в представлении принципов нейросетевых способов решения нелинейных задач реконструктивной томографии.
1. НЕЙРОСЕТЕВЫЕ ПРИНЦИПЫ ОБРАБОТКИ ИНФОРМАЦИИ
Существует ряд НС, алгоритмы работы которых позволяют осуществлять реконструкцию распределенных физических полей. Исследование этих НС, вопросов их применимости и оптимального функционирования после обучения остается открытым. Среди наиболее часто применяемых для решения томографических задач НС можно выделить НС типа многослойного персептрона, обладающего высокими потенциальными возможностями по сравнению с другими НС.
Такая НС представляет собой однонаправленную НС, состоящую из нескольких слоев, сигналы в которой передаются только в одном направлении, от входного слоя к выходному, причем нейроны одного слоя связаны только с нейронами последующего по ходу распространения сигналов слоя и не связаны друг с другом в одном слое [4]. Персептроны бывают однослойными с простой, прозрачной архитектурой и ограниченными возможностями. Как правило, такие НС применяются для частной классификации гладких функций. Поскольку данная линейная разделимость ограничивает возможности персептронного представления [5], то вводят дополнительные слои, образующие многослойные НС типа персептрона, применяющиеся для общей классификации выпуклыми областями [6].
На рис. 1 показана архитектура трехслойного персептрона, чаще всего применяемого для реше-
Рис. 1. Схема нейронной сети типа персептрона с тремя слоями нейронов
ния томографических задач. Первый слой нейронов выступает в качестве входа НС, формируя входной вектор X = {т1, х2, ..., хк}, где т1, х2, ..., хк — интегральные данные, снимаемые с выходов измерительной системы, к — число нейронов во входном слое, равное числу измерительных линий. Первый слой НС не несет никакой иной функциональной нагрузки. Второй слой нейронов сети (так называемый скрытый слой) осуществляет преобразование вида:
о
^кхк
+ 0, / = 1, 2, ..., &, (1)
где о
У
выходные состояния нейронов второго
слоя, Wjк — коэффициенты матрицы межнейрон-ных связей первого и второго слоев, определяющие связь между к-м нейроном первого слоя и у-м
нейроном второго слоя, 0. — пороговые уровни
скрытого слоя, & — число нейронов во втором слое, / — эмпирически подбираемая функция активации, в качестве которой используются линейные, сигмоидные (например, униполярная сигмоида или гиперболический тангенс), радиальнобазисные зависимости. Выходной слой обычно осуществляет линейное преобразование вида:
(2)
где у/ — активации нейронов выходного слоя, w/j — коэффициенты матрицы межнейронных связей второго и третьего слоев, 0е — пороговые уровни для выходного слоя, ( — число нейронов в третьем слое. Число нейронов в каждом из слоев обычно
выбирается в соответствии с условиями решаемой задачи.
Процесс подбора элементов матрицы связей и векторов пороговых значений w/•k , wi■, 0^, 0е при минимизации ошибки рассогласования требуемых выходных значений с получаемыми для решения какой-либо задачи называется обучением нейронной сети. Обучение персептрона производится с помощью обучающих образов — набора пар входных векторов нейросети X и соответствующих им заранее известных выходных векторов 5 = {Ур У2, ..., У(}.
Обучение персептрона представляет собой оптимизационную задачу, которая часто решается с помощью таких методов, как градиентные, имитация отжига [7], их комбинаций и др. Как было показано в работах [8, 9], основанных на теореме Колмогорова [10], персептрон с нелинейной монотонной функцией активации, имеющей конечные значения, способен с заданной точностью аппроксимировать различные функции, а значит решать и задачу реконструктивной томографии.
2. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ РЕШЕНИЯ ЗАДАЧ РЕКОНСТРУКЦИИ
В качестве наиболее показательного применения НС типа «персептрон» для решения рассматриваемой задачи может служить реконструкция данных радиочастотной, волоконно-оптической и ультразвуковой томографий.
Радиочастотная томография представляет собой метод получения информации о распределении электромагнитных характеристик внутри некоторого объекта. Чаще всего применяется элек-троимпедансная томография, с помощью которой решаются задачи медицинской диагностики, геофизики, исследуются комплексные потоки газов или жидкостей в трубах и др. Реконструкция распределения исследуемой величины здесь представляет собой сложную нелинейную задачу, для решения которой в первой половине 1990-х гг. были предложены НС. На первых этапах это были простые НС типа АОАЬНЕ, которые обеспечивали весьма грубое восстановление образа [11]. Далее НС типа «персептрон» с одним скрытым слоем двухсигмоидальных активационных функций применялись для восстановления и одновременной классификации моделируемых трехкомпонентных потоков, протекающих по трубам кругового сечения [12]. Для восстановления моделируемых элек-троимпедансных сигналов в работах [13, 14] использовались линейные и нелинейные НС типа «персептрон», соответственно. Такой подход позволил авторам существенно снизить требования к
вычислительным ресурсам, что, однако, уменьшило обобщающие способности НС. Более сложная задача восстановления распределений электрического импеданса, получаемых при медицинском исследовании пациентов, решалась с помощью двухслойной линейной НС и персептроном, описываемым уравнениями (1), (2) [15]. Для обучения использовались наборы обучающих образов из 1,5—2-х тыс. обучающих образов, в которые добавлялся шумовой сигнал, уровень которого составлял порядка одного процента от максимального уровня входного сигнала. Для обучения применялся метод обратного распространения ошибки с оптимизацией методом сопряженных градиентов. Для более эффективного обучения НС, решающих обратную задачу электроимпедансной томографии, кроме градиентной оптимизации при обучении многослойного персептрона, показан байесовский подход [16]. Нейронная сеть, обученная байесовским способом, более точно по сравнению с градиентным методом восстанавливает моделируемые распределения, отображающие формирование газового пузырька внутри трубы с жидкостью (двухкомпонентной средой) [17].
Волоконно-оптическая томография представляет собой метод восстановления информации о параметрах физических полей (температурных, деформационных и др.) по данным, снимаемым с волоконно-оптических измерительных линий, уложенных в соответствии с выбранной схемой сканирования и образующих вместе с устройствами ввода оптического излучения и обработки снимаемой информации волоконно-оптическую измерительную систему [18]. Изменяющиеся оптические сигналы на выходах измерительных линий образуют массив данных, содержащих информацию о параметрах физических полей, и чрезвычайно важна их оперативная обработка. Такие измерительные системы обладают рядом исключительных преимуществ, связанных с широко известными особенностями волоконно-оптической элементной базы по сравнению с устройствами на другой элементной базе: широкая полоса пропускания волоконных световодов, их нечувствительность к электромагнитным помехам и малые масса и габариты. Волоконные световоды являются диэлектриками, пожаро- и электробезопасны [19].
В работах [20—24] представлены результаты восстановления исследуемого распределения с помощью линейного персептрона. Обучение НС и восстановление тестовых образов производились для гладких распределений с дельта-правилом модификации элементов w.. матрицы связей:
и
Дw.. = ех.(у. — у .), где е — параметр, задающий ско-
и е У у
рость обучения, х. — состояние нейрона /-го вход-
Рис. 2. Оригинальное распределение (я) и результат его восстановления персептроном с линейной функцией активации (б)
ного слоя, у. — значения выходов нейросети для
обучающего образа. В работах [21, 25] найдено выражение для нахождения оптимального значения е для линейного персептрона. Результаты восстановления моделируемого тестового образа размерами 8x8, полученные в работе [20], представлены на рис. 2 [25]. Проведено моделирование двухслойной НС типа «персептрон» с 31-м входным и 64-мя выходными нейронами. Формирование матрицы связей потребовало 22 500 циклов при 32-х обучающих парах.
На основе проведенного моделирования в работе [22] представлена НС, реализованная на базе набора амплитудных голограмм, записываемых на дисковом голографическом носителе, предназначенная для обработки выходных данных распределенной волоконно-оптической измерительной сети. Экспериментально показано, что данная система позволяет восстанавливать функции пространственного распределения исследуемой физической величины с погрешностью в отдельной точке не более 20 %.
В дальнейшем для решения данной томографической задачи использовалась модель трехслойного персептрона с активационной функцией гиперболического тангенса в нелинейном внутреннем слое [23, 26]. Точность восстановления распределения исследуемого физического поля определялась качеством обучения НС. Ошибка рассогласования между истинным и восстановленным распределениями определялась выражением
в = 21 (ур — уР )2,
2 р, /
где р — номер пары входного и выходного векторов из обучающей страницы, ур — требуемое состояние соответствующего выходного нейрона. Сочетание градиентных методов и моделирования отжига позволили обеспечить эффективное обучение НС.
В работе [23] с целью более эффективного обучения НС в обучающие образы добавлялся шум, моделирующий случайные ошибки, возникающие при измерениях, ограниченную точность датчиков и т. п. Для этого множество обучающих образов было расширено (увеличено в три раза) путем добавки в него векторов, формируемых следующим
образом: ур поЫ = ур (1 + к), где ур поЫ — обучающий образ с шумовой добавкой, к — случайное число из интервала [—е, е], е — «интенсивность шума». Авторами подробно исследовано влияние «интенсивности шума» на скорость и качество обучения персептрона, а также на точность восстановления тестовых образов.
Наличие у разных НС как положительных, так и отрицательных сторон стимулирует исследователей комбинировать их с другими математическими алгоритмами. Так, в работе [27] успешно продемонстрирован перспективный алгоритм на основе комбинации приближенных алгебраических методов обработки информации из волоконно-оптической измерительной сети и НС типа «персептрон», имеющей 31 нейрон на входе и 64 нейрона на выходе.
Отметим также исследования по применению НС типа многослойного персептрона для восстановления данных ультразвуковой томографии. Авторы работы [27] применили такие НС к восстановлению моделируемых и экспериментальных данных для распределения 4x4 пикселя. Нейронная сеть оказалась способной обнаруживать воздействие в исследуемой области, однако его локализация была весьма приблизительной, что можно объяснить ограниченными вычислительными ресурсами, недостаточными для обучения нейросети.
ЗАКЛЮЧЕНИЕ
Нейронные сети типа многослойного персепт-рона могут эффективно применяться для решения обратных задач томографии. К достоинствам пер-септрона при решении задач реконструктивной томографии можно отнести высокую скорость обработки данных, способность обобщения, простую структуру самой сети, которая может быть изготовлена на базе как электронных, так и оптических элементов. К недостаткам относят необходимость большого числа обучающих образов и длительность процесса обучения. При необходимости с помощью персептрона может быть одновременно решена задача и классификации обрабатываемых данных. Однако методы подбора обучающих выборок и комбинирование нейронной сети с другими вычислительными алгоритмами требуют дальнейшего исследования.
Несомненны достоинства оптических способов реализации нейронных сетей для решения томографических задач, в частности, с помощью голограмм [22]. Перспективна реализация персептрона в виде набора оптических нейрочипов, выполненных на основе плоских волноводов и призм [28], позволяющих осуществлять параллельную обработку интегральных данных.
ЛИТЕРАТУРА
1. Наттерер Ф. Математические аспекты компьютерной томографии. — М.: Мир, 1990. — 280 с.
2. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. — М.: Наука, 1986. — 288 с.
3. Хермен Г. Восстановление изображений по проекциям: Основы реконструктивной томографии. — М.: Мир, 1983. — 152 с.
4. Widrow В., Lehr М. А. 30 years of adaptive neural networks: perceptron, madaline, and backpropagation // Proc. IEEE. — 1990. — Vol. 78, — N 9. — P. 1415—1442.
5. Минский М., Пайперт С. Персептроны. — М.: Мир, 1971. — 261 с.
6. Уоссерман Ф. Нейрокомпьютерная техника. Теория и практика. — М.: Мир, 1992. — 240 с.
7. Kirkpatrick S., Gelatt С. D, Vecchi М. P. Optimization by simulated annealing // Science. — 1983. — Vol. 220, — N 4598. — P. 671—680.
8. Funahashi K. On the approximate realization of continuous mapping by neural networks // Neural Networks. — 1989. — Vol. 2. — P. 183—192.
9. Homik K., Stinchcombe М., White H. Multilayer feedforward networks are universal approximators // Neural Networks. — 1989. — Vol. 2. — P. 359—366.
10. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения // Докл. АН СССР. — 1957. — Т. 114, — № 5. — С. 953—956.
11. Adler А., Guardo R. A neural network image reconstruction technique for electrical impedance tomography // IEEE Trans. Med. Imag. — 1994. — Vol. 3. — P. 594—600.
12. Nooralahiyan A. Y., Hoyle В. S. Three-component tomographic flow imaging using artificial neural network reconstruction // Chemical Engineering Science. — 1997. — Vol. 52. — P. 2139— 2148.
13. Ratajwicz-Mikolajczak E, Shirkoohi G. H., Sikora J. Two ANN Reconstruction methods for electrical impedance tomography // IEEE Trans. Magn. — 1998. — Vol. 34. — P. 2964—2967.
14. Netajatali A., Ciric I. R. An Iterative algorithm for electrical impedance imaging using neural networks // IEEE Trans. Magn. — 1998. — Vol. 34. — P. 2940—2943.
15. Коржаневский А. В. Нейросетевые алгоритмы решения обратных проблем в радиочастотной томографии // Нейрокомпьютеры: разработка и применение. — 2002. — № 9-10. — С. 26—33.
16. Neal R. М. Bayesian Learning for Neural Networks. Lecture Notes in Statistics. — Springer-Verlag, 1996. — Vol. 118.
17. VehtariA., Lampinen J. Bayesian MLP neural networks for image analysis // Pattern Recognition Letters. — 2000. — Vol. 21. — P. 1183—1191.
18. Кульчин Ю. Н. Распределенные волоконно-оптические измерительные системы. — М.: Физматлит, 2001. — 272 с.
19. Снайдер А., Лав Д. Теория оптических волноводов. — М.: Мир, 1987. — 656 с.
20. Kulchin Yu., Kamenev О. Self-training neural network model for real time tomography data processing // Lazer Biology. — 1995. — Vol. 4, — N 2. — P. 625—629.
21. Holographic neural network for processing of signals of distributed optical fiber measuring networks with the tomographic principle of data gathering / Yu. Kulchin, O. Vitrik, Yu. Petrov, et al. // Optical Memory & Neural Networks. — 1997. — Vol. 6, — N 2. — P. 149—156.
22. Кульчин Ю. Н, Денисов И. В., Каменев О. Т. Оптоэлектронная нейроподобная система обработки выходных данных волоконно-оптической измерительной сети // ПЖТФ. — 1999. — Т. 25. — Вып. 6. — С. 65—70.
23. Kulchin Yu. N, Denisov I. V., Denisova E. V. Selection of optimal parameter of speed of training of neural network percep-tron type // Proc. SPIE. — 2003. — Vol. 5129. — P. 162—167.
24. Kilchin Yu. N., Panov A. V. Neural network for reconstruction of signal from distributed measuring system of optical amplitude sensors // Pacific Science Review. — 2001. — Vol. 3. — P. 1—4.
25. Neural data processing method for fiber-optic distributed measuring systems /I. V. Denisov, O. T. Kamenev., A. Yu. Kim, et al. // Optical Memory & Neural Networks. — 2003. — Vol. 12, — N 3. — P. 165—172.
26. Application of algebraic and neural-like methods for reconstruction of distribution functions of physical fields / Yu. N. Kulchin, E. V. Denisova, I. V. Denisov // Optical Memory & Neural Networks. — 2003. — Vol. 12, — N 4. — P. 283—297.
27. A neural network approach to ultrasonic tomography / D. A. Hutchins, J. T. Mottram, E. L. Hines, P. Corcoran, D. M. Anthony // Proc. IEEE. — 1992. — Vol. 1. — P. 365—368.
28. Prismatic neural chip for distributed measuring networks / Yu. N. Kilchin, I. V. Denisov, E. V. Denisova, E. N. Piskunov // Optical Memory & Neural Networks. — 2003. — Vol. 12, — N 3. — P. 237-242.
29. Architecture of the neural-like photosensitive system for solution of the fiber-optic tomography problem / Y.N. Kulchin, I.V. Denisov, V.A. Sedov, N.A. Rybalchenko // Proc. SPIE. — 2005. — Vol. 5851. — P. 263—266.
в (4232) 31-04-39
e-mail: [email protected]
