CC BY
58
КОМПЬЮТЕРНАЯ ФОТОНИКА: ИННОВАЦИОННЫЕ ИССЛЕДОВАТЕЛЬСКИЕ ПРОЕКТЫ И.П. Гуров
Представлены результаты, полученные при проведении инновационных исследовательских проектов в области компьютерной фотоники, направленных на развитие современных технологий цифровой микроскопии, когерентной томографии, цифровой голографии, бесконтактной реконструкции формы трехмерных объектов.
Введение
Повышение инновационного потенциала научных исследований является определяющим ресурсом развития современной науки и технологий. Инновационный процесс основывается на эффективной интеграции результатов фундаментальных, прикладных научных исследований и современных производственных технологий, ориентированных на коммерциализацию результатов в соответствии с потребностями рынка. Важным компонентом инновационного развития является подготовка высококвалифицированных специалистов, наиболее востребованных на рынке труда.
В течение последних десятилетий инновационный процесс определил значительные достижения в области оптики. На современном этапе развития оптической науки и технологий созданы принципиально новые поколения источников излучения, оптических материалов и элементов, приемников излучения, оптических систем передачи и обработки информации. Созданы новые направления в оптике -интегральная, волоконная, градиентная и нелинейная оптика, микро- и нанооптика, волноводная оптоэлектроника и т. д. Термин «оптика» начал постепенно дополняться новым, но также обобщенным названием - «фотоника». Этот термин стал охватывать область науки и технологий, связанную с использованием светового излучения (или потока фотонов) в оптических элементах, устройствах и системах, в которых генерируются, преобразуются, распространяются и детектируются оптические сигналы, а также производится их запись или отображение.
Активное развитие фотоники при интеграции с информационными технологиями определяет высокую востребованность в специалистах проблемно-ориентированного профиля по специализации «Компьютерная фотоника», включающей образовательные задачи обучения компьютерному программированию в процессе проведения инновационных проектов в областях компьютерной обработки изображений и распознавания образов применительно к цифровой микроскопии, оптической томографии, цифровой голографии, количественной характеризации трехмерных объектов и др. Методы компьютерной фотоники обеспечивают инновационное развитие в области биомедицинской диагностики, информационных технологий, мониторинга производственных процессов и др.
В статье представлены примеры инновационных исследовательских проектов, проводимых кафедрой Компьютерной фотоники СПбГУ ИТМО. Рассматриваемые проекты, разумеется, далеко не исчерпывают возможности и перспективы компьютерной фотоники, они наглядно характеризуют полученные результаты и инновационные перспективы.
Цифровая микроскопия и оптическая когерентная томография
Методы микроскопии являются одними из наиболее важных для развития биомедицины и высоких технологий нового поколения. Однако традиционные микроскопы с визуальным каналом наблюдения в настоящее время не удовлетворяют
возрастающим потребностям неразрушающего контроля микрообъектов вследствие высокой трудоемкости наблюдений, субъективности результатов, отсутствия документируемости, невозможности применения современных математических методов анализа, классификации, распознавания и обработки изображений и т.д.
Отказ от визуального канала и переход к полноценному использованию цифровых видеосистем позволяет преодолеть указанные недостатки и обеспечить требуемый уровень оптической микроскопии, соответствующий современным потребностям науки и технологий. Преимущества цифровой микроскопии достигаются в результате нового подхода к принципу построения микроскопов, состоящего в использовании оптико-цифрового канала. Последнее означает, что цифровое преобразование оптического сигнала является неотъемлемой частью оптического канала и необходимо для формирования высококачественного изображения.
Методы цифровой микроскопии обеспечивают возможность создания нового поколения микроскопов с трехмерным отображением микроструктуры объектов в оптической когерентной томографии (ОКТ), которая активно развивается в течение последнего десятилетия [1].
Важно подчеркнуть, что методы цифровой микроскопии возможно реализовать только на основе современных технологий фотоники и электроники. Восстановление трехмерной микроструктуры объектов методами оптической когерентной микроскопии и томографии стало возможным лишь в последние годы на основе последних достижений компьютерных технологий.
Инновационный проект, направленный на создание нового поколения цифровых микроскопов проводится совместно с ОАО "ЛОМО". Результаты исследований и разработок представлены в [2]. Исследования в области ОКТ выполнены в сотрудничестве с зарубежными университетами, научными институтами и исследовательскоми лабораториями [3,4].
Системы ОКТ основываются на использовании принципа когерентного оптического радара [5, 6]. Излучение источника разделяется на измерительную волну и опорную волну, которые распространяются, соответственно, в измерительном и опорном трактах системы ОКТ (см. рис. 1).
Рис. 1. Структурная схема интерферометрического радара
В результате квадратичного детектирования суммы световых колебаний
регистрируется интерферометрический сигнал, пропорциональный значениям интенсивности излучения
/(х) = [£, (0 + Е2(( + X)] [£, (0 + Е2 (/ + х)Г = /о + Ле У(х), (1)
где т - время задержки измерительной волны по отношению к опорной, /0 = /, + /2 -
фоновая составляющая, не зависящая от х, /, и /2 - интенсивности излучения
измерительной и опорной волн, У(т) - нормированная функция взаимной когерентности интерферирующих волн,
угловые скобки обозначают операцию усреднения во времени.
Из (1)-(2) видно, что система ОКТ представляет собой коррелятор, формирующий оценку степени отражения от каждого слоя среды в форме корреляционной функции излучения источника при управляемом изменении времени задержки т. Основными проблемами, решаемыми при создании систем ОКТ, являются повышение разрешающей способности и быстродействия при определении характеристик внутренней структуры исследуемой среды.
При выполнении совместных работ с Институтом прикладной оптики (Флоренция, Италия) получены экспериментальные томограммы многослойных сред [3]. Совместные исследования проведены по актуальной проблематике диагностики состояния и реставрации ценных предметов живописи, представляющих мировое культурное наследие. Организация работ основывалась на принципе коллективного использования дорогостоящего научного оборудования итальянскими и российскими специалистами.
Экспериментальная установка представляет собой интерферометр Майкельсона (см. рис. 2), освещаемый источником излучения малой когерентности. Излучение частично отражается и рассеивается на неоднородностях с различным показателем преломления внутри исследуемого образца. Время задержки отраженного излучения зависит от глубины слоя. Разрешение ОКТ-системы по глубине определяется длиной когерентности излучения и повышается пропорционально ширине спектрального диапазона излучения.
Образец
Устройство перемещений
Персональный .....►
компьютер
к устройству перемещений
Линза + нейтральныйфильтр + зеркало
Устройство перемещения по глубине
Осциллограф
Балансный фотодетектор
Рис. 2. Схема экспериментальной системы ОКТ
В качестве источника излучения использован твердотельный фемтосекундный титан-сапфировый лазер, излучающий предельно короткие импульсы длительностью около 12 фс (модель фирмы Femtolasers - Femtosource Scientific PRO). Высокая стабильность характеристик излучения обеспечена за счет компенсации внутрирезонаторной дисперсии при использовании многослойных дисперсионных диэлектрических зеркал.
Ширина спектральной полосы лазерного импульса составляет около 100 нм при центральной длине волны 790 нм. При этом обеспечивается разрешающая способность 3,6 мкм.
Лазерные импульсы освещают интерферометр Майкельсона, собранный по схеме микроинтерферометра Линника (рис. 2). Мощность импульсов устанавливалась в пределах 10-15 мВт и регулировалась в опорном плече интерферометра при помощи нейтрального фильтра для получения высокой видности полос малой когерентности. Размер пятна фокусировки и конфокальный параметр регулировались ирисовой диафрагмой на входе интерферометра. Для фокусировки измерительного пучка использовалась короткофокусная линза (/=25 мм). Для компенсации влияния дисперсии в опорном плече интерферометра установлена идентичная линза. Сканирование образца по глубине осуществлялось перемещением опорного зеркала при помощи прецизионного микропривода, управляемого от компьютера. Сканирование в боковом направлении обеспечивалось другим приводом, поключенным к компьютеру.
Сигналы на выходе системы регистрируются балансным фотодетектором. Разностный сигнал отображается на осциллографе и запоминается в 8-разрядном формате данных для ввода в компьютер и последующей обработки. Томограммы формируются из данных всех сканов по глубине (при поперечном сдвиге от скана к скану) в форме сечений многослойного материала.
Компьтерная обработка сигналов системы ОКТ выполнена при использовании рекуррентного алгоритма стохастической фильтрации [7]. Пример восстановленной томограммы представлен на рис. 3. Для лучшего визуального восприятия томограмма показана в логарифмической инверсной шкале полутоновых уровней. Томограмма характеризует толщину и состояние защитного лакового слоя, наносимого на поверхность старинных предметов живописи для обеспечения их сохранности.
Рис. 3. Томограмма многослойной среды, восстановленная методом нелинейной фильтрации Калмана [3]
Проведенные исследования показали, что разработанные алгоритмы обработки сигналов ОКТ в динамическом режиме обеспечивают более высокую разрешающую способность, помехоустойчивость и быстродействие по сравнению с традиционными методами обработки.
Томограмма рис. 3 представляет сечение многослойной среды в вертикальной плоскости. Совокупность параллельных сечений позволяет сформировать трехмерную томограмму, которая является трехмерным микроизображением в отличие от двумерных изображений, наблюдаемых в традиционной микроскопии.
Формирование и анализ трехмерных изображений микрообъектов методами компьютерной фотоники с получением количественных оценок характеристик
неоднородных сред принципиально расширяет возможности цифровой микроскопии, что определяет высокий инновационный потенциал проводимых исследований.
Цифровая голография
При записи голограммы, как известно, используется когерентное излучение, которое разделяется на два пучка. Один из них отражается от исследуемого объекта и носит название объектного пучка, второй пучок является опорным. Объектная и опорная волны интерферируют в плоскости записи голограммы. Развитие компьютерных технологий и твердотельных приемников излучения позволило записывать голограммы с помощью светочувствительных матриц в цифровой форме. При этом процесс записи и обработки голограмм является полностью цифровым и получил название цифровой голографии.
В цифровой голографии восстановление объектной волны выполняется с помощью компьютерных технологий при использовании записанной цифровой голограммы (см., например, [8-11]). Компьютерная реконструкция изображений при обработке цифровых голограмм позволяет провести полноценную цифровую обработку и предоставляет широкие возможности по сравнению с традиционным оптическим процессом. В частности, оказывается возможной компьютерная фокусировка в различных плоскостях объекта и компенсация аберраций при компьютерной реконструкции изображения без использования оптико-механических элементов. В настоящее время получили широкое распространение методы цифровой голографической микроскопии (см., например, [13, 14]) ввиду указанных выше преимуществ цифровой голографии.
При выполнении совместных работ с Институтом кибернетики Национального исследовательского центра (Неаполь, Италия) получены экспериментальные цифровые голограммы и выполнена компьютерная реконструкция изображений микрообъектов [8, 12, 15] с использованием цифрового голографического микроскопа схема которого представлена на рис. 4.
В.Ч
LA.SER N V
•J \ L. N
БЕ |
Рис. 4. Схема цифрового голографического микроскопа (BS - светоделитель, BE -расширитель пучка, М - зеркало, МО - микрообъектив, CCD - регистрирующая светочувствительная матрица) [15]
На рис. 5 представлен пример восстановления рельефа поверхности микроэлектромеханического элемента методом цифровой голографической микроскопии [15].
Рис. 5. Восстановление рельефа поверхности микроэлектромеханического элемента: зарегистрированная цифровая голограмма (а), восстановленное распределение амплитуд (б), фаз (в) и трехмерный рельеф поверхности (г)
Как отмечалось в [8], одним из перспективных направлений является цифровая голография с источниками частично когерентного излучения. При этом оказывается возможной послойная реконструкция амплитуд и фаз изображений в пределах длины когерентности излучения. В ряде случаев, например, при анализе рельефа поверхности объектов, достаточно получить распределение амплитуд в изображении отдельного слоя при последующей компьютерной реконструкции рельефа по набору записанных цифровых голограмм отдельных слоев.
На кафедре Компьютерной фотоники выполнены исследования возможностей восстановления рельефа объектов методом цифровой голографии с частично когерентным источником излучения [16].
На рис. 6 представлены примеры цифровых голограмм для различных положений выделяемого слоя рельефа по высоте (рис. 6, а-в) при восстановлении рельефа (поверхности плитки Иогансона на участке начальной части надписи "С.Е. Johansson") методом цифровой голографии с источником излучения малой когерентности. Для лучшего визуального представления рельеф показан инверсно по высоте.
Полный рельеф получен при совместной компьютерной обработке набора цифровых голограмм для отдельных слоев по глубине рельефа. Оценки точности
восстановления рельефа показали, что среднее квадратичное отклонение не превышает 3% от полного диапазона отклонений рельефа поверхности.
г) Д)
Рис. 6. Цифровые голограммы для слоя вблизи «подложки» (а), для слоя в среднем сечении по высоте рельефа (б) и для слоя в области наибольших отклонений (в) исходного рельефа поверхности (г) и восстановленный рельеф поверхности (д)
Преимуществом метода цифровой голографической микроскопии с источниками излучения малой когерентности является расширенный диапазон однозначности при контроле отклонений рельефа поверхности. Метод может быть использован для получения трехмерных микротомограмм неоднородных сред.
Восстановление формы трехмерных объектов методом структурированного освещения
Метод структурированного освещения считают одним из самых, надежных и быстродействующих методов восстановления формы поверхности трехмерных объектов [17]. Метод основан на проецировании системы бинарных полос (паттернов) с различным шагом или цветного паттерна и съемке освещенной сцены с одного или нескольких ракурсов. При известных геометрических соотношениях в системе освещения-наблюдения оказывается возможной калибровка определенной области пространства, каждой точке которой соответствует известный бинарный код. При этом регистрация последовательности изображений, полученных на заданном наборе паттернов, позволяет определить абсолютное расстояние до каждой точки поверхности методом декодирования бинарных кодов, которые соответствуют межкадровой «эволюции» изображений, и в результате восстановить форму трехмерного объекта.
Один из примеров возможного набора бинарных паттернов представлен на рис. 7.
На рис. 8 показан результат проецирования паттернов на поверхность объекта сложной формы. Восстановленная часть поверхности, наблюдаемой с данного ракурса,
представлена на рис. 9. При наблюдении с нескольких ракурсов возможно полное восстановление формы объекта.
Рис. 7. Паттерны, соответствующие кодам Грея
у
' V' ¿ЯГ \У
Рис. 8. Набор зарегистрированных изображений
Рис. 9. Компьютерная реконструкция формы объекта
Набор черно-белых паттернов можно представить в виде суперпозиции бинарных паттернов различного цвета и сформировать цветной паттерн при последующем цветовом разделении изображений, что позволяет существенно повысить быстродействие системы. Результаты использования метода оптимального синтеза и проецирования цветного паттерна для восстановления формы сложных трехмерных объектов опубликованы в работе [18].
Метод структурированного освещения позволяет получать и визуализировать информацию о трехмерных объектах, что является исключительно важным для многих прикладных задач. Возможность документирования и передачи информации отвечает потребностям современного информационного общества и определяет высокий инновационный потенциал исследований и разработок в данной области.
Заключение
Методы компьютерной фотоники основываются на результатах фундаментальных научных исследований в области взаимодействия оптического излучения различного спектрального состава и степени когерентности с веществом, прикладных научных исследований и разработок современных цифровых микроскопов, томографов, цифровых голографических анализаторов, систем структурированного освещения и др., а также разработок вычислительных методов и компьютерных алгоритмов, учитывающих физические особенности формирования изображений различных видов.
Результаты инновационных проектов в области компьютерной фотоники широко востребованы в различных областях, таких как биомедицинские исследования и диагностика, материаловедение, различные инженерные приложения. Развитие компьютерной фотоники способствует формированию рынка современных прорывных технологий, обеспечению инновационного процесса высококвалифицированными кадрами, востребованными на рынке труда.
Благодарности
Автор выражает благодарность студентам, принявшим участие в исследованиях по тематике настоящей работы. Восстановление томограммы (рис. 3) проведено с использованием усовершенствованного компьютерного алгоритма, разработанного А. Карпецом, реконструкция трехмерного рельефа поверхности (рис. 6) выполнена А. Лопатухиной, результаты применения метода структурированного освещения (рис. 8 и рис. 9) получены С. Щекиным.
Литература
1. Гуров И.П. Оптическая когерентная томография: принципы, проблемы и перспективы. /В кн.: Проблемы когерентной и нелинейной оптики /Под ред. И.П. Гурова и С.А. Козлова. СПб: СПбГУ ИТМО, 2004. С. 6-30.
2. Белашенков Н.Р., Гуров И.П., Лопатин А.И., Никифоров В.О. Инновационный проект создания нового поколения микроскопов с оптико-цифровым каналом (см. настоящий сборник).
3. Bellini M., Fontana R., Gurov I., Karpets A., Materazzi M., Taratin M., ZakharovA. Dynamic signal processing and analysis in the OCT system for evaluating multilayer tissues//Proc. SPIE. 2005. V.5857. P. 270-277.
4. Alarousu E., Gurov I., Hast J., Myllylä R., Prykäri T., Zakharov A. Optical coherence tomography evaluation of internal random structure of wood fiber tissue. In Sixth International Conference on Quality Control by Artificial Vision /K.W. Tobin, Jr., and
M. Meriaudeau, eds. //Proc. SPIE. 2003. V.5132. P. 149-160.
5. Dresel Т., Häusler G., and Ventzke H. Three-dimensional sensing of rough surfaces by coherence radar//Appl. Opt. 1992. V.31. P. 919-925.
6. Васильев B.H., Гуров И.П. Технология бесконтактного контроля объектов на основе когерентного и спектрального радаров в биомедицинских исследованиях и промышленности. В кн.: Оптические и лазерные технологии. СПб: СПбГИТМО (ТУ), 2002. С. 160-175.
7. Gurov I., Ermolaeva Е., Zakharov A. Analysis of low-coherence interference fringes by the Kaiman filtering method //J. Opt. Soc. Am. A. 2004. V.21. P. 242-251.
8. Балтийский С.А., Гуров И.П., Де Никола С., Коппола Д., Ферраро П. Современные методы цифровой голографии. /В кн.: Проблемы когерентной и нелинейной оптики /Под ред. И.П. Гурова и С.А. Козлова. СПб: СПбГУ ИТМО, 2004. С. 91-117.
9. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. М.: Радио и связь, 1987. С. 243-286.
10. SchanrsU, JüptnerW. Direct recording of holograms by a CCD target and numerical reconstruction //Appl. Opt. 1994. V.33. P. 179-181.
11. SchnarsU., JüptnerW. Digital recording and numerical reconstruction of holograms //Meas. Sei. Technol. 2002. V.13. P. R85-R101.
12. BaltiyskyS., Gurov I., De Nicola S., Ferraro P., Finizio A., Coppola G. Digital holography applied to characterization of microelectromechanical systems //Proc. OSAV'2004, Int. Topical Meeting on Optical Sensing and Artificial Vision (St. Petersburg, Russia, 19-21 October 2004). P. 202-209.
13. Massatsch P., Charriere F., Cuche E., Marquet P., Depeursinge C.D. Time-domain optical coherence tomography with digital holographic microscopy //Appl. Opt. 2005. V. 44. P. 1806-1812.
14. Coppola G., Ferraro P., IodiceM., De Nicola S., Finizio A., Grilli S. A digital holographic microscope for complete characterization of microelectromechanical systems //Meas. Sei. Technol. 2004. V. 15. P. 529-539.
15. BaltiyskyS., Gurov I., De Nicola S., Ferraro P., Finizio A., Coppola G. Characterization of microelectromechanical systems by digital holography method //The Imag. Sei. J. 2006. V. 54. N2.
16. Гуров И.П., Захаров A.C., Лопатухина А.Д. Компьютерное восстановление изображений методом цифровой голографии с источником освещения малой когерентности /Доклад на 35-й научной и учебно-методической конференции СПбГУ ИТМО (31 января-3 февраля 2006 г.).
17. Posdamer J.L., Altschuler M.D. Surface measurement by space-encoded projected beam systems //Comp. Graph. Image Process. 1982. V. 18. P. 1-17.
18. Shtuchkin A., Gurov I. Structured light range sensing using color patterns and two-stage dynamic programming //Proc. OSAV'2004, Int. Topical Meeting on Optical Sensing and Artificial Vision (St. Petersburg, Russia, 19-21 October 2004). P. 40-47.
