CC BY
0
Методы повышения пространственного разрешения в голографической
микроскопии
С.М. Смагин
Новосибирский государственный технический университет
Аннотация: Цифровая голографическая микроскопия (ЦГМ), сочетающая в себе цифровую голографию и микроскопию, способна отслеживать прозрачные объекты, такие, как органеллы живых клеток, без применения меток. Основной проблемой ЦГМ является повышение пространственного разрешения изображения при сохранении широкого поля зрения. Основными подходами к решению данной проблемы являются: увеличение числовой апертуры систем освещения и записи, а также использование методов глубокого обучения. Увеличение числовой апертуры систем освещения достигается путем использования наклонного, структурированного или спекл-освещения, а систем записи с помощью экстраполяции голограмм, их синтеза или методом сверхразрешения. Глубокое обучение обычно используются совместно с другими методами. В этой статье будут описаны основные принципы и особенности перечисленных выше подходов.
Ключевые слова: цифровая голографическая микроскопия, пространственное разрешение, поле зрения, числовая апертура, образец, луч света, ПЗС-камера, дифракция, система визуализации, сверхразрешение.
Введение
Цифровая голографическая микроскопия (ЦГМ), сочетающая в себе цифровую голографию и микроскопию, представляет собой метод количественной фазовой микроскопии без использования флуоресцентных меток. На рис. 1 показана стандартная установка ЦГМ, в которой увеличенная объектная волна и опорная волна интерферируют друг с другом, при этом генерируемые внеосевые голограммы или фазосдвигающие голограммы регистрируются ПЗС-камерой [1, 2]. По внеосевой голограмме можно одновременно получить как амплитудное, так и фазовое изображения образца. В качестве альтернативы безлинзовый ЦГМ на чипе может помочь восстановить информацию о фазе с помощью итеративного алгоритма без использования опорной волны.
Обработку восстановленных изображений можно дополнительно выполнить в цифровом виде, используя полученную комплексную
амплитуду объектной волны. В целом, ЦГМ может не только наблюдать прозрачные образцы с высоким эндогенным контрастом, но также количественно оценивать распределение толщины или показателя преломления этих образцов. Поэтому ЦГМ широко применяется при промышленном контроле, визуализации потоков жидкости/газа, биомедицинской визуализации и т. д.
Опорная волна
Образец Объектная Камера
волна
Рис. 1. - Принцип цифровой голографической микроскопии
Для ЦГМ большое значение имеет пространственное разрешение, так как оно определяет наименьший размер структур, которые можно обнаружить. Для оценки разрешающей способности оптической микроскопии, используется расстояние Рэлея 0,61X/NA, где X - длина волны света, а NA - числовая апертура (numerical aperture) оптической системы. Из этого в ЦГМ предполагается два варианта повышения пространственного разрешения. Первый, это использование меньшей длины волны. Второй — увеличение числовых апертур систем освещения и записи.
Помимо разрешения, важным параметром системы визуализации также является поле зрения (ПЗ). Соотношение между этими двумя параметрами определяет пространственно-пропускную способность (1111С) системы визуализации, и так как часто система ЦГМ имеет ограниченную 1111С, восстановленное изображение с более высоким разрешением имеет меньшее
поле зрения. За последние несколько десятилетий появились методы компьютерной микроскопии, с помощью которых можно обойти ограничения микроскопов (включая ЦГМ). Существуют три подхода к повышению пространственного разрешения в ЦГМ:
1. Увеличение числовой апертуры системы освещения с помощью косого освещения, структурированного освещения или спекл-освещения;
2. Увеличение числовой апертуры записывающей системы посредством самоэкстраполяции голограммы, расширения голограммы или пиксельного сверхразрешения.
3. Повышение разрешения при помощи нейросетей.
В данной статье приведены основные методы повышения разрешения в ЦГМ, а также более подробно описан метод пиксельного сверхразрешения, представляющий собой большой интерес для исследований.
В системах освещения ЦГМ часто используют плоскую волну. Дифрагированные образцом пространственные частоты, которые могут пройти через ограниченную апертуру линзы микроскопа задают верхний предел пространственного разрешения 0,82Л,/ЫЛвизуал. Таким образом, создание синтетической апертуры (рис. 2) с помощью различных методов освещения является эффективным методом дальнейшего улучшения разрешения.
Увеличение числовой апертуры систем освещения
Синтетическая
/^Исходная
ЫЛ
ыл
Рис. 2. - Схема синтетической апертуры
При использовании наклонного освещения [3] высокая пространственная частота объектной волны, направленная в направлении, противоположном освещению, будет смещена вниз и, таким образом, пройдет через ограниченную апертуру системы визуализации. Сдвинутые вниз частоты возвратятся в исходное положение в спектре объекта, таким образом, синтезируя более широкий спектр.
Микроскопия структурированного освещения [4] обеспечивает повышение пространственного разрешения за счет освещения образца периодическим узором и записи созданного муарового изображения. Из-за эффекта муара высокочастотные компоненты образца, недоступные в обычной микроскопии, смещаются в обнаруживаемую область и, таким образом, могут наблюдаться.
Спекл-освещение [5] можно понимать, как комбинацию плоских волн с различными случайными направлениями освещения. Эти наклонные плоские волны смещают спектр объекта в обратной плоскости, открывая доступ к дополнительным пространственным частотам. Меняющееся во времени спекл-освещение похоже на структурированное освещение. Общая концепция заключается в кодировании объекта с заранее известным шаблоном высокого разрешения, который сводит высокие пространственные частоты в диапазон низкой полосы пропускания.
Особенности этой группы методов:
1. сложная конфигурация системы и аберрации, связанные с использованием объектива;
2. коэффициент повышения разрешения 2-5 (зависит от отношения числовой апертуры системы освещения к числовой апертуре системы записи);
3. поле зрения ограничено конструкцией объектива.
Увеличение числовой апертуры систем записи
По сравнению с ЦГМ с системой визуализации, ЦГМ без использования линзы (безлинзовая ЦГМ) обладает тремя существенными преимуществами. Первым является его компактность и дешевизна, (из-за отсутствия объектива), вторым — большее поле зрения, третьим — высокая совместимость и простота интеграции с микрофлюидными и внутрикристальными устройствами.
При самоэкстраполяции голограммы [6] в безлинзовом ЦГМ образец освещается сферической волной. Волна, дифрагированная образцом, интерферирует с недифрагированной волной, которая также действует как опорная волна. Повышение разрешения достигается путем предварительного заполнения частей голограммы нулями, и последующего итеративного восстановления. Сама голограмма содержит серию волн, составляющих волновой фронт, которые можно лучше подогнать посредством экстраполяции. Таким образом, восстанавливается волновой фронт за пределами изначально записанной области, а при реконструкции можно получить голограмму с повышенным разрешением.
Метод синтеза голограмм [7] заключается в создании более крупной голограммы из несколькимих субголограмм. При этом каждая субголограмма охватывает различный частотный спектр входного объекта, в результате чего синтезированная голограмма будет содержать больший спектр выборки (рис.3). Как правило, субголограммы можно получить, перемещая камеру или образец или установив дифракционную решетку между образцом и камерой. Три вышеупомянутых метода эквивалентны и дают один и тот же результат. Изображение с повышенным разрешением можно получить в результате преобразования Фурье синтезированного спектра. В результате восстановления можно получить изображение с увеличенным полем зрения и
М Инженерный вестник Дона, №8 (2024) ivdon.ru/ru/magazine/arcliive/n8y2024/9446
повышенным пространственным разрешением. Числовая апертура при таком методе: до 0,3 и поле зрения до 20^16 мм .
г ч
/ \
1 I
\ /
1 \ У
Рис. 3. - Синтезированный частотный спектр
Метод пиксельного сверхразрешения [8, 9] в основном применяется для ЦГМ на чипе (рис.4). В такой конструкции освещением служит частично когерентный источник света над образцом (обычно г! > 2-3 см). Полупрозрачный образец помещается поверх датчика изображения с < ! мм. В результате образуется линейная голограмма образца, которая напрямую записывается датчиком изображения без использования каких-либо линз для формирования изображений.
Источник
Прямое восстановление информации, связанной с объектом, из такой голограммы часто осложняется наличием постоянной составляющей и двоением изображения. Для устранения этих проблем используется
итеративный подход или вводятся дополнительные шаги, такие как множественные измерения на разных высотах или углах освещения. Существует несколько факторов, которые могут ограничивать разрешение ЦГМ на чипе, включая дифракцию, размер пикселя, площадь чипа и когерентность источника света. На практике основное ограничение разрешения ЦГМ такого вида связано с размером пикселя датчика (обычно 1-2 мкм).
Метод сверхразрешения пикселей позволяет увеличить разрешение путем смещения голограммы вдоль направлений х и у с шагом в субпиксель. Сдвиг голограммы относительно матрицы датчиков может быть выполнен посредством смещения датчика изображения, источника освещения или образца соответственно. При каждом смещении фиксируется голограмма низкого разрешения. Голограмму с высоким разрешением можно синтезировать в цифровом виде с использованием алгоритма «сдвига и сложения», в котором голограммы с низким разрешением (НР) подвергаются повышающей дискретизации. Также вместо физического перемещения датчика изображения, источника света или образца улучшить разрешение можно изменяя длины волн освещения с небольшим шагом (например, 2-3 нм). Еще больше ускорить процесс записи субголограммы можно, записывая цветные НР-голограммы, где голограммы красного, зеленого и синего освещения мультиплексируются с использованием матрицы цветных фильтров Байера со сдвигом на субпиксель.
Используя метод пиксельного сверхразрешения, с простой и компактной конструкцией ЦГМ на чипе можно получить изображение с субмикрометровым разрешением в широком поле зрения 20-30 мм2, при гигапиксельной пропускной способности.
Все описанные выше методы в той или иной степени могут повысить пространственное разрешение в ЦГМ, однако ни один из них нельзя считать
превышающим дифракционный предел света, поскольку они полностью основаны на распространяющихся волнах, возникающих в результате когерентного взаимодействия света и материи.
Методы глубокого обучения
Глубокое обучение [10] уже широко используется для восстановления голографических изображений, автофокусировки и повышения разрешения. Предоставляя набор совпадающих изображений с низким разрешением (НР) и высоким разрешением (ВР), можно обучить нейросеть взаимосвязи между ними. Таким образом, из одного или нескольких НР-изображений, снятых на одной установке, можно получить ВР-изображение. Хорошо обученная нейросеть способна генерировать ВР-изображения без итерационного механизма и предварительного знания системы, что значительно снижает как количество измерений голограммы и время вычислений, необходимое для восстановления.
Таким образом, можно преодолеть дифракционный предел, определяемый числовой апертурой и ППС объектива, и при этом повысить эффективность восстановления. Однако, учитывая, что входные НР-изображения физически не содержат ВР-компонентов, возможности нейросети ограничены адекватностью обучающих данных. В качестве решения глубокое обучение применяется совместно с другими методами повышения разрешения.
Заключение
В этом обзоре представлены различные подходы к повышению разрешения для цифровой голографической микроскопии. Подходы к повышению разрешения можно разделить на: ЦГМ на основе линз и ЦГМ без линз, в зависимости от того, используется ли объектив. В ЦГМ на основе линз для повышения пространственного разрешения используются:
наклонное освещение, структурированное освещение и спекл-освещение. В ЦГМ без линз пространственное разрешение может быть улучшено благодаря самоэкстраполяции голограммы или синтеза голограммы большего размера, а с помощью метода сверхразрешения пикселей повышение разрешения может быть достигнуто в ЦГМ на чипе. С недавних пор глубокое обучение также стало использоваться для повышения разрешения в ЦГМ. Нейронные сети, обученные на большом количестве экспериментальных наборов данных, полученных в хорошо контролируемых условиях визуализации, позволяют повысить пространственное разрешение быстрым, неитеративным способом.
Литература
1. Obando-Vasquez, S., Lopera M.J., Restrepo R. and Trujillo C., 2024. Comparative analysis of digital holographic microscopy and digital lensless holographic microscopy for quantitative phase imaging. Optics Continuum (issue 3), Optica Publishing Group, URL: opg.optica.org/optcon/fulltext.cfm?uri=optcon-3-3-309&id=547253. Date accessed 05.07.2024.
2. Cuche E., Emery Y. and Montfort F., 2009. Microscopy: One-shot analysis. Nature Photonics (issue 11), Macmillan Publishers Limited. URL: researchgate.net/publication/232801045_Microscopy_One-shot_analysis. Date accessed 05.07.2024.
3. Osten W., Faridian A., Gao P., Körner K., Naik D., Pedrini G., Singh A.K., Takeda M., and Wilke M., 2014. Recent advances in digital holography [Invited]. Applied Optics (issue 27), Optical Society of America. URL: researchgate.net/publication/264352804_Recent_advances_in_digital_holography_ Invited. Date accessed 06.07.2024.
4. Zheng J., Gao P., Yao B., Ye T., Lei M., Min J., Dan D., Yang Y., and Yan S., 2014. Digital holographic microscopy with phase-shift-free structured illumination. Photonics Research (issue 3), Optica Publishing Group, URL:
opg.optica.org/prj/fulltext.cfm?uri=prj-2-3-87&id=286279. Date accessed 06.07.2024.
5. Zheng J., Mico V., Gao P., 2018. Resolution Enhancement in Phase Microscopy: a Review. Applied Sciences (issue 1), Creative Commons, URL: researchgate.net/publication/345143588_Resolution_Enhancement_in_Phase_Micr oscopy_a_Review. Date accessed 06.07.2024.
6. Latychevskaia T. and Fink H.W., 2013. Resolution enhancement in digital holography by self-extrapolation of holograms. Optics Express (issue 6), Optica Publishing Group. URL: opg.optica.org/oe/fulltext.cfm?uri=oe-21-6-7726&id=251607. Date accessed 07.07.2024.
7. Gao P. and Yuan C., 2022. Resolution enhancement of digital holographic microscopy via synthetic aperture: a review. Light: Advanced Manufacturing (issue 1). Light: Science & Applications, URL: light-am.com/article/doi/10.37188/lam.2022.006. Date accessed 07.07.2024.
8. Zhang J., Sun J., Chen Q., and Zuo C., 2019. Resolution analysis in a lens-free on-chip digital holographic microscope. Institute of Electrical and Electronics Engineers, IEEE Transactions on Computational Imaging. URL: semanticscholar.org/reader/da10a653420c9604a24d96d5ccf2740f618cd6a5. Date accessed 08.07.2024.
9. Гужов В.И., Марченко И.О., Поздняков Г.А., Ильиных С.П. Сверхразрешение в цифровой голографии // Инженерный вестник Дона, 2018, №3. URL: ivdon.ru/ru/magazine/archive/n3y2018/5069.
10. Zeng T., Zhu Y., and Lam E.Y., 2021. Deep learning for digital holography: a review. Optics Express (issue 24), Optica Publishing Group, URL: opg.optica.org/oe/fulltext.cfm?uri=oe-29-24-40572&id=464998. Date accessed 09.07.2024.
References
1. Obando-Vasquez, S., Lopera M.J., Restrepo R. and Trujillo C., 2024. Comparative analysis of digital holographic microscopy and digital lensless holographic microscopy for quantitative phase imaging. Optics Continuum (issue 3). Optica Publishing Group, URL: opg.optica.org/optcon/fulltext.cfm?uri=optcon-3-3-309&id=547253. Date accessed 05.07.2024.
2. Cuche E., Emery Y. and Montfort F., 2009. Microscopy: One-shot analysis. Nature Photonics (issue 11), Macmillan Publishers Limited. URL: researchgate.net/publication/232801045_Microscopy_One-shot_analysis. Date accessed 05.07.2024.
3. Osten W., Faridian A., Gao P., Körner K., Naik D., Pedrini G., Singh A.K., Takeda M., and Wilke M., 2014. Recent advances in digital holography [Invited]. Applied Optics (issue 27), Optical Society of America. URL: researchgate.net/publication/264352804_Recent_advances_in_digital_holography_ Invited. Date accessed 06.07.2024.
4. Zheng J., Gao P., Yao B., Ye T., Lei M., Min J., Dan D., Yang Y., and Yan S., 2014. Digital holographic microscopy with phase-shift-free structured illumination. Photonics Research (issue 3), Optica Publishing Group. URL: opg.optica.org/prj/fulltext.cfm?uri=prj-2-3-87&id=286279. Date accessed 06.07.2024.
5. Zheng J., Mico V., Gao P., 2018. Resolution Enhancement in Phase Microscopy: a Review. Applied Sciences (issue 1), Creative Commons. URL: researchgate.net/publication/345143588_Resolution_Enhancement_in_Phase_Micr oscopy_a_Review. Date accessed 06.07.2024.
6. Latychevskaia T. and Fink H.W., 2013. Resolution enhancement in digital holography by self-extrapolation of holograms. Optics Express (issue 6), Optica Publishing Group. URL: opg.optica.org/oe/fulltext.cfm?uri=oe-21-6-7726&id=251607. Date accessed 07.07.2024.
7. Gao P. and Yuan C., 2022. Resolution enhancement of digital holographic microscopy via synthetic aperture: a review. Light: Advanced Manufacturing (issue 1), Light: Science & Applications. URL: light-am.com/article/doi/10.37188/lam.2022.006. Date accessed 07.07.2024.
8. Zhang J., Sun J., Chen Q., and Zuo C., 2019. Resolution analysis in a lens-free on-chip digital holographic microscope. Institute of Electrical and Electronics Engineers, IEEE Transactions on Computational Imaging. URL: semanticscholar.org/reader/da10a653420c9604a24d96d5ccf2740f618cd6a5. Date accessed 08.07.2024.
9. Guzhov V.I., Marchenko I.O., Pozdnyakov G.A., Ilyinih S.P. Inzhenernyj vestnik Dona, 2018, №3. URL: ivdon.ru/ru/magazine/archive/n3y2018/5069.
10. Zeng T., Zhu Y., and Lam E.Y., 2021. Deep learning for digital holography: a review. Optics Express (issue 24), Optica Publishing Group. URL: opg.optica.org/oe/fulltext.cfm?uri=oe-29-24-40572&id=464998. Date accessed 09.07.2024.
Дата поступления: 2.07.2024 Дата публикации: 8.08.2024
