CC BY-NC
68Мультиспектральная съемка для цифровой реставрации древних рукописей: устройства, методы и практические аспекты
Миклас Хайц
доктор филологических наук
сотрудник, факультет филологических и культурологических исследований, Институт славяноведения,
Венский университет
1090, /Австрия, г. Вена, ул. Uniusrsitätsring, 1 Miklas Heinz Doctor of Philology
Researcher, faculty of philological and cultural research, Institute of Slavonic Studies, University of Vienna
1, Universitätsring, , Wen 1090, Osterreich
El [email protected] Бреннер Симон
сотрудник, факультет информатики, Институт автоматизированной автоматизации/Лаборатории
компьютерного зрения
1090, Австрия, г. Вена, ул. Univsrsitätsring, 1 Brenner Simon
Researcher, faculty of information science, Institute of Automatized Automatization/Laboratory of Comuper
Vision
1, Univsrsitätsring, Wiena, Osterreich 1090 El [email protected]
Саблатниг Роберт
сотрудник, факультет информатики, Институт автоматизированной автоматизации/Лаборатория
компьютерного зрения
1090, Австрия, г. Вена, ул. Univsrsitätsring, 1 Sablatnig Robert
Researcher, Faculty of Information Science, Insitute of Automatized Automatization/Laboratory of Computer
Vision
1, Univarsitätsring, Wiena, Osterreich, 1090 El [email protected]
Статья из рубрики "Информационные технологии в архивах и музеях"
Аннотация. В статье дается обзор текущего состояния метода мультиспектральной фотосъемки, начиная с создания мультиспектральных изображений, их регистрации и разделения исходных текстов и вплоть до последующей обработки с целью дальнейшего повышения удобочитаемости. Это результат десятилетнего развития метода и его практического применения в рамках междисциплинарных проектов, посвященных древнему письменному наследию. В целях развития новых методов исследования в 2014 году был основан Межвузовский центр изображений и анализа материалов в культурном наследии (dMA) http://hrsm.caa.tuwien.ac.at/), специалисты которого в сотрудничестве с филологами и материаловедами разработали набор инструментов и методов для сбора, обработки и улучшения мультиспектральных изображений плохо сохранившихся
рукописей. Метод мультиспектральной съемки (Multispectral Imaging, MSI) предназначен для компенсации большинства недостатков зрительного восприятия человеком любых изображений. Новизна применения метода мультиспектральной съемки в исследованиях филологов и источниковедов очевидна: повышение читаемости угасших текстов, восстановление полностью утраченной (соскобленной с поверхности пергамента) информации; анализ писчих материалов - чернил и средств нанесения/уничтожения текстов и изображений; изучение поверхностной структуры носителя информации -пергамента и т.п. - вот далеко не полный список задач, которые можно решить с помощью предложенного метода мультиспектральной съемки.
Ключевые слова: метод мультиспектральной съемки, манускрипты, угасший текст, палимпсест, CIMA , пергамент, электромагнитный спектр, ультрафиолетовые,
инфракрасные волны, машинное обучение
DOI: 10.7256/2585-7797.2017.3.23697
Дата направления в редакцию: 30-09-2017
Дата рецензирования: 02-08-2017
Исследование финансировалась Федеральным министерством науки, исследований и образования Австрии (Структурные фонды для областей высшего образования Австрии -HRSM, План высшего образования 2013 г.).
Abstract. The article gives an overview of the current situation with the multispectral imaging starting from the formation of multispectral images, their registration and splitting of initial texts to further processing in order to enhance readability. It is the result of ten year development of the method as well as its practical use within interdisciplinary projects dedicated to ancient written heritage. In order to develop new research methods the inter-university Center of Images and Material Analysis in Cultural Heritage (CIMA) was founded in 2014 (http://hrsm.caa.tuwien.ac.at/). The specialists of the center together with material engineers have developed a repertoire of tools and techniques for the acquisition, processing and enhancement of multispectral images of badly preserved manuscripts. Multispectral Imaging (MSI) is an approach to compensate for most of the shortcomings of human visual perception. The novelty of the method use within philological studies and source studies is apparent as it enhances the readability of degraded texts, reconstructs fully lost (erased from the surface of a parchment) information, analyzes writing materials -ink and devices to write and erase texts and images, studies the surface structure of the medium - parchment, etc. These are few issues to address with the help of the multispectral imaging method.
Keywords: palimpsest, CIMA , parchment, electromagnetic spectrum , ultraviolet waves, infrared waves, machine-aided learning , degraded text, manuscripts, multispectral imaging method
I. Введение
Древние рукописи являются ценным источником информации для историков и филологов. Однако многие из них находятся в плохом состоянии сохранности и едва
читаемы. Причинами этого являются естественное старение, происходящее на протяжении веков, воздействие неблагоприятных условий бытования, наличие плесени, угасание чернил, а также использование пергамента повторно (рукописи - палимпсесты)
Uûi. Цель применения технических методов при работе с подобными памятниками заключается в том, чтобы по возможности восстановить тексты памятников и таким образом предоставить возможность использования этих исторических источников в научный исследованиях.
Как известно, восприятие цвета человеческим глазом является результатом электромагнитного изучения, которое исходит или отражается от объекта и стимулирует три разных типа светочувствительных клеток на сетчатке глаза наблюдателя (три стимула). Каждый тип клеток чувствителен к определенному диапазону длин волн. Все длины волн, которые воспринимаются человеческим глазом, имеют ограниченный диапазон: от 390 до 700 нанометров, поэтому электромагнитное излучение, происходящее вне этого спектра, скрыто для зрителя. Более того, благодаря особенностям человеческого восприятия цвета, два разных спектра видимого света, попадающие на нашу сетчатку и воздействующие на три стимула с одинаковой интенсивность, могут вызывать одинаковое чувство цвета. Этот эффект называется метамеризмом J4!. На практическом уровне действие эффекта можно охарактеризовать следующим образом: если человек не может отличить буквы древней рукописи от фона, это не обязательно означает, что они имеют одинаковый отражающий спектр.
Кроме того, некоторые писчие материалы обладают флуоресцентными свойствами: они поглощают электромагнитное излучение и затем сами излучают его. В процессе «поглощения» энергия теряется, поэтому повторное излучение имеет более низкую энергию и, следовательно, более высокую длину волны. Наиболее яркими примерами этого явления являются вещества, которые флуоресцируют от ультрафиолета до видимого света и приводят к светящемуся виду, т.к. само вещество излучает больше света, чем то количество света, которое падает на него. Флуоресценция также может возникать между другими спектральными диапазонами. Наиболее часто тенденцию к проявлению флуоресцентных свойств имеют органические материалы. Знание этих особенностей может быть полезно для расшифровки выцветших букв, например, написанных железистыми желтыми чернилами (железо-галловые чернила, изготовленные из сульфата железа и танинов, полученных из галлов - патологических образований на листьях деревьев, т.н. «чернильных орешков») на пергаменте, поскольку пергамент флуоресцирует в ультрафиолетовом диапазоне, в то время как железистые желтые чернила - нет. К сожалению, эти различия в контрасте часто слишком слабы, чтобы восприниматься человеком и, следовательно, недостаточны для того, чтобы сделать текст читаемым.
Метод мультиспектральной съемки (Multispectral Imaging, MSI) предназначен для компенсации большинства недостатков зрительного восприятия человека, описанных выше. Существо метода заключается в создании различных комбинаций на основе серии изображений одного и того же объекта с использованием различных узких полос электромагнитного спектра. Использование нескольких узких спектральных полос позволяет обнаруживать различную реакцию разных писчих материалов на конкретные длины волн, которые либо невидимы, либо неразличимы человеческим глазом. Так, например, для анализа почерков и картин спектральные полосы обычно варьируются от ультрафиолетового (УФ) до инфракрасного (ИК).
Используя методы машинного обучения, информация, содержащаяся в полученном на
основе применения MSI множестве изображений, может быть сведена (агрегирована) к нескольким выразительным изображениям. На следующем этапе контрастность этих изображений может быть дополнительно усилена статистическими средствами, чтобы в конечном итоге дать возможность специалистам расшифровать угасший (деградировавший) текст рукописи.
В статье дается исчерпывающий обзор текущего состояния метода MSI, начиная с создания мультиспектральных изображений, их регистрации и разделения исходных текстов и вплоть до последующей обработки с целью дальнейшего повышения удобочитаемости. Это результат десятилетнего развития метода и его практического применения в рамках трех междисциплинарных проектов, посвященных древнему письменному наследию (Австрийский фонд научных исследований: «Синайские глаголические сакраментальные фрагменты [евхологии]», «Загадка синайской глаголической традиции» и HRSM: «Анализ и сохранение культурного наследия -современные методы визуализации и анализа материалов для визуализации, документирования и изучения исторического письменного культурного наследия [рукописей]»), для реализации которых в 2014 году был основан Межвузовский центр изображений и анализа материалов в культурном наследии (CIMA) http://hrsm.caa.tuwien.ac.at/). В рамках выполнения этих проектов в сотрудничестве с филологами и материаловедами, специалисты центра разработали набор инструментов и методов для сбора, обработки и улучшения мультиспектральных изображений плохо сохранившихся рукописей.
II. Создание изображения
Древние рукописи как объекты исследования предъявляют особые требования к работе с ними. Они, как правило, расположены в архивах, музеях или монастырях, и не подлежат выдаче; по крайней мере, их владельцы, как правило, не склонны подвергать рукописи риску и перемещать их за пределы хранилищ, т. к. рукописи очень чувствительны к изменениям условий хранения, особенно к изменениям температуры и влажности. Это означает, что специалисты должны исследовать рукописи на месте, зачастую за очень короткое время, в течение которого рукописи могут быть доступны и должны быть изучены.
Эти условия должны были быть учтены при разработке системы MSI для съемки рукописей: система должна легко транспортироваться, быстро настраиваться и быть минимально инвазивной с точки зрения механической и термической нагрузки на различные типы материалов рукописей. Кроме того, процесс сбора данных должен быть автоматизирован до такой степени, чтобы обеспечить максимально эффективную работу.
Принимая все это во внимание, специалисты CIMA разработали портативную систему для съемки исторических рукописей в местах их хранения, которая постоянно совершенствуется. В этом разделе будет описано состояние системы, а также особенности и проблемы каждого из ее компонентов.
A. Освещение
Как упоминалось во введении, метод MSI основывается на создании множества изображений изучаемого объекта под несколькими узкими волновыми диапазонами света. Для получения узких волновых диапазонов используются два способа: либо исследуемая рукопись освещена широкополосным источником белого света, а отдельные полосы волн разделены фильтрами, установленными перед объективом камеры; либо рукопись сначала освещается узкими полосами волн. В первой версии разработанной
специалистами dMA системы сбора данных был использован первый подход, который был признан неэффективным по нескольким причинам. Во-первых, фильтры должны меняться механически, что обычно делается с помощью колесика фильтра. Для портативной системы размер такого колеса и, следовательно, количество фильтров ограничены. Кроме того, трудно гарантировать идеальное перпендикулярное выравнивание фильтров относительно камеры, что приводит к аберрациям между изображениями, сделанными с использованием разных фильтров. Во-вторых, используемые широкополосные источники белого света обладают и инфракрасным излучением, к тому же, они сильно нагреваются, что делает их нежелательными для использования при работе с рукописями.
Поэтому был выбран второй подход, и инженеры dMA начали использовать узкополосные источники света. Светоизлучающие диоды (LED) идеально подходят для этой цели, так как по умолчанию они излучают очень узкие полосы волн («белые» светодиоды являются либо фактически синими светодиодами с флуоресцентным люминофором, либо комбинациями красного, зеленого и синего светодиодов). В этом случае использование фильтров ограничено несколькими приложениями, а количество тепла, выделяемого на рукопись, незначительно.
Кроме того, отклонения между изображениями уменьшаются до хроматических аберраций (в результате различных показателей рефракции для разных волн), которые относительно малы при использовании высококачественных объективов. В установке dMA используются мультиспектральные светодиодные панели, которые обеспечивают одиннадцать отдельных выбираемых длин волн от ультрафиолетового до инфракрасного, как показано на рисунке 1.
Рис. 1: Волновые диапазоны системы освещения СИ^ (пиковые волны обозначенные цифрами выше полос)
В дополнение к набору мультиспектральных изображений обычно требуется подлинное цветное изображение для документирования оригинального внешнего вида и состояния рукописи. Для этого приложения специалисты СИ^ использовали нейтральные белые светодиодные панели. В дальнейшем будет использоваться широкополосное кольцевое флеш-устройство, чтобы покрыть оставшиеся промежутки между длинами волн, излучаемыми светодиодами.
Стоит отметить, что изолированное наблюдение узкополосных источников света требует отсутствия освещения в помещении, где проводится съемка. Если помещение для съемки имеет освещение, то на самой площадке съемки устанавливается специальная
переносная темная палатка. B. Устройства для съемки
Сенсорные датчики CCD или CMOS, используемые в цифровых камерах, не воспроизводят цвета сами по себе. Они просто чувствительны к интенсивности падающего электромагнитного излучения (в определенном диапазоне). Для создания цветных изображений перед датчиком помещается фильтр Байера. Этот массив фильтров выделяет красные, зеленые и синие (RGB) компоненты падающего света. В процессе, называемом demosaicing, полученный шаблон объединяется в RGB-пиксели, что в свою очередь может быть отображено на экране компьютера в режиме RGB. Фактически здесь используется вышеупомянутая тристимулярная природа человеческого зрения, в которой все видимые цвета по существу представляют собой только возбуждения клеток сетчатки глаза (красных, зеленых и синих чувствительных конических ячеек) человека и, таким образом, могут быть воспроизведены с использованием комбинаций этих основных цветов.
Датчики изображения не только чувствительны к длине видимых волн, но также к ближнему ультрафиолетовому излучению и особенно к ближнему ИК-излучению. Поэтому обычные датчики камеры дополнительно оснащены ИК-блокирующим фильтром для устранения того, что обычно считается нежелательным шумом.
Однако в мультиспектральной визуализации цель состоит в том, чтобы как можно точнее зафиксировать реакцию определенного материала на определенную длину волны. Таким образом, ни фильтр ИК-блокировки, ни фильтр Байера не являются желательными на датчике изображения, поскольку они искажают результаты. Поэтому специалисты CIMA в своей системе используют ахроматическую камеру без ИК-блокирующего фильтра. В настоящее время это система среднего формата PhaseOne, предлагающая разрешение 60 мегапикселей и динамический диапазон 13 f-стопов. Для особых случаев спектровый диапазон может быть еще увеличен специальной ИК-камерой.
Тем не менее, использование фильтров не может быть полностью исключено, поскольку для некоторых типов рукописей важна У Ф-флуоресцентная визуализация. Изображения с УФ-рефлексографией (где отображается фактическое отраженное УФ-излучение, а не часть, которая смещена в видимый диапазон) могут дать специалистам дополнительную информацию. Чтобы отделить эти два, фильтр У Ф-блокировки для первого и фильтр УФ-пропускания для последнего случая помещаются перед объективом камеры при освещении ультрафиолетовым светом (см. рисунок 2). Фильтры устанавливаются на колесе фильтров и, таким образом, могут быть заменены автоматически.
camero I camera
Рис. 2: УФ-флуоресценция и рефлектография, разделенные фильтрами
С целью создания подлинных цветных изображений исследуемых рукописей дополнительно используется обычная цветная DSLR-камера. На рисунках 3 и 4 показаны схема системы и реальный сценарий съемки.
Рис. 3: Система устройства для съемки Рис. 4: Типичный сценарий съемки
С Автоматизация
Для эффективного получения мультиспектрального изображения компоненты, описанные выше, должны быть интегрированы в автоматизированную систему. С этой целью разработана программа, которая управляет всеми аппаратными компонентами и процессом создания изображений. Программа позволяет назначить последовательность создания снимков, в которой для каждого снимка может быть определена используемая камера, время экспозиции, длина волны освещения и положение колеса фильтра. Последовательности создания изображений выполняются автоматически для каждой страницы листа рукописи, а функция оператор заключается только в корректировке положения страниц рукописи в процессе создания последовательностей. Результирующие изображения сохраняются на диске с именем листа и соответствующими системными настройками, закодированными в имени файла, что, в свою очередь, позволяет автоматизировать дальнейшие шаги обработки изображений. На рисунке 5 показан скриншот пользовательского интерфейса программы для сбора данных.
SirUl!
Document Name Lat-l54_9r Capture l>scto»r С:/М31Да!-154
it and Filer
lighting Щ niter Wheel С
colored ught NONE » selected Filter wurt -
Mite Light NONE
► Add Shot Remove Shot 4 Use filter wheel i
Camera Exposure Colored Light White Light Filter
Phase One r/a Royal Blue 450nm NONE NONE
PhuseOne 1/10 Blue 465nm NONE NONE
PhaseOne 1/20 Cyan 505nm NONE NONE
Phase One 1/15 Green 535nm NONE NONE
PhaseOne 1/6 Amber 570nm NONE NONE
PhaseOne 1/30 Red 6i5nm NONE NONE
PhaseOne 1/6 IRTOOnm NONE NONE
PhaseOne 1/5 IR 780nm NONE NONE
PhaseOne t/2 IR 870nm NONE NONE
pfc«ane ii IR Wnm NONE NONE
PhaseOne ImOO UV365nm NONE UV-RASS
PhaseOne 10s UV365nm NONE UV-BLOCK
PhaseOne WIS NONE Panels NONE
NiwnC* I» llV365nm NONE NONE
Nkon D4 1/5 NONE NONE
V Create SufcMder Cameras
PhaseOne ^
ISO
Shutter Soeed Single Shot
4 Execute Qiteue
и
© с
ISO
aoo
Shutter Speed l/lO Apertw* 6-3
Single Shot
Dome
Current LED
Start Setjjence Abort
0/54
Ptari brtfrtness: 69
Рис. 5: Пользовательский интерфейс нашего программного обеспечения для автоматизации приобретения
III. PREPROCESSING (Предподготовка): Регистрация
Из сбора мультиспектрального изображения получается множество фотографий для каждого исследуемого листа. Чтобы обеспечить автоматизированный анализ этих слоев, отдельные изображения должны быть однозначно идентифицированы, описаны и зарегистрированы относительно друг друга. Другими словами, конкретная точка наблюдаемого физического объекта (страницы листа рукописи) должна быть найдена в том же положении пикселя во всех полученных изображениях. Эта проблема становится чрезвычайно актуальной при рассмотрении изображений, сделанных с использованием разных устройств или в разных объектно-камерных позициях. Но даже изображения, сделанные с помощью одного и того же устройства в одном и том же положении, могут иметь небольшие отклонения. Эти отклонения могут быть вызваны преломлениями на несовершенно выровненных фильтрах, хроматическими аберрациями между различными длинами волн источника или просто незаметными механическими воздействиями.
Существует два группы фундаментальных методов к регистрации изображений: методы, основанные на объектах, и методы, основанные на области изображения li^I. Методы первого класса устанавливают точечные соответствия между двумя изображениями, выделяя отличительные точки признаков в каждом из изображений и пытаясь найти совпадающие соответствия. Эти точечные копии могут затем использоваться для вычисления преобразования, которое минимизирует расстояния между соответствующими точками и, таким образом, выравнивает два изображения. Пары изображений произвольного начального выравнивания могут быть эффективно описаны и зарегистрированы, если их перекрывающаяся область достаточно велика. К сожалению, результаты этой процедуры часто несовершенны: известен только ограниченный набор соответствующих точек и точки между ними должны быть интерполированы одним или другим способом.
Методы регистрации второй группы непосредственно вычисляют ошибки на основе значений пикселей перекрывающихся множеств изображений и пытаются минимизировать эти ошибки. Эти методы могут дать более точные результаты, так как в них учитываются все области изображения. Однако, вычисление, применяемое в них, в целом очень трудоемко. Эти методы применяются только в том случае, если начальное выравнивание изображения уже близко к желаемому решению, и пространство поиска уже ограничено.
Применяемая в MSI процедура регистрации изображений для многоспектральных слоев состоит из двух этапов, в которых нашли применение обе группы алгоритмов регистрации.
На первом этапе выполняется грубая функциональная регистрация с функциями SIFT-8!. Этот шаг необходим только в случае, если изображения создаются на разных устройствах или имеют серьезные несоответствия по другим причинам.
На втором этапе предварительно выровненные изображения, а также изображения с того же устройства, регистрируются с использованием методов второй группы, основанных на по-пиксельном вычислении области изображения. Если на первом этапе грубой регистрации вычисляются только аффинные или перспективные преобразования, то на втором этапе определяются нелинейные деформируемые преобразования. Этот подход определяется органической природой материалов, из которых изготовлены изучаемые рукописи. Большинство средневековых рукописей написано на пергаменте, листы которого часто имеют волнообразную фактуру, поэтому должны быть в некоторой степени «сплющены» различными способами, чтобы обеспечить правильные фотографии написанного текста (см. рисунок 6).
В процессе съемки может произойти не только случайная механическая интерференция, но также в результате изменения температуры или влажности, пергамент может в буквальном смысле изменить свою форму. Чтобы получить точную по-пиксельную регистрацию, все возможные источники малых деформаций необходимо компенсировать.
Рис. 6: Пергамент часто имеет волнообразную поверхность
Для точной регистрации изображения деформированной поверхности рукописи используются MIND-дескрипторы и схему минимизации ошибок Гаусса-Ньютона-6-. Этот метод был первоначально разработан для регистрации мультимодальных медицинских
изображений, что связано с теми же проблемами, которые возникают и при регистрации мультиспектральных изображений: наблюдаемые объекты могут изменять свою форму от кадра к кадру, а распределения серого значения между модальностями могут быть самыми разными. На рисунке 7 показан пример небольшого несоответствия, которое можно было бы исправить с помощью точной регистрации MIND.
Рис. 7: (а) Разностное изображение между слоями 450 нм и 700 нм, где отчетливо видно несоответствие, вызванное хроматической аберрацией.
(Ь) Разностное изображение после точной регистрации с правильным выравниванием слоев
IV. Источник размещения и уменьшение размерности
Конечной целью усилий специалистов является разделение различных исходных текстов в рукописи, чтобы обеспечить чтение скрытых частей текста. На практике эти исходные тексты определяются с помощью выявления и анализа пергамента, различных видов чернил, надписывания и подписывания в палимпсесте или пятен, вызванных использованием, плесенью, воском и т. д. Мультиспектральные изображения представляют собой такой вид преобразованный информации, из которого исходные источники могут быть извлечены.
В некоторых случаях один или несколько отдельных слоев мультиспектрального набора данных предоставляют достаточную информацию для исследователя или машины для получения желаемого разделения. Как правило, лучшие результаты могут быть получены
путем использования комбинированной информации всех слоев в наборе I12!. Точечный отклик на разные длины волн частично коррелирован, частично ортогонален. Если цель исследования - оптимально объединить всю информацию, содержащуюся в изображениях, то целесообразно обратиться к области машинного обучения.
Если на этапе предварительной обработки была достигнута точная регистрация пикселей, то на следующем этапе исследователю предоставляется набор изображений, где конкретная позиция пикселя описывает одну и ту же точку в реально существующей рукописи на каждом из изображений. Такая подготовка изображений является основным предварительным условием для применения алгоритмов машинного обучения в исследовании, цель которого разделить разные исходные тексты. В результате
исследователь может рассматривать каждую позицию пикселя как n-мерную точку данных, где каждое измерение соответствует значению интенсивности, измеренному в соответствующем слое мультиспектрального изображения.
Алгоритмы машинного обучения можно разделить на неконтролируемые и контролируемые Первые из них нацелены на изучение структуры и распределения исходных данных без дополнительного ввода. Классическими приложениями являются кластеризация и снижение размерности.
Контролируемые методы учатся создавать выходные данные для конкретной точки данных и обучаются путем представления примеров входных данных вместе с желаемым выходом. Термин «контролируемый» относится к представлению желаемого результата на этапе обучения. Возможно, наиболее заметным приложением контролируемого обучения является классификация: алгоритм учится назначать один или несколько предопределенных классов каждой из входных точек данных.
A. Неконтролируемые подходы: PCA и ICA
Основной компонентный анализ (PCA) является одним из первых методов неконтролируемого машинного обучения, который использовался для обработки
мультиспектральных изображений в культурном наследии Здесь алгоритм находит линейное преобразование в многомерных точках данных измерений, так что отдельные координаты некоррелированы и упорядочены по их дисперсии. Применительно к мультиспектральному изображению, установленному с n-слоями, это означает, что в результате исследователь получает набор n-некоррелированных изображений, которые упорядочены по их дисперсии в серые значения или «контрасты». Это демонстрирует, что с помощью PCA можно уменьшить избыточность и сжать большую часть информации содержащейся в мультиспектральном изображении в первых n-компонентах, в то время как следующие, менее выразительные изображения, могут быть и вовсе опущены.
В целом, PCA хорошо работает с данными, показывающими гауссовские дистрибутивы, но не способен решать нелинейные зависимости между функциями. Независимый анализ компонентов (ICA) связан с PCA, но он направлен на преобразование данных не только в некоррелированные, но и в независимые компоненты. PCA преобразует данные в подпространство с ортогональной осью, что не является ограничением для ICA. Кроме того, полученные независимые компоненты не упорядочены по их дисперсии, как это имеет место с PCA. Таким образом, компоненты, которые наилучшим образом представляют искомые исходные тексты, должны выбираться вручную.
Ни один из описанных подходов не может считаться совершенным. Результаты всегда зависят от характера базовых данных и особенностей, свойственных конкретным
рукописям На рисунке 8 показан пример документа, обработанного с помощью PCA и ICA.
Рис. 8, строка 1: истинный цвет изображение и УФ-флуоресцентное изображение в качестве входных данных.
Строки 2-4: Основные компоненты (левая колонка) и независимые компоненты (правая колонка), что лучше всего улучшает надписания, подписания и красные инициалы.
В. Контролируемые методы: Линейный дискриминантный анализ
Холлаус и его коллеги 17 предложили использовать линейный дискриминантный анализ (LDA) для уменьшения размерности в мультиспектральных изображениях. LDA также тесно связана с РСА. Если РСА производит преобразование, которое лучше всего описывает дисперсию данных, то LDA ищет трансформацию, которая оптимизирует линейное разделение точек данных в соответствии с принадлежностью класса. Для этой
цели метки классов должны быть привязаны к точкам данных для обучения, что делает LDA контролируемым алгоритмом обучения.
До сих пор LDA применялась только к рукописям, содержащим один угасающий текст, а не к палимпсестам с более чем одним подслоем. Это уменьшает проблему до двоичной классификации между текстом и фоном.
Идеальным комплексом для обучения LDA является большой набор пикселей, выбранных из исходного изображения, каждый из которых был правильно помечен как принадлежащий тексту или принадлежащий фону. К сожалению, учитывая то, что текст является угасшим и в настоящий момент не виден, это утверждение звучит как абсурдная идея. Действительно, если бы исследователи с самого начала могли правильно описать пиксели, то работа была бы выполнена.
Однако, метод дает возможность начать работу с частично неправильной маркировки, которая может уточняться в процессе исследования. В качестве отправной точки для необработанных данных применяется неконтролируемый метод, такой как PCA или ICA. Если этим путем невозможно получить читаемый текст, часто достаточно алгоритмически обнаружить текстовые строки и пустые области между ними (см. пример в рисунке 9c). Эти области используются в качестве исходного набора данных для обучения. Конечно, некоторые из расставленных маркеров могут быть неверны, так как области текстовой строки также содержат фоновые пиксели.
Выходной сигнал алгоритма LDA представляет собой гиперплоскость, на которой можно прогнозировать точки данных, чтобы максимизировать линейную разделимость классов. Для создания выходного изображения все пиксели мультиспектрального входного изображения проецируются на обнаруженную гиперплоскость. Как показано на рисунке 9d, получившееся изображение уже демонстрирует лучшую читаемость по сравнению с PCA и LDA, несмотря на частично неверно маркированные данные обучения.
Результаты могут быть еще уточнены путем повторения процесса с использованием первых результатов LDA в качестве входных данных для этапа маркировки. В отличие от PCA и ICA, предлагаемый алгоритм LDA создает в результате только одно изображение.
(а) подлинное цветное изображение (Ь) УФ-флуоресцентное изображение в
качестве входных данных
(c) основной компонент
(d) LDA результат
Рис. 9: Пример LDA подхода: (а) подлинное цветное изображение и (b) УФ-флуоресцентное изображение в качестве входных данных; (с) основной компонент, который лучше всего улучшает текст; (d) LDA результат.
C. Отделка
Прежде чем предоставить изображения исследователю для изучения, необходимо произвести еще несколько процедур обработки с целью улучшения читаемости. На практике выяснилось, что очень полезно создавать ложные цветные изображения, назначая спектральные слои или компоненты, полученные в результате технологий разделения исходных текстов на красный, зеленый и синий каналы изображения RGB. Таким образом, различные исходные источники, такие как текстовые слои, могут отображаться одновременно на одном и том же изображении в разных цветах.
Кроме того, контрастность изображения и, таким образом, читаемость повышаются за счет применения контрастно-ограниченного адаптивного выравнивания гистограммы (CLAHE), как для реальных слоев, так и для ложных цветных изображений. Примеры конечных результатов представлены в Приложении.
V. Заключение
В статье описаны устройства и методы, необходимые для восстановления нечитаемого текста в исторических рукописях с помощью мультиспектрального изображения, а также практические соображения, связанные с десятилетним опытом работы с проектами MSI. Представлено текущее состояние портативного оборудования, разработанного специалистами CIMA для сбора данных MSI со всеми ее компонентами и последовательностью постобработки, состоящей из регистрации и различных методов уменьшения размерности, которые оказались полезными на практике.
A. Будущая работа
В марте 2017 года был начат исследовательский проект «Происхождение древнеславянских глаголических рукописей», рассчитанный на три года. В рамках этого проекта Австрийского научного фонда специалисты CIMA продолжат исследования по цифровому восстановлению и сохранению исторических рукописей. Предполагается, что темами исследований станут:
(1) «Глубокое обучение»: в последние годы подходы к глубокому обучению продемонстрировали хорошие результаты в большинстве областей машинного обучения и
компьютерного зрения. Есть основания полагать, что этот подход может вывести исследования по технологии разделения исходных текстов древних рукописей на следующий уровень.
(2) Иллюстрации: Темы исследований предыдущих проектов были сосредоточены исключительно на улучшении удобочитаемости текста. Однако в рукописях могут содержаться декоративные элементы и рисунки, которые заслуживают распознавания и восстановления. В дополнение к совершенствованию методов улучшения текста планируется разработать методы, оптимизированные для восстановления графического содержания.
(3) Идентификация чернил и пигментов. Неразрушающий анализ и идентификацию чернил и пигментов обычно выполняют со специализированными приборами спектроскопии, которые позволяют точно измерять определенные точки. В предыдущих проектах, которые выполняли специалисты CIMA, такие измерения и анализы были выполнены над рукописями параллельно с созданием мультиспектральных изображений. Таким образом было собрано довольно большое количество мультиспектральных изображений вместе с информацией о чернилах и пигментах, используемых в тех же рукописях. В дальнейшем предполагается использовать эти данные для оценки того, в какой степени компьютерное обучение может быть использовано для идентификации чернил и пигментов в рукописи на основе использования мультиспектральных изображений.
(4) Структура поверхности. Исторические манускрипты не только скрывают свои секреты в следах чернил. Многое можно узнать из поверхностной структуры самого пергамента: впечатляющие линии строк дают намеки на присутствие и положение скрытого текста; царапины могут быть следами от производства пергамента или процесса стирания предыдущего текста; тонкость / толщина некоторых частей может относиться к определению части животного, из которого получен пергамент и т. д. Выцветшие буквы могут быть видны как незначительные углубления в пергаменте. Предполагается оценить возможность использования различных освещений и спектральных технологий (наклонный свет, сияющий (прямой) свет и рефлексионное трансформационное
отражение Í91) для отслеживания и документирования этих мелких деталей поверхности рукописей.
(5) Интерактивные инструменты исследования. Работы ученых-гуманитариев, использующих результаты исследований специалистов CIMA, показали, что использование многократного переключения или остановок при создании различных многоспектральных слоев или сжатых компонентов дает хорошие результаты в вопросе идентификации едва заметных фигур, в отличие от просмотра одиночных статических изображений. Это может быть объяснено тем, что человеческое зрение обычно лучше распознает резкие изменения интенсивности, чем плавные переходы, как в
пространственной, так и во временной областях -U4!. Специалисты CIMA планируют внедрить созданное ими программное обеспечение просмотра изображений,
разработанное на основе открытого кода доступа Nomacs t21, которое позволит проводить интуитивное интерактивное исследование мультиспектральных слоев.
Приложение
Примеры успешного восстановления палимпсестного и одного сильно поврежденного верхного текста (рис. 13) с описываемыми методами: полноцветные изображения и улучшенные версии.
Рис.11: Cod. Vind. Theol. gr. 177
i
Рис. 13: Cod. Sin. slav. 5N
Библиография
1. CIMA - Centre of Image and Material Analysis in Cultural Heritage / URL: http://hrsm.caa.tuwien.ac.at.
2. Nomacs image lounge / URL: http://nomacs.org
3. Baronti S., Casini A., Lotti F., and Porcinai S. Multispectral imaging system for the mapping of pigments in works of art by use of principal-component analysis / Appl. Opt., vol. 37, no. 8, pp. 1299-1309, Mar 1998. [Online]. URL: http://ao.osa.org/abstract.cfm?URI = ao-37-8-1299
4. Easton R. L., Christens-Barry W. A., and Knox K. T. Spectral image processing and analysis of the Archimedes palimpsest / Proceedings of the 19th European Signal Processing Conference, EUSIPCO 2011, Barcelona, Spain, August 29-Sept. 2, 2011, 2011, pp. 1440-1444. [Online]. URL: http://ieeexplore.ieee.org/document/7073928/
5. Goodfellow I., Bengio Y., Courville A. Deep Learning. /MIT Press, 2016, ch. 5. URL: http://www.deeplearningbook.org.
6. Heinrich M. P., Jenkinson M., Bhushan M., Matin T., Gleeson F. V., Brady S. M., Schnabel J. A. Mind: Modality independent neighbourhood descriptor for multi-modal deformable registration / Medical Image Analysis, vol. 16, no. 7, pp. 1423-1435, 2012.
7. Hollaus F., Gau M., Sablatnig R. Enhancement of multispectral images of degraded documents by employing spatial information / 12th International Conference on Document Analysis and Recognition, Aug 2013, pp. 145-149.
8. Lowe D. G. Distinctive image features from scale-invariant key-points / Int. J. Computer Vision, vol. 60, no. 2, pp. 91-110, Nov. 2004.
9. Malzbender T., Gelb D., Wolters H. Polynomial texture maps / Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, ser. SIGGRAPH '01. New York, NY, USA: ACM, 2001, pp. 519-528 [Online]. URL: http://doi.acm.org/10.1145/383259.383320
10. Miklas H., Rapp C. The Centre of Image and Material Analysis in Cultural Heritage (CIMA) in Vienna and its present activities, part i: Introduction and philology /
Palaeobulgarica, vol. 39, 2015, pp. 29-38.
11. Rapantzikos K., Balas C. Hyperspectral Imaging: Potential in Non-Destructive Analysis of Palimpsests / Image Processing, 2005. ICIP 2005. IEEE International Conference on Image Processing, vol. 2, 2005, pp. 618-621 [Online]. URL: http://ieeexplore.ieee.org/xpls/abs all.jsp?arnumber=1530131.
12. Sablatnig R., Hollaus F., Camba A. The Centre of Image and Material Analysis in Cultural Heritage (CIMA) in Vienna and its present activities, part ii: Computer vision / Palaeobulgarica, vol. 39, 2015, pp. 29-38.
13. Schreiner M., Vetter W., Fruhmann B., Cappa F. The Centre of Image and Material Analysis in Cultural Heritage (CIMA) in Vienna and its present activities, part iii: Material analysis / Palaeobulgarica, vol. 39, 2015, pp. 29-38.
14. S. H. Schwartz, Visual Perception - A Clinical Orientation, 4th ed., 2009, ch. 5, 7, 8.
15. B. Zitov and J. Flusser,"Image registration methods: a survey", Image and Vision Computing, vol. 21, no.11, pp. 977 - 1000, 2003 [Online]. URL: http://www.sciencedirect.com/science/article/pii/S0262885603001379.
References (transliterated)
1. CIMA - Centre of Image and Material Analysis in Cultural Heritage / URL: http://hrsm.caa.tuwien.ac.at.
2. Nomacs image lounge / URL: http://nomacs.org
3. Baronti S., Casini A., Lotti F., and Porcinai S. Multispectral imaging system for the mapping of pigments in works of art by use of principal-component analysis / Appl. Opt., vol. 37, no. 8, pp. 1299-1309, Mar 1998. [Online]. URL: http://ao.osa.org/abstract.cfm?URI = ao-37-8-1299
4. Easton R. L., Christens-Barry W. A., and Knox K. T. Spectral image processing and analysis of the Archimedes palimpsest / Proceedings of the 19th European Signal Processing Conference, EUSIPCO 2011, Barcelona, Spain, August 29-Sept. 2, 2011, 2011, pp. 1440-1444. [Online]. URL: http://ieeexplore.ieee.org/document/7073928/
5. Goodfellow I., Bengio Y., Courville A. Deep Learning. /MIT Press, 2016, ch. 5. URL: http://www.deeplearningbook.org.
6. Heinrich M. P., Jenkinson M., Bhushan M., Matin T., Gleeson F. V., Brady S. M., Schnabel J. A. Mind: Modality independent neighbourhood descriptor for multi-modal deformable registration / Medical Image Analysis, vol. 16, no. 7, pp. 1423-1435, 2012.
7. Hollaus F., Gau M., Sablatnig R. Enhancement of multispectral images of degraded documents by employing spatial information / 12th International Conference on Document Analysis and Recognition, Aug 2013, pp. 145-149.
8. Lowe D. G. Distinctive image features from scale-invariant key-points / Int. J. Computer Vision, vol. 60, no. 2, pp. 91-110, Nov. 2004.
9. Malzbender T., Gelb D., Wolters H. Polynomial texture maps / Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, ser. SIGGRAPH '01. New York, NY, USA: ACM, 2001, pp. 519-528 [Online]. URL: http://doi.acm.org/10.1145/383259.383320
10. Miklas H., Rapp C. The Centre of Image and Material Analysis in Cultural Heritage (CIMA) in Vienna and its present activities, part i: Introduction and philology / Palaeobulgarica, vol. 39, 2015, pp. 29-38.
11. Rapantzikos K., Balas C. Hyperspectral Imaging: Potential in Non-Destructive Analysis of Palimpsests / Image Processing, 2005. ICIP 2005. IEEE International Conference on Image Processing, vol. 2, 2005, pp. 618-621 [Online]. URL:
http://ieeexplore.ieee.org/xpls/abs all.jsp?amumber=1530131.
12. Sablatnig R., Hollaus F., Camba A. The Centre of Image and Material Analysis in Cultural Heritage (CIMA) in Vienna and its present activities, part ii: Computer vision / Palaeobulgarica, vol. 39, 2015, pp. 29-38.
13. Schreiner M., Vetter W., Fruhmann B., Cappa F. The Centre of Image and Material Analysis in Cultural Heritage (CIMA) in Vienna and its present activities, part iii: Material analysis / Palaeobulgarica, vol. 39, 2015, pp. 29-38.
14. S. H. Schwartz, Visual Perception - A Clinical Orientation, 4th ed., 2009, ch. 5, 7, 8.
15. B. Zitov and J. Flusser,"Image registration methods: a survey", Image and Vision Computing, vol. 21, no.11, pp. 977 - 1000, 2003 [Online]. URL: http://www.sciencedirect.com/science/article/pii/S0262885603001379.
