CC BY
127УДК 528.74:004.92:069
Е. Д. Коханчук, А. А. Лозинская
Создание 3D-моделей музейных предметов с помощью фотограмметрии для их использования в системах учета экспонатов и визуального моделирования экспозиций
Сохранение и передача культурного наследия является очень важным и ответственным мероприятием. Работа с ценными для науки экспонатами дает возможность понять, насколько важно наличие цифровых копий данных артефактов: оригиналы стареют, со временем они разрушаются, а несчастный случай может полностью уничтожить объект. Одним из способов сохранения информации о скульптуре выступает трехмерная оцифровка с помощью технологии фотограмметрии. Фотограмметрия — это процесс создания 3D-модели по снимкам всех видимых плоскостей объекта, подлежащего оцифровке [1]. Фотограмметрию используют, чтобы «скопировать» какой-либо физический предмет в цифровую 3Б-модель. Для идентификации и сопоставления деталей конкретная точка должна присутствовать на трех и более снимках, так как технология фотограмметрии основана на принципах триангуляции. Фотограмметрия позволяет точно передать форму и цвет поверхности музейных экспонатов любого размера и при этом не требует близкого контакта с ними [2]. В отличие от других методов ЗБ-сканирования, для фотограмметрии необязательно покупать специализированное оборудование, достаточно стандартных инструментов для фотосъемки в музее: камеры, штатива, оборудования для освещения и цветовых меток. Более того, исследователи стремятся найти наименее затратные способы получения высокоточных моделей. Так, итальянские авторы
представили методику музейной фотограмметрии с использованием смартфона [3]. Действительно, камеры в современных телефонах позволяют оцифровать предметы в высоком качестве, что еще раз подчеркивает доступность фотограмметрии. Преимущества данной технологии все чаще мотивируют сотрудников музеев изучать ее и внедрять в свою работу. Она используется для оцифровки как археологических предметов [4], так и коллекций естественнонаучных музеев [5]. При проведении фотограмметрии музейных объектов чаще всего их переносят в специальную студию, при необходимости закрепляют и затем проводят съемку [6]. Однако при невозможности перемещения экспонатов из выставочных залов, например из-за больших габаритов, съемка проводится прямо на месте, при условии, что объект доступен для фотографирования с 360 или как минимум 270 градусов. Именно в таких условиях авторы статьи проводили съемку экспонатов в Государственном музее изобразительных искусств им. А. С. Пушкина. В итоге получены несколько моделей высокого качества, а сложности при съемке были успешно исправлены на этапе постобработки. В результате разработана методика, которая описывает весь процесс создания зD-модели, состоящий из следующих 12 шагов.
1. Оценка обстановки. Перед началом фотографирования объекта, подлежащего оцифровке, необходимо оценить условия съемки. В зависимости от них понадобится
Ил. 1. Е. Коханчук, А. Лозинская. SD-модель «Вечная Весна», Огюст Роден. 2021. Sketchfab. URL: https://sketchfab.com/3d-models/d9e3 6438bf6a490392ca5b4d914c82c0 © Государственный музей изобразительных искусств имени А. С. Пушкина
Ил. 2. Е. Коханчук, А. Лозинская. SD-модель «Голова Бородатого Бога». 2021. Sketchfab. URL: https://sketchfab.com/3d-models/head-of-a-bearded-deity-9832f66e42b646d18a61f3a0963a4bd0 © Государственный музей изобразительных искусств имени А. С. Пушкина
различное оборудование. Если скульптура находится в темном помещении, желательно использовать софиты и штатив. В случае если помещение тесное, применяется широкоугольный объектив. Кроме того, окружение вокруг скульптуры может быть слишком ярким, что способно привести, например, к отражению цвета окружения на объекте съемки. Рекомендуется также ограничить попадание прямых солнечных лучей на объект съемки, так как они создадут слишком контрастные тени, которые к тому же будут постоянно двигаться из-за изменения позиций съемки, что снизит качество финального результата. 2. Фотографирование объекта. Во время фотографирования объекта для облегчения работы компьютерного зрения расставляются кодировочные метки: программа сможет ориентироваться на эти фиксированные точки при воссоздании снятой сцены. Поэтому важно постараться обеспечить их попадание на каждый снимок. Процесс фотографирования довольно прост. Сначала желательно отснять объект вкруговую с определенного расстояния, чтобы он полностью помещался в кадр, а затем — детально со всех плоскостей (снизу, сверху, с каждой стороны). При этом следует обеспечить перекрытие соседних кадров приблизительно на 60 %. Завершить съемку нужно фотографированием отдельных совсем мелких деталей — таким образом они гарантированно будут отображены на конечной модели. Чем выше качество исходных снимков, тем лучше будет финальный результат и меньше работы на следующих этапах постобработки. Для максимизации качества желательно производить съемку в RAW-формате, используя штатив, спусковой тросик или таймер, а также дополнительное мягкое освещение. На камере рекомендуется выставить низкое значение ISO для минимизации шумов (не более 400-800 ISO в зависимости от размера матрицы), среднее значение диафрагмы, приблизительно f/8.0 (при полностью открытой диафрагме глубина резкости минимальна — фон за объектом съемки будет размыт, в то время как компьютерное зрение определяет положение фотографий в пространстве в
том числе по фону; полностью закрытая диафрагма приводит к негативному эффекту дифракции, к тому же полученные снимки получатся слишком темными) и длинную выдержку для компенсации экспозиции (в случае фотографирования в музее выдержка выставлялась от 0,5 до 4 секунд, в зависимости от яркости освещения). Еще одним важным пунктом в подготовке камеры к съемке является фиксация уровня баланса белого — в автоматическом режиме фотоаппарат на снимках будет все время немного менять баланс белого, в результате чего цвет финальной текстуры окажется неоднородным и выглядящим как мозаика. Если же под рукой нет фотоаппарата, можно использовать и смартфон, как говорилось выше.
3. Обработка снимков. После завершения съемки необходимо отсортировать фотографии, исключить неудавшиеся кадры, затем в программном обеспечении (далее — ПО) для обработки фотографий (Adobe Lightroom, Raw Photo Processor, Fotor, Raw Therapee) снизить яркость бликов, затемнить светлые области и повысить яркость темных областей, чтобы на финальной текстуре сохранилось больше деталей.
4. Создание объемной модели. Далее из обработанных снимков восстанавливается объемная модель объекта — создается облако точек, карта глубины, форма модели и текстура. В итоге получается высокополигональная необработанная 3D-модель реального объекта. Сделать ее можно в таких программах, как Agisoft Metashape, Reality Capture, Autodesk Remake, Pix4d, или в их бесплатных аналогах — Meshroom, VSFM, Micmac, SuRe.
5. Заполнение пустот, удаление висящей геометрии. На поверхности необработанной 3D-модели могут появиться дыры и висящие детали, которые возникли в результате шума на исходных снимках. С помощью специальных программ — зБ-редакторов (MeshMixer, Blender, Maya, 3DS Max) — заполняются пустоты, удаляется висящая геометрия или лишние объекты на модели: отрезаются попавшие на модель фрагменты фона или, например, выравнивается граница основания скульптуры.
Ил. 3. Е. Коханчук, А. Лозинская. 3й-модель «Герма Перикла», Кресилай. 2021. Sketchfab. URL: https://sketchfab.com/3d-models/herm-of-pericles-488193334c754d1b9ceffde26ef32e40 © Государственный музей изобразительных искусств имени А. С. Пушкина
6. Редактирование модели. Далее происходит детальная обработка модели — в указанных SD-редакторах корректируются неточности рельефа поверхности, докрашиваются текстуры, при необходимости добавляются утерянные области. Ошибки в модели могут появляться из-за ошибок в съемке, недостаточного количества кадров, плохой освещенности, наличия труднодоступных для съемки фрагментов экспонатов, однако при достаточном уровне опыта они легко исправляются в ЗБ-редакторах.
7. Ретопология. Так как для просмотра высокополигональной модели требуются достаточно большие вычислительные мощности, далеко не все устройства смогут открыть созданную модель. Ситуация усугубится, когда модели будут загружены в некое единое пространство, например игровой движок, и отображены единовременно — такая нагрузка не под силу даже мощным компьютерам. Процесс упрощения модели называется ретопологией, она существенно снижает количество полигонов объекта. Ретопологию можно сделать в любой программе для ЗБ-моделирования, о которых шла речь выше, однако для новичков наиболее удобно ПО, автоматически уменьшающее количество полигонов, например бесплатная программа Instant Meshes. Получающаяся низкополигональная модель имеет схожие очертания с высокополигональной версией, но содержит намного меньше деталей, а потому значительно снижает нагрузку на компьютер. При этом текстуры, накладываемые на модель, позволяют в итоге представить низкополиганальную модель идентичной оригиналу.
8. Создание UV-развертки. После процесса ретопологии у низкополигональной модели отсутствуют собственные текстуры. Для переноса исходной текстуры высокополигональной модели на низкополигональную создается UV-развертка — поверхность модели разрезается и разворачивается в единую 2Б-плоскость, на которую в дальнейшем накладываются текстуры.
д. Запекание текстур. Запеканием текстур называют транспонирование поверхности с высокополигональной модели на низкополигональную. В процессе запекания
создаются: основная текстура, которая передает цвет и фактуру оригинального объекта, карта нормалей (Normal Map), используемая для эмуляции за счет игры света деталей рельефа, утраченных на этапе ретопологии, карта затенения (Ambient occlusion), которая обеспечивает более реалистичное освещение и рассчитывает, насколько яркими должны быть определенные части модели, на основе геометрии. Запекание текстур происходит в таких программах, как Substance Designer, XNormal, Marmoset Toolbag.
10. Присоединение текстур к модели. Так как компьютер не может автоматически присоединить текстуры к модели, после их получения требуется опять же в 3D-редакторе с помощью инструмента нодов (узлов) связать их с низкополигональной моделью.
11. Удаление теней. При использовании модели в сторонних программах на нее накладываются динамические тени, которые меняют свое расположение на модели в зависимости от позиции виртуальных источников освещения. Статические тени, сохранившиеся на текстуре в момент съемки объекта, будут неестественно смотреться в совокупности с наложенными программными тенями. Для исключения такой ситуации с помощью специальных программ (Agisoft Texture De-Lighter, Unity De-Lighting tool) оригинальные тени убираются с текстуры модели.
12. Подготовка к публикации. Финальный этап в процессе создания виртуальной копии модели — сбор и составление описания экспоната, архивирование финальной версии модели и созданных текстур и настройка параметров публикации, например на платформе SketchFab или в системе учета экспонатов музея.
Подробное пошаговое руководство по созданию 3D-модели с помощью технологий фотограмметрии, где все шаги описаны намного подробнее, доступно на сайте кафедры информационных технологий в сфере культуры НИУ ВШЭ [7]. При создании данной методики были оцифрованы скульптуры из коллекции ГМИИ им. А. С. Пушкина, каждая из которых имела
Ил. 4. Е. Коханчук, А. Лозинская. bD-модель экспоната в программе Smart Museum. 2021 © Государственный музей изобразительных искусств имени А. С. Пушкина
свои особенности, что влияло на процессы съемки и дальнейшей обработки. В качестве примеров приведем модели трех скульптур.
Скульптура «Вечная весна» Огюст Родена (ил. 1) имеет крайне сложную структуру (множество углублений, мелких деталей, навесных элементов). Из-за этого при съемке на модели оказалось достаточно много контрастных теней. Равномерно засветить всю поверхность модели не получилось, так как скульптура имеет глянцевую фактуру, при попадании на нее света появляются яркие блики, которые негативным образом повлияли бы на конечный результат. Поэтому было принято решение отснять модель с тенями и убрать их уже на этапе постобработки с помощью специальной программы (Agisoft Delighter) и вручную (редактированием текстуры в Blender). С текстуры модели были удалены все тени, а при публикации модели наложены новые, физически корректные тени, которые подчеркивают рельеф и объем виртуальной модели.
Бюст «Голова Бородатого Бога» (ил. 2) не имеет основания-плоскости, из-за этого необходимо было закрыть нижнее отверстие не ровной плоскостью, а рельефом, окантовывающим площадь отверстия. В остальном работа над скульптурой мало отличалась от работы над другими моделями: удалены тени, сетка модели упрощена, чтобы была возможность просмотра скульптуры даже на слабых устройствах, для сохранения мелких деталей создана карта нормалей и карта окклюзии.
Слепок «Герма Перикла» Кресилая (ил. 3) стоит в музее вплотную к стене, из-за чего не имелось возможности отснять заднюю часть слепка. При восстановлении вручную такой большой части объекта возникли бы большие искажения достоверных параметров и формы объекта. Поэтому было принято решение не дорисовывать эту часть модели.
Полученные во время разработки описанной методики модели скульптур опубликованы в официальном аккаунте ГМИИ им. А. С. Пушкина на SketchFab [8]. Данный сайт позволяет в удобном формате просматривать sD-модели,
поэтому при отсутствии подобного инструментария на сервисах музея логично создать отдельную страницу на SketchFab или другом подобном сайте и затем в системе учета экспонатов добавлять URL, ведущие на внешние страницы конкретных экспонатов. зБ-модели экспонатов позволяют составить более полное представление об объектах, могут публиковаться для научного сообщества, в образовательных целях или как один из видов виртуальной экспозиции [4]. Это особенно актуально в условиях пандемии COVID-19, когда еще меньшее количество посетителей имеют возможность физически побывать в музее. Для ГМИИ им. А. С. Пушкина данное направление важно в том числе из-за текущей масштабной реконструкции. Страница на SketchFab позволит открыть для посетителей доступ к экспонатам, которые нельзя переместить из реконструируемых зданий во временные выставочные пространства.
Отдельно следует отметить программу Smart Museum, в которой на данный момент созданы цифровые двойники пространств ГМИИ им. А. С. Пушкина. Smart Museum можно использовать для проектирования выставок, так как в ней точно воссозданы геометрические параметры помещений. Программа позволяет загружать как оцифрованные картины, так и объемные экспонаты, поэтому в совокупности с полученными при фотограмметрии SD-моделями она способна стать многофункциональным инструментом для кураторов — размещая скульптуры и картины в виртуальных залах, они в наглядной форме представят будущую экспозицию. Важно обеспечить корректные размеры самих моделей: в Smart Museum используется реальный масштаб помещений, следовательно после обработки в ЗБ-редакторах модели должны соответствовать параметрам реальных объектов. Также особое внимание нужно уделить количеству полигонов моделей и качеству текстур — чем они выше, тем большая нагрузка будет на компьютер. В будущем программа позволит проводить виртуальные экскурсии (ил. 4).
Оцифровка моделей предоставляет новые возможности для экспозиций. Например, распечатка экспонатов на ЗБ-принтере для незрячих людей позволит им ознакомиться с историко-культурным наследием. Две модели из оцифрованных авторами успешно распечатаны с сохранением большинства деталей и цвета поверхности оригиналов.
В заключение еще раз отметим доступность и низкий порог вхождения фотограмметрии. Существующие на сегодняшний день руководства для музеев, включая методику авторов статьи, могут использоваться культурными учреждениями для начала процесса зБ-оцифровки. Представленная в статье методика показала высокую точность в передаче особенностей оцифрованных скульптур. Для устранения ошибок, полученных при съемке, подобраны инструменты на этапе постобработки. ЗБ-модели оцифрованных экспонатов имеют широкие возможности использования их в научной и образовательной деятельности, виртуальных экспозициях и программах проектирования выставок.
Литература
1. Hassan, A., Fritsch, D. Integration of Laser Scanning and Photogrammetry in зБ/4Б Cultural Heritage Preservation — A Review // International Journal of Applied Science and Technology. üecember 2019. Vol. 9, no. 4. P. 76-91.
2. Guery, J., Hess, M., Mathys, A. Photogrammetry // Digital Techniques for Documenting and Preserving Cultural Heritage. Amsterdam: Amsterdam University Press, 2018. P. 229-236.
3. Apollonio, F. I., Fantini, F., Garagnani, S., Gaiani, M. A Photogrammetry-Based Workflow for the Accurate 3D Construction and Visualization of Museums Assets // Remote Sensing. 2021. Vol. 13, no. 3. P. 486-526.
4. Поврозник Н. Г. Виртуальная музейная экспозиция на основе античной коллекции Музея истории Пермского университета: создание и использование // Сборник Президентской библиотеки. Вып. 8. 2018. С. 120-136.
5. Medina, J. J, Maley, J. M., Sannapareddy, S., Medina, N. N., Gilman, C. M. A rapid and cost-effective pipeline for digitization of museum specimens with 3D photogrammetry // PLOS ONE. 2020. Vol. 15, no. 8. P. e0236417.
6. Гук Д. Ю., Пиков Н. О. Фотограмметрия музейных предметов: в кадре и за кадром // Труды VI (XXII) Всероссийского археологического съезда в Самаре. 2020. Т. III. С. 168-170.
7. Коханчук Е. Д., Лозинская А. А. Методика создания SD-моделей культурного наследия с помощью технологий фотограмметрии // Базовая кафедра информационных технологий в сфере культуры. URL: https://gsb.hse.ru/ cultureit/news/377999094.html (дата обращения: 14.06.2021).
8. Официальный аккаунт SketchFab ГМИИ им. А. С. Пушкина // Sketchfab — The best 3D viewer on the web. URL: https://sketch-fab.com/arts-museum.ru/models (дата обращения: 14.06.2021).
