МНОГОКРИТЕРИАЛЬНАЯ ОЦЕНКА КАЧЕСТВА ФОТОГРАФИЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004

Информационные технологии

Замула А. И., бакалавр, кафедра «Системы обработки информации и управления», МГТУ им. Н.Э. Баумана Горячкин Б. С., кандидат технических наук, доцент, кафедра «Системы обработки информации и управления», МГТУ им. Н.Э. Баумана

МНОГОКРИТЕРИАЛЬНАЯ ОЦЕНКА КАЧЕСТВА ФОТОГРАФИЙ

Аннотация: Визуальная подача информации для описания прошедших мероприятий и событий ставит проблему подборки качественного контента наиболее остро. Данная статья посвящена поиску способов для оценки качества фотоизображений по их техническим критериям, не беря в расчет субъективное мнение эксперта.

Сформированы и описаны критерии оценки фотографий. Отобраны те критерии, которые подлежат конкретной количественной оценке с использованием математического аппарата, а также глубоких знаний процесса фотографирования и технических характеристик и параметров фотографической техники. Проведен анализ резкости сюжетно-важной части кадра с использованием "контрастного" метода; композиции фотографии с учетом правила третей и такого критерия как экспозиция, позволяющая оценить яркость и цветопередачу фотографии.

Ключевые слова. Фотография, обучение, качество, экспозиция, фокус, композиция, оператор Лапласа, ядерная оценка плотности.

Annotation: Visual presentation of information raises the issue of quality content selection. The article describes methods of quality rating of photo by their technical criteria excluding the subjective opinion of an expert.

The criteria for evaluating photos have been generated and described underway. Selected criteria are subject to a specific quantitative evaluation using

mathematical tools, as well as deep knowledge of the process of photographing, technical characteristics and parameters of photographic equipment. Sharpness analysis of the plot-important frame-part using the "contrast" method; photo composition, taking into account "the rule of thirds" and such a criterion as exposure, which allows you to evaluate the brightness and color rendering of the picture.

Keywords. Photography, training, quality, exposure, focus, composition, Laplace operator, Kernel density estimation.

В настоящее время развитие технологических возможностей вышло на новый уровень и кардинально отличается от того, что было 20 лет назад. Современные фотокамеры снимают в различных форматах, таких как RAW и JPEG/JPG с цветовым разрешением 16 бит на канал. На данный момент камеры делают большую часть работы за фотографа, хотя профессионалы предпочитают настраивать свет и цвет самостоятельно. То есть, в мире, где технологии максимально вытесняют моменты непосредственной работы фотографа, человеческий фактор во время съемки играет далеко не последнюю роль, и от мастерства фотографа зависит финальный результат.

В современном обществе пространство технологий и живопись вытесняет на второй план, так как появляется новая возможность творить - запечатлеть свои картины в цифровом виде. Сделать качественный кадр - это не просто "нажать на кнопку". Нужно помнить, что специальность фотографа требует немалых усилий, знаний и таланта. Более того, человек, который выбирает себе такую профессию, как и любой человек творческой профессии, должен быть готов экспериментировать, развиваться, перевоплощаться, каждый раз снимать так, как будто это съемка - самая важная. Конечно, есть и минусы у этой профессии: люди начинают жить чужой жизнью, испытывать чужие эмоции, предугадывать чужие действия.

Есть разные направления деятельности фотографа, такие как, например, творческая и репортажная съемка. Первая требует больших идейных усилий, при этом фотограф может работать размеренно, не боясь, что может упустить

что-то важное, ведь все можно повторить; а вторая - это умение работать по плану, быть незаметным, но быть всегда внутри событий [4].

Освоение профессии фотографа во всех ипостасях сложный и длительный процесс. Одно из направлений - это техническая оснащенность и оценка качества произведенных фотографий. Именно, вопросам выявления технических ошибок во время съемки и на этапах постобработки и будет посвящена настоящая статья.

Вследствие того, что графическая подача информации воспринимается легче нежели буквенно-цифровая, вопросы визуальной реализации становятся наиболее актуальными на сегодняшний день. Существование двух- и трехмерных редакторов говорит о том, что прогресс в области фотографии не стоит на месте.

Формирование критериев оценки фотографий

Вопрос о том, какая фотография является «хорошей», а какая «плохой», на первый взгляд кажется очевидным, но, если разобраться, то, по сути, оценка фотоизображения носит ярко выраженный субъективный характер [2]. Зритель оценивает изображение в целом: цветовая гамма, насыщенность, расположение объектов, эмоциональная и смысловая наполненность, а также многое другое. Рассуждения на тему хорошей фотографии долгие годы были неразрывно связаны с возможностью квалифицировать конкретное изображение как полноценное произведение изобразительного творчества. Если же этого не происходило, то критики воспринимали ее лишь как репродукцию фрагмента реальности.

Исходя из анализа многочисленных фотоархивов, работы и постоянной модернизации графических двухмерных редакторов, предназначенных как раз для обработки и наилучшего восприятия графических изображений, а также всевозможных оценочных методов и подходов, можно выделить следующие критерии оценки [8]:

❖ Экспозиция, светотеневой рисунок. Кадр должен быть нормально экспонирован: не должно быть глубоких провалов в тенях, не должно быть

сильного контраста; светлые участки фотографий должны быть проработаны, не должно быть больших участков засветки, баланс белого должен быть верным.

❖ Резкость сюжетно-важной части кадра. Главный сюжет снимка должен быть резким. Фокус фотографии является одним из основных элементов для выделения важных частей кадра. Современное оборудование позволяет автоматически определять фокус изображений, фокус может быть на нескольких участках фотографии. Фотография может быть специально размыта, однако, например, в репортажной фотографии, основная сюжетная часть изображения должна быть в фокусе: четкой и резкой.

❖ Соответствие выбранной теме. Каждый кадр должен соответствовать теме репортажной съемки, быть органично вписан в общую идею репортажа. Данный критерий сложно поддается объективной количественной оценке. Возможные направления для развития работы: поиск и нахождение объектов, соответствующих выбранной теме с помощью, например, используемого в работе контурного анализа.

❖ Компоновка кадра. При компоновке кадра должны быть учтены особенности выбранного плана, определены границы кадра, точка съемки, масштабность изображения, соотношение попавших в кадр объектов съемки и пр.

❖ Композиция. При оценке композиции необходимо учесть расположение важной части и объектов на фотографии относительно центральной части, соответствие композиционному правилу "третей", соотношение попавших в кадр объектов съемки.

❖ Замысел. Каждая фотография должна нести смысловую нагрузку и отражать суть мероприятия. При просмотре репортажных фотографий должна быть возможность выстроить хронологическую последовательность событий.

Перечень вышеприведенных критериев, конечно, не является полным, законченным и может быть расширен и углублен. Однако, даже при таком классификационном наборе четко видно разделение критериев на такие,

которые можно оценить только методом экспертных оценок либо опытным взглядом профессионала, и такие, которые можно оценить, определить или рассчитать, которым можно научиться по мере освоения профессии фотографа. Более того, каждый критерий при необходимости может быть разбит на несколько параметров, которые, в свою очередь, могут быть проанализированы и оценены самыми различными способами. Здесь стоит отметить и тот факт, что существуют несколько типов фотографий. Причем под каждый тип, возможно, сформировать свой набор критериев. Так для оценки художественной фотографии существуют такие критерии, как уникальность, глубокий смысл, черты автора, - но они все достаточно абстрактны, и тяжело формализуемы. А для репортажных фотографий, где есть определенные установленные правила, которыми нужно руководствоваться при работе на мероприятиях, семейных съемках, свадьбах, концертах и многом другом, где есть прописанный сценарий, подойдут иные критерии. А есть еще и постановочные фотографии, портретные, пейзажные, и все эти типы создаются и развиваются по своим писанным и неписанным законам.

В XX веке было сложившееся мнение о фотографии: «Фотография создается в тот момент, когда фотограф нажимает на спуск» (Анри Картье-Брессон, 1951). Для него выбор «решающего мгновения» и способность нажать на спуск в нужное время - и есть тот момент творчества. Это суждение имеет место быть, но сейчас, спустя больше половины столетия, любой фотограф может с уверенностью заявить, что в постобработке тоже есть элемент искусства, частичка, которую каждый творец вкладывает в свои работы.

Таким образом, для оценки качества фотографий мы можем учитывать некий набор критериев изображения, оценку которых можно выполнить по-разному, в том числе и числовыми методами. Именно на таком анализе мы и остановимся подробно.

Анализ и оценка критериев качества фотографий

Выбор критериев для анализа был определен возможностью использовать библиотеки, сравнительный анализ, математический аппарат с тем, чтобы

добиться объективной оценки качества фотографий. Остановимся на этих критериях.

Резкость сюжетно-важной части кадра

Для того, чтобы определить, находится ли изображение в фокусе, современные фотокамеры используют различные схемы определения фазы и специальные датчики. Но как определить, находится ли захваченное изображение в фокусе после того, как оно было сделано. Наличие этой информации об измерениях может помочь во многих отношениях (выбрать лучшее изображение в последовательности, управлять объективом с электроприводом, чистое покадровое видео и многое другое).

Современное фотооборудование имеет встроенные системы автофокусировки, работающие по принципу как контрастного, так и фазового метода определения фокуса. Основное различие методов определения фокуса: фазовый - отлично подходит для наведения резкости по движущимся объектам, а контрастный - по неподвижным.

Для определения фокуса изображения будет использован "контрастный" метод. Основная идея: сегментация изображения и определение резкости на определенном участке изображения. Фотоизображение разделяется на несколько равных частей - сегментов, на каждой из которых определяется уровень резкости/размытости. Чем больше сегмент размыт, то ниже резкость участка.

Существуют участки фотоизображения с однородной поверхностью или плавным изменением тонов, на которых определение контрастным методом фокуса будет менее точным.

Для обработки изображений часто применяются методы основанные на нахождении вектора изменения [6]. Так, для определения уровня размытости/резкости будем использовать Оператор Лапласа. Фактически, это сумма квадратов вторых частных производных функции:

^ = дх2 + Эу2. (1)

С помощью оператора можно определить направление изменения цвета пикселя относительно соседних пикселей. Этот метод используется для нахождения «ребер» объектов на изображении [5; 7]. Ребра формируются из множества пикселей, в которых оператор Лапласа принимает нулевые значения, т.к. нули вторых производных функции соответствуют экстремальным перепадам интенсивности. Для расчета оператора используется пространственная маска:

0 1 0

L = 1 -4 1

.0 1 0

Используемая библиотек OpenCV содержит функцию Laplacian, которая вычисляет оператор Лапласа:

laplacian_var = cv2.Laplacian(img, cv2.CV_64F).var()

Предварительно рекомендуется уменьшить "шум" и выполнить сглаживание фотоизображения с помощью фильтра Гаусса.

Оператор Лапласа возвращает среднее значение дисперсии изображения. Таким образом, для определения участков с наиболее резким изображением мы его упрощаем - переводим в режим GrayScale, делим изображение на несколько равных сегментов и рассчитываем дисперсию для каждого из них.

Определив, таким образом, пороговые значения и вычислив среднее, мы можем найти сегменты с более резким и более размытым изображением.

Библиотека OpenCV содержит достаточно инструментов для решения этих задач [3].

Общий алгоритм формирования оценки по фокусу для изображения:

1. Определение общего значения функции Laplacian() для всего изображения;

2. Сегментирование фотоизображения на 81 участок (9х9 сегментов);

3. Определение значений функции Laplacian() для каждого из сегментов;

4. Формирование матрицы значений функции Laplacian().

5. Оценка резкости фотографии L(0) в целом по следующим границам критерия:

a. 0,25: значение Laplacian() = 0-100 очень размыто;

b. 0,50: значение Laplacian() = 101-500 размыто;

а 0,75: значение Laplacian() = 501-1500 достаточно резко;

d. 1,00: значение Laplacian() более 1500 очень резко.

6. Оценка резкости участков по границам, аналогичным предыдущему пункту для нахождения самых размытых сегментов.

7. Определение положения размытых сегментов Р() относительно центральной области (определенной по правилу третей):

a. 0,25: самые удаленные сегменты относительно центра (строки 1, 9 и колонки 1, 9 матрицы).

b. 0,50: удаленные сегменты относительно центра (строки 2, 8 и колонки 2, 8 матрицы).

а 0,75: сегменты около центра (строки 3, 7 и колонки 3, 7 матрицы).

d. 1,00: сегменты в центре (строки 4, 6 и колонки 4, 6 матрицы).

8. Формирование итоговой оценки по формуле определения среднего значений:

F = 100 • (Ь0 + ^ 2 = 50 • (Ь0 + ^ (2)

п п

где Ь0- значение функции Laplacian() для всего изображения; - значение функции Laplacian () для сегмента изображения;

Р^ - значение веса удаленности от центра.

Визуальное отображение работы алгоритма показано на рис. 1.

Рис. 1. Оценка фокуса изображения

Композиция

Композиция фотографии является одним из самых важных параметров фотографии. Правильно подобранная композиция позволяет усилить впечатление от фотографии, выделяя наиболее важные объекты и предметы. За время развития теории фотографии выделялись различные методы построения фотографии, такие, например, как:

• «пикториальная» (живописная) фотография - композиционное построение фотографии аналогично художественному рисунку (внимание деталям, бытовым подробностям);

• «косина» - диагональное построение фотографии, иногда причиной мог послужить обычный перекос камеры.

Известно, что человек подсознательно определяет определенные точки на фотографии, а не центр изображения. Поэтому для усиления качества снимка, его баланса наиболее важные объекты должны находится около этих точек. С помощью исследований удалось определить, что, если условно разделить изображение на 9 равных частей, искомые точки являются пересечением линий. Данный метод определения точек называется правило третей и используется

как один из важных методов оценки композиции [8]. Как именно разделить кадр на трети, показано на рис. 2.

Рис. 2. Сетка разделения кадра на «трети» Правило третей широко используется в современной фотографии, например, многие фотокамеры имеют встроенное разделение рамки видоискателя на девять частей в момент съемки. Пример современного видоискателя показан ниже, на рис. 3.

1 Г\ ...... -"П

1 и."""

ГШШВ-БПП 16:9 |1М1|1МГ|И |шч> Н\ »4М 1 •у Г 1 1 -1 В 11.(4 1 5!ЫПП 00:04:42:15 1.9 ИМ 1М11 ЯШ 1 ■

Рис. 3. Современный видоискатель Для оценки качества фотографии по композиции в работе мы будем использовать правило третей. Все загруженные фотографии разделяются на 9 частей, а далее мы определяем наличие объектов фотографии относительно пересечения точек и в центральной трети.

Экспозиция, светотеневой рисунок

Световой рисунок, или так называемая "гистограмма" - это графическое представление значений тонов на снимке. Именно она помогает фотографу проанализировать правильность экспозиции (яркости) и цветопередачи фотографии.

Существуют 2 типа гистограммы: первый тип - для каждого из основных цветов изображения RGB, и второй - гистограмма яркости, которая оценивает экспозицию кадра. На горизонтальной оси графика отображается яркость оттенков на изображении: от точки чёрного до точки белого. На этой оси расположены столбики, отображающие количество пикселей той или иной яркости. Чем столбик выше, тем больше пикселей такой яркости на фото. Пример верной гистограммы изображен на рис. 4.

полутона

Рис. 4. Пример верной гистограммы Так как у каждого фотоизображения оттенки располагаются по-разному, то у каждого кадра будет уникальный график гистограммы.

Для построения гистограммы будем использовать непараметрический способ оценки плотности случайной величины - ядерную оценку плотности (ЯОП, англ. Kernel Density Estimation, KDE). Ядерная оценка плотности является задачей сглаживания данных, когда делается заключение о

совокупности, основываясь на конечных выборках данных. В некоторых областях, таких как обработка сигналов и математическая экономика, метод называется также методом окна Парзена-Розенблатта [1].

Алгоритм построения заключается в следующем: для начала, нам необходимо загрузить фотографию в формате .jpg, а затем разбиваем на каналы по цветам (R-red-красный, G-green-зеленый, B-blue-синий). Как известно, цветное изображение представляется как трехмерный массив (x,y,z), где z составляющая принимает значения [0,1,2] и отвечает за синий, зеленый и красный спектры изображения соответственно. Таким образом, чтобы вычленить необходимый канал из цветного изображения, определяем переменные с учетом индексации массива:

Далее, производим необходимые преобразования типа данных, для дальнейшего использования (2D массив преобразуем в 1D массив): X_b = np.array(image_blue.flatten())[:, np.newaxis]

Далее, строим графики для каждого канала в виде частотного распределения пикселей в изображении (рис. 5).

0 5С МО Chw Канал 150 м йз

zzi Си или Канал

0 и 100 Зеленый Канал. 200 S9

к Зеленый Канал

0 Я 1Й0 Красный канал: м гм 2»

[= Красный канал

's SC ¡00 ISO 2И 3W

Рис. 5. Синий, зеленый и красный каналы отдельно

bins=256 - количество bins для построения частотного распределения/гистограммы. Выбирается вручную, в данном случае, число выбрано исходя из представления цвета в изображении: [0,255].

Далее, производим аппроксимацию каждого канала в отдельности, используя функцию KernelDensity() для каждого канала.

Важнейшие параметры функции:

• kernel-'epanechnikov' - выбор ядра аппроксимации

• bandwidth-bandwidth - размер аппроксимационного окна

• fit(X_b) - загружаем данные о канале в модуль

Строим графики для каждого канала, на котором располагаем гистограммы каждого канала и рассчитанной аппроксимации.

Аппроксимирующая кривая - непрерывная функция. Координаты по оси ординат теперь изменены и отличаются от абсолютных значений (как на графиках выше) для того, чтобы гистограмма и аппроксимационная кривая были построены в одинаковых координатах и удобства реализации. Графики аппроксимационных кривых можно увидеть на рис. 6.

- Kernel ■ Epanechnilcov Green Channel

50 100 150 ZOO 250

- Kernel - Epanechnikov

Fled Channel

ifc^

Рис. 6. Аппроксимированная кривая

Финальная часть - работа с аппроксимированными кривыми/функциями, где строятся два графика, которые представляют собой расчет первой и второй производных функции.

Первая производная функции аппроксимации дает представления об экстремумах. Вторая производная функции аппроксимации дает представления о точках перегиба. Внешний вид производных функций разных порядков можно найти на рис. 7.

First derivative over КОЕ Funtfcon (Epaneíhmkov):

/

¿ \ w\

Рис. 7. 1-ая и 2-ая производные функции аппроксимации

Заключение

В данной работе рассмотрены различные критерии оценки фотографий. Выбраны критерии, подлежащие количественной оценке с использованием математического аппарата и технических настроек фотооборудования, а именно: соответствие диафрагмы, выдержки, чувствительности к свету (ISO) и реальным условиям, не беря в расчет смысловую нагрузку и компоновку кадров.

Проведен подробный анализ таких критериев, как, резкость сюжетно-важной части; композиция фотографии и экспозиция.

Полученные результаты исследования показали, что можно значительно сократить время отбора фотографического материала, используя объективные методы оценки.

Библиографический список:

1. Botev, Z.I.; Grotowski, J.F.; Kroese, D.P. (2010). «Kernel density estimation via diffusion». Annals of Statistics 38: 2916-2950.

2. Ираклий Шанидзе. Фотография. Искусство обмана (рус.) / Т. Коробкина. — М.: «Эксмо», 2018. — 176 с.

3. Буэно, Суарес, Эспиноса. Обработка изображений с помощью OpenCV = Learning Image Processing with OpenCV. — М.: ДМК-Пресс, 2016. -210 с.

4. Ресурс Photographer [Электронный ресурс] // photographer.ru, URL: https://www.photographer.ru/cult/theory/4616.htm (дата обращения: 21.05.2020).

5. Ресурс OpenCV 3 Python blur detection [Электронный ресурс] // kurokesu.com URL: https://www.kurokesu.com (дата обращения: 20.05.2020).

6. Сузи Р. А. Язык программирования Python: Учебное пособие. — М.: ИНТУИТ, БИНОМ. Лаборатория знаний, 2006. — 328 с.

7. Ресурс OpenCV: выделение контуров [Электронный ресурс] // robotclass.ru URL: https://robotclass.ru/tutorials/opencv-python-find-contours/ (дата обращения 12.05.2020).

8. Ресурс Советы фотографам и стандарты качества изображения [Электронный ресурс] // pixabay.com URL: https://pixabay.com/ru/blog/posts/ (дата обращения 19.05.2020).