CC BY
10
Доклады БГУИР
2011 № 6 (60) УДК 004.93:576.53-047.36
МОНИТОРИНГ КОЛОНИИ БИОЛОГИЧЕСКИХ КЛЕТОК НА ОСНОВЕ МЕТОДА ВЫЧИТАНИЯ ФОНА ДЛЯ ДИНАМИЧЕСКИХ ОБЪЕКТОВ
И.Н. ГУБЧИК, Н.Н. ИВАНОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию14 марта 2011
Представлена система мониторинга колонии биологических клеток на основе модифицированного адаптивного алгоритма вычитания фона, позволяющего выделять движущиеся объекты на видеоизображении. На основе результатов работы предложенного метода для группировки объектов оцениваются параметры перемещения клеток.
Ключевые слова: цифровая обработка видеоизображений, сегментация динамических объектов, классификация.
Введение
Заболевания, поражающие клетки ткани, могут быть идентифицированы либо как преобразование морфологии клетки в результате цитологических изменений, либо как отличие в поведении пораженной клетки. Изменения в морфологии клеток и их динамических характеристик могут быть достоверными показателями заболевания. Траектория движения клетки, ее скорость, частота деления также могут дать существенный вклад в диагностику патологии ткани [1].
Определение движущихся (динамических) объектов и их сегментация на видеопоследовательности являются одной из главных задач в мониторинге объектов и видео слежении. Основным методом, применяемым для решения данной задачи, является метод вычитания фона, который использует нормальное распределение [2-8]. В данном методе рассматривается последовательность кадров растровых изображений. Все изображения имеют одинаковый размер; можно считать, что со следующим кадром изменяется интенсивность пиксела на экране. На практике видео поток содержит шумы, поэтому кадры порождают для каждого пиксела случайный процесс. Распределение шума в большинстве случаев предполагается нормальным, также предполагается, что и процесс на пикселе является нормально распределенным. Оценка математического ожидания (среднее значение) и дисперсия процесса вычисляется с учетом значений интенсивности пиксела на предыдущих кадрах. Алгоритм относит пиксел к фону или к переднему плану в зависимости от значения веса процесса на пикселе. Вес процесса увеличивается, если интенсивность текущего пикселя имеет отклонение от среднего значения интенсивности процесса не более чем на 3с (с - среднеквадратическое отклонение процесса, изначально дисперсия D = с2 для всех процессов одинакова и не равна нулю). Применение единственного процесса для каждого пиксела, как представлено в работе [8], непригодно для большинства ситуаций, поскольку часто встречаются случаи, когда видеопоследовательность включает динамические фоновые объекты, например перемещения пятен загрязнения, тени, блики (применительно к исходным данным настоящей работы). Во избежание этих факторов применяется метод совокупности нормальных распределений [3-8].
Объектом данного исследования являются цветные видеоизображения колоний биологических клеток, полученные при цифровом микрофотографировании в Институте генетики и
цитологии НАН Беларуси. Инструменты анализа представлены алгоритмами сегментации, фильтрации, мониторинга и классификации объектов [9-11].
Будем считать, что биологические клетки, которые остаются неподвижными в течение всего интервала исследования, должны исключаться из рассмотрения, то есть данные объекты маркируются как фон.
Сегментация объектов
Сегментация объектов проводится измененным алгоритмом на основе метода вычитания фона с использованием совокупности нормальных распределений, детально описанного в [5], [7]. Каждый кадр исходной видеопоследовательности имеет разрешение 640x480 пикселов, однако изображения не слишком высокого качества, потому что для фотографирования применялась камера невысокого качества. Поскольку исследуемые объекты обладают малой подвижностью, то фотографирование производилось на протяжении нескольких недель через установленные промежутки времени (от 30 минут до нескольких часов).
Метод вычитания фона для первичной самонастройки использует определенное количество начальных кадров видеопоследовательности. Однако с учетом того, что исходные данные содержат небольшое количество кадров, необходимо учитывать все кадры видеоизображения. Разработанный алгоритм сегментации не исключает первые кадры из рассмотрения. Изначально происходит оценка параметров фона и движущихся объектов на основе выборки кадров из видеопоследовательности, а затем выполняется сегментация объектов на каждом кадре. Данная выборка состоит приблизительно из 2% всех кадров видеопоследовательности.
Первоначально на этапе предварительной обработки изображений каждый кадр видеопоследовательности переводится в градации серого цвета, поскольку фон и объекты переднего плана не отличаются между собой по цветовым характеристикам. Затем выполняется нормализация интенсивности текущего кадра на основе данных о среднем значении интенсивности предыдущих кадров посредством вычитания из интенсивностей пикселей отклонения от среднего значения интенсивности пикселей предыдущих кадров (формула (1)). Это связано с тем, что рассматриваемые видеоизображения обладают таким нежелательным свойством, как мерцание (изменение интенсивности), вызванное суточными изменениями освещенности объектов наблюдения. Нормализация кадров применяется, в основном, для исключения этого эффекта.
1 х,у,/ = 1 х,у,/ — (st — ^а ) , (1)
где х,у - координаты текущего пиксела на изображении; t - номер текущего кадра в видео-
N М N М t-1
222221ук
i=1 ] =1 г=1 ] =1 к=1
последовательности; st =- и sa =- - средние интенсивности пикселов
t N • М а N • М • (t -1)
на текущем изображении и на всех предыдущих t — 1 кадрах видеопоследовательности соответственно.
Вычисление математического ожидания и среднеквадратического отклонения процесса отдельного пиксела зависит от задаваемых внешних параметров (выражения (2) и (3)).
тх,уД = (1 — а1 )тх,уД—1 + аЛ,у , (2)
где х,у - координаты текущего пиксела на изображении; t - номер текущего кадра в видеопоследовательности; тху1 и тху(—1 - средние значения процесса текущего пиксела на кадре t и t -1 соответственно; а1 - коэффициент корректировки; sxу - значение интенсивности текущего пиксела.
<у,» = (1 -а2)<у,»—1 +а2(х - тх,уД^ (3)
где mxyt и mxyt_l - дисперсии процесса текущего пиксела на кадре t и t -1 соответственно; а2 - коэффициент корректировки.
Коэффициенты а1 и а2 используются для того, чтобы ограничить продолжительность существования процесса и убрать эффект шлейфа за движущимся объектом, поскольку без данных коэффициентов алгоритм «запоминает» любые скачки изменения интенсивности, что может привести к неправильной сегментации объектов, когда динамический объект интереса определяется как фон.
Для определения пиксела к фону или переднему плану вводится понятие веса процесса пикселя ю . Каждый процесс пиксела изначально обладает весом равным 0. Если пиксел причисляется к определенному процессу, вес данного процесса не изменяется, в противном случае вес процесса увеличивается в (1 + а)ю , где а - коэффициент корректировки. Коэффициент а выбирается из соображений общего количества кадров в видеопоследовательности, а также максимально возможного количества процессов на один пиксел изображения. Количество процессов на единичный пиксел зависит, прежде всего, от различных видов динамических объектов интереса, наличия динамического фона. В данной работе принято использовать 5 процессов на единичный пиксел. Сравнивая вес пиксела с установленным порогом, возможно сделать вывод о принадлежности текущего пиксела к фону или переднему плану:
ГF ,если ю<ютш
x е1й , (4) [Б, если Ю > ютт
где x - текущий пиксел; F - передний план; Б - фон; ю - вес процесса текущего пикселя; ют1п = 1 - установленный порог веса процесса.
После сегментации на изображении присутствует множество ложных превышений порога классификации процессов пикселов, что связано с различной скоростью движения динамических объектов, смещения объектов фона, а также остаточными шумами от изменения освещения. Для устранения ложных превышений возможно применение метода оконтуривания объектов и подсчета количества пикселей объектов, но данный метод требует больших вычислительных мощностей. В дополнение, некоторые сегментированные объекты «дробятся» на несколько более мелких объектов, что приводит к ошибкам на этапе мониторинга, если оконту-ривать данные объекты. Поэтому после сегментации объектов однократно или многократно в зависимости от зашумленности изображения применяется фильтр Гаусса размерностью 5 на 5 пикселей для удаления оставшихся шумов. Данный размер ядра фильтра выбирался, исходя из размеров объектов на видеоизображении. Затем проводится повторная пороговая классификация для перевода изображения в бинарный формат относительно установленного порога Т. Оптимальное значение Т выбирается из соотношения (5) [12]:
.2 ( т> \
Т=т±т1п
2 т + т2
V р2 У
(5)
где т и т2 - средние значения интенсивности фона и переднего плана; с - среднеквадрати-ческое отклонение фона и переднего плана (с = с1 =с2); р и р - априорные вероятности фона и переднего плана.
После фильтрации бинарное изображение содержит небольшое количество ложных объектов. Данные объекты обладают меньшей площадью, чем объекты интереса. Для удаления «лишних» объектов используется метод наращивания области, благодаря которому производится подсчет количества пикселов, входящих в объект. Если количество пикселов не превышает установленный порог, то данный объект удаляется из кадра. В противном случае данный объект остается без изменений.
ч
а б
Рис. 1. Исходный кадр в градациях серого цвета (а); сегментированный кадр (б)
Мониторинг объектов
Предполагается, что исходная видеопоследовательность содержит объекты, которые могут передвигаться только в двумерном пространстве, т.е. не могут проходить под (над) другими клетками, поэтому возможность нахождения нескольких объектов в одной точке исключена. Также объекты интереса обладают относительно одинаковой скоростью перемещения. Основываясь на данных условиях, за основу взят алгоритм нахождения ближайшего соседа [9], измененный под задачу мониторинга группы объектов.
Исходные видеопоследовательности включают в себя объекты, которые могут изменять свою форму, размер при собственном движении (перемещении, группировке с другими биологическими клетками, делении), поэтому морфологические свойства объектов не рассматриваются в качестве признаков при мониторинге объектов.
В алгоритме нахождения ближайшего соседа задается размер области поиска следующего положения текущего объекта. Радиус области поиска задается относительно максимального радиуса размера потенциальных объектов на изображении по формуле.
Г = КгГтах , (6)
где г - радиус области поиска ближайшего соседа; гтах - максимальный радиус объектов на изображении; Кг = 1..5 - коэффициент размера области поиска, который зависит от дисперсии значений радиусов объектов. Если существует разница между средним значением радиуса объектов и максимальным значением радиуса в несколько раз, то данный коэффициент равен 1.
На этапе сегментации во время использования метода наращивания области вычисляются размеры объектов, а также их центр масс. Относительно центра масс и производится поиск объектов на следующем кадре, поскольку, как описано выше, размер объектов изменяется во время движения.
В случае нахождения в области поиска нескольких объектов, выбор производится с учетом экстраполяции направления движения объектов с предположением, что данные объекты резко не изменили свою траекторию, однако существуют некоторые ситуации, когда невозможно определение следующего положения объектов, даже с применением вероятностной классификации данных.
Для разрешения пограничных ситуаций об идентификации клеток вводится понятие времени жизни объектов. Данное понятие обозначает последовательное количество кадров, на которых идентифицирован объект. Относительно времени жизни все объекты сортируются по приоритету. Чем больше время жизни объекта, тем больший приоритет. Поиск следующих положений объектов производится на основе приоритета объектов: изначально рассматриваются объекты с наибольшим временем жизни, затем с меньшим. Применение времени жизни объектов весьма эффективно для ситуаций, когда объект только «появился» на изображении (деле-
ние клетки, отделение клетки от группы клеток, возврат в зону объектива фотокамеры). В данном случае объекту присваивается наименьший приоритет.
Существуют ситуации, когда каждому объекту уже найдены следующие положения, однако на изображении присутствуют объекты, которые не были отнесены к каким-то клеткам. Данные объекты также маркируются, как только «вошедшие» с наименьшим приоритетом.
Для объектов, которые могли остановиться во время своего движения или же «исчезнуть» из кадра, производится экстраполяция их следующего движения. Если на следующем кадре данный объект не появляется, то его текущее местоположение маркируется также как и предыдущее. Для данного объекта устанавливается граница (7) в количество кадров, за которые объект может начать свое движение. Если объект так и не продолжил движение, то его время жизни устанавливается в значение, равное последнему кадру, на котором отображался объект:
L = КЬН, (7)
где N - общее количество кадров в видеопоследовательности; Кь - коэффициент, устанавливаемый экспертом-биологом, который варьируется в диапазоне от 1% до 10%.
После обработки всей последовательности производится исключение тех объектов, время жизни которых меньше установленного порога (8), поскольку в основном данные объекты являются объектами фона и не должны входить в рассмотрение:
Т = К^, (8)
где КТ - коэффициент, устанавливаемый экспертом-биологом, который варьируется в диапазоне от 1% до 10%. Обычно данный коэффициент равен половине Кь .
Классификация объектов
На основе данных мониторинга производится дальнейшая группировка объектов по признакам. В качестве алгоритма классификации был взят алгоритм К-средних [13], поскольку данный алгоритм не требует больших вычислительных мощностей. Классификация клеток осуществляется только по 4 кластерам: здоровые, больные, мертвые клетки и переходная группа, когда клетка не относится ни к одному из первых трех кластеров, например, объекты с очень маленькой скоростью перемещения. Критериями классификации являются скорость движения, направление движения и время жизни клетки. Изначально для классификации выбираются случайные объекты по результатам этапа мониторинга. При классификации возникает множество кластеров, количество которых может быть значительно больше четырех. Итерации классификации повторяются до того момента, пока кластеры не будут изменяться. В данной ситуации невозможно точно знать, какое будет конечное число кластеров.
Из полученных кластеров выбираются те, к которым принадлежит больше всего объектов. Предполагается, что данные кластеры и будут содержать 3 первых типа клеток: здоровые, больные и мертвые клетки (мертвыми маркируются те клетки, которые на последовательности кадров приостановили свое движение). Считается, что больные клетки обладают большими скоростями движения (мгновенной и средней), большим углом отклонения от прямолинейного движения, поэтому из выбранных 3-х кластеров находится тот, который содержит именно такие объекты. Затем выбирается кластер, у которого объекты обладают меньшим временем жизни. Данный кластер маркируется как мертвые клетки. Последний третий кластер маркируется как здоровые клетки. Остальные кластеры исключается из рассмотрения исследователем-биологом.
Результаты
Мониторинг объектов на видеопоследовательности производится относительно двух параметров: порога времени жизни объектов Т и применения единичной или многократной фильтрации на этапе сегментации объектов. На рис. 2 представлены результаты этапа мониторинга объектов с учетом единичной фильтрации относительно установленного значения порога
Т . На рис. 2,а присутствует множество ложных срабатываний на движение объектов, поскольку уровень порога Т был установлен в 1 кадр, что соответствует примерно 0,2% от числа кадров на видеопоследовательности. Рис. 2,б и 2,в содержат траектории движения объектов для мониторинга с большим значением порога Т. При увеличении значения порога Т возможно удаление объектов, которые появились на последних кадрах последовательности или же существовали на первых кадрах.
Л у 1
1
а б в
Рис. 2. Результаты мониторинга с установленным порогом: а) Т = 1 кадр; б) Т = 30 кадров;
в) Т = 60 кадров
В таблице представлены результаты мониторинга объектов при единичной фильтрации относительно значения порога Т .
Сравнение результатов мониторинга объектов
Значение порога Т , число кадров Количество динамических объектов при мониторинге с применением на этапе сегментации единичной фильтрации Количество динамических объектов при мониторинге с применением на этапе сегментации многократной фильтрации
1 1272 633
30 83 60
60 45 29
Как видно из результатов в таблице, многократное применение фильтра Гаусса значительно сокращает количество отслеживаемых объектов, удаляя из рассмотрения ложные объекты. Однако стоит учесть, что многократная фильтрация сокращает в итоге максимальное время жизни объектов. При единичной фильтрации объекты имеют время жизни более чем на 80% кадрах, данное значение уменьшается с применением многократной фильтрации. Это является недостатком для мониторинга, поскольку многократная фильтрация дает большее искажение (смазывание) изображения, что влечет за собой потерю объектов при их движении и проводит, соответственно, к неправильной идентификации объектов, даже с применением методов вероятностной классификации и гипотез движения.
Заключение
В дальнейшем необходимо решить задачи мониторинга для случаев разделения клеток, при котором происходит «скачок» (отрыв) одной клетки от второй. Одним из нерешенных на данный момент вопросов является вопрос о включении в рассмотрение тех клеток, которые в процессе своего движения останавливаются на некоторое время. Данные клетки для сегментации динамических объектов являются фоном и поэтому при возобновлении движения данных клеток система мониторинга считает их совсем иными, не причисляя их к предыдущим. Остается также проблема выбора между однократной и многократной фильтрацией, как показано в предыдущем разделе. Разработанная система слежения за объектами в колонии разделенных клеток может быть также применена к системам видеослежения, например, слежения за парковкой автомобилей, в помещениях.
BIOCELL COLONY TRACKING EXPLOITING BACKGROUND SUBTRACTION
METHOD FOR DYNAMIC OBJECTS
I.N. GUBCHIK, NN. IVANOV Abstract
System of biocell colony tracking exploiting modified adaptive background subtraction algorithm is given. Presented algorithm allows segmenting movable objects at video sequence. Numeric parameters of segmented objects are estimated on the base of the algorithm; specific parameters make it possible to cluster the objects.
Литература
1. Cheng J. et al. J. Cheng, Heidelberg: Springer. 2009.
2. Абдулин Ю.Э. // Электронный научный журнал «Исследовано в России». 2007. С. 1282-1289.
3. Ardo H, Berthilsson R. // 17-th British Machine Vision Conference. 2006. Р. 1069-1078.
4. Du-Ming Tsai, Shia-Chih Lai // IEEE Transactions on image processing. 2009. Vol. 18, №1. Р. 158-167.
5. Cheung S-C. S., Kamath C. // IS&T/SPIE's Symposium on Electronic Imaging. 2004. P. 881-892.
6. Zadeh Varcheie P.D., Sills-Lavoie M., Biladeau G-A. // Canadian Conference on Computer and Robot Vision. 2008. P. 71-78.
7. McIvor A.M. // IVCNZ00 - Hamilton, New Zealand, November 2000. P. 315-320.
8. Zhang S., Yao H., Liu S. // The Eighth International Workshop on Visual Surveillance (VS2008) - Marseille, France, October 2008. P. 1-8.
9. Bar-Shalom Y., Li X.-Rong, Kirubarajan Th. Estimation with Applications to Tracking and Navigation. Wiley, 2001.
10. Pratt W. Digital image processing. 2007.
11. Jahne B. Digital Image processing. 2005.
12. Cho J-S., Kim D-J, Park D-J. // IEICE (Inst Electron Inf Commun Eng). 2000. P. 2142-2151.
13. Borango S., Boghossian B., Makris D. et al. // 5th International Conference on Visual Information Engineering (VIE 2008). 2008. P. 192-197.
