CC BY
9
УДК 004.9 Ю. В. СТРОЕВА
ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДА АНАЛИЗА ОБЪЕКТОВ НА СТАТИЧЕСКИХ ИЗОБРАЖЕНИЯХ
Описывается возможность использования онтологии в интеллектуальной системе поддержки принятия решений для повышения обоснованности принимаемых решений. Приведён алгоритм реализованной системы и описаны его шаги.
Ключевые слова: онтология , система поддержки принятия решений, изображение.
Введение
Анализ состояния помещения необходим для своевременного реагирования на происшествия. Однако, постоянный просмотр видеопотока, поступающего на монитор, является трудозатратным процессом, т. к. требуется постоянное присутствие сотрудника и внимание к деталям.
Для повышения эффективности работы администратора помещений существует необходимость построения системы поддержки принятия решений (СППР), которые предназначены для обеспечения лица, принимающего решения (ЛПР) информацией, требуемой для обоснованного принятия решения.
Интеллектуальные СППР используют различные средства работы со знаниями, в том числе онтологии.
Алгоритм анализа объектов на статических изображениях включает обнаружение объектов с использованием нейронной сети и онтологический анализ с последующей интерпретацией.
1. Онтология
Для организации базы правил используется онтология следующей структуры:
Base = {S,E,0,R,F), (1)
где S = (EmptyClassroom, NotEmptyClassroom, CheckClassroom} - множество концептов, определяющих состояние наблюдаемых объектов в некоторый момент времени; E = (Entity} - концепт, описывающий обнаруживаемые объекты;
O = (LectureClassroom, PracticalClassroom} - множество концептов, описывающих наблюдаемые объекты;
F - функция интерпретации, формирующая множество отношений RSO, заданная множеством правил на языке SWRL.
R - множество отношений онтологии, определяющих связь между обнаруживаемыми и наблюдаемыми объектами.
Рассмотрим логическое представление онтологии Base более подробно в терминологии TBox [1]: EmptyClassroom Е Т NotEmptyClassroom Е Т CheckClassroom Е т EmptyClassroom Е - NotEmptyClassroom
Entity Е Т Entity = Т п V locatedln.C п V notLocatedln.C п V hasArea.double п V hasConfidence.double
ObjectObservation Е Т LectureClassroom Е ObjectObservation PracticalClassroom Е Obj ectObservation
LectureClassroom Е - PracticalClassroom ObjectObservation = Т п 3hasName.String п VhasName.String
Для классов Entity, LectureClassroom и PracticalClassroom заранее созданы индивидуальности. Наполнение сущности Entity выполнено согласно объектам, которые нейронная сеть может обнаружить: Person: Entity Tv: Entity
Airplane: Entity Knife: Entity Laptop: Entity Chair: Entity...
© Строева Ю. В., 2021
Всего класс Entity содержит 80 сущностей, которые позволяет обнаружить нейронная сеть YOLO [2].
Классы LectureClassroom и PracticalClassroom включают индивидуальности исследуемой предметной области, а именно, список лекционных аудиторий кафедры и компьютерных классов: 411: LectureClassroom 420 : LectureClassroom 418_а: PracticalClassroom 429: PracticalClassroom 431: PracticalClassroom 424_1: PracticalClassroom 424_2: PracticalClassroom
2 Алгоритм анализа объектов на статических изображениях
Алгоритм анализа объектов включает следующие шаги:
1. Считывание и предобработка статического изображения - для каждой анализируемой аудитории считывается последнее сохранённое изображение и выполняется его предобработка. Предобработка изображения включает конвертацию формата изображения из BGR в RGB, а также изменение размера считанного изображения.
2. Анализ изображения с применением нейронной сети - набор считанных изображений для каждой аудитории передаётся на вход нейронной сети. Нейронная сеть применяется для обнаружения объектов на изображениях. Если вывести результат работы нейронной сети на изображение, то оно будет выглядеть следующим образом (рис. 1):
Рис. 1. Результат работы нейронной сети
3. Формирование запроса к web-сервису http://kb.athene.tech/swagger-ui/index.html - для обнаруженных объектов указываются свойства locatedIn, hasConfidence и hasArea; notLocatedIn указывается для объектов, которые не были обнаружены на изображении:
(Person, 420): locatedIn, (Person, 0,75): hasConfidence, (Person, 3145): hasArea
(Tv, 420): locatedIn,(Tv, 0,88): hasConfidence, (Tv, 44755): hasArea
(Laptop, 420): notLocatedIn...
Данные передаются в POST-запросе web-сервису с указанием SQWRL-правила, которое необходимо выполнить.
4. Онтологический анализ — для наблюдаемых объектов экспертом сформировано множество SWRL-правил [3], помогающих дополнить онтологию, приведем некоторые из них:
Classroom(?c) А locatedIn(Person, ?c) -> NotEmptyClassroom(?c);
Classroom(?c) а locatedIn(Tv, ?c) а notLocatedIn(Person, ?c) а hasArea(Tv, ?val) а swrlb:greaterThan(?val, 20000) -> CheckClassroom(?c);
Classroom(?c) а locatedIn(Tv, ?c) а notLocatedIn(Person, ?c) а hasArea(Tv, ?val) а swrlb:lessThan(?val, 20000) -> EmptyClassroom(?c).
На основе переданных данных в онтологию SWRL-правила помогают дополнить ее, чтобы сделать дальнейшие выводы. Для формирования и дальнейшего вывода множества наблюдаемых объектов согласно их состоянию, используются правила на языке SQWRL [4]:
NotEmptyClassroom(?c) а hasName(?c, ?name) -> sqwrl:select(?c, ?name);
EmptyClassroom(?c) а hasName(?c, ?name) -> sqwrl:select(?c, ?name);
CheckClassroom(?c) A hasName(?c, ?name) -> sqwrl:select(?c, ?name);
Classroom(?c) a hasName(?c, ?name) -> sqwrl:select(?c, ?name).
Логический вывод, формируемый в онтологии, представляется пользователю для дальнейшего принятия решения.
3. Эксперименты
Для реализованного алгоритма проведён ряд экспериментов. В данном пункте будут представлены некоторые из них.
На рисунке 2 отражена ситуация, когда в помещение находится и человек, и экран включенного проектора, а также другие объекты. Согласно структуре описанной онтологии, рассматриваемая аудитория будет отнесена к классу непустых аудиторий.
На рисунке 3 отражена ситуация, когда в человек отсутствует, но обнаружен экран включенного проектора (Tv), другие объекты, идентифицированные как Tv, а также иные объекты. Для идентификации проектора на изображении в онтологии задано свойство has Area. Согласно правилу, использующего это свойство, все сущности Tv, обладающие площадью более 20 000, будут восприниматься как проектор. Следовательно, рассматриваемая аудитория будет отнесена к классу аудиторий для проверки.
На рисунке 4 отражена ситуация, когда в человек отсутствует, а экран проектора выключен. Согласно правилу, все сущности Tv, которые обладают площадью меньше чем 20 000, не будут идентифицированы как Tv. Следовательно, рассматриваемая аудитория будет отнесена к классу пустых аудиторий.
Рис. 2. Непустая аудитория
Рис. 3. Аудитория для проверки
Tv О.зЯ
Ml
Tv °6tair U.70
ПТ
DininqTable 0.53. n W bench 0.57
■ -
Bench 0.39 jj^H DiningTabje Bench 0.6€ [Chair 0.<
Dini
Рис. 4. Пустая аудитория Заключение
Был реализован алгоритм, позволяющий осуществлять поддержку принятия решений на основе онтологического подхода. Использование интеллектуальных СППР позволяет ожидать существенного повышения эффективности работы лиц, принимающих решения.
Разработанный алгоритм применим не только в деятельности кафедры, но также и в других областях. Для применения алгоритма в другой предметной области, необходимо перестроить базу знаний, согласно исследуемому объекту.
СПИСОК ЛИТЕРАТУРЫ
1. Redmon J. et al. A translation approach to portable ontology specifications // Knowledge Systems Laboratory. - 1993. - рр. 199-200.
2. Redmon J. et al. You only look once: Unified, real-time object detection //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - рр. 779-788.
3. Horrocks I. et al. SWRL: A semantic web rule language combining OWL and RuleML //W3C Member submission. - 2004. - Т. 21, №79. - рр. 1-31.
4. O'Connor M. J., Das A. K. SQWRL: a query language for OWL //OWLED. - 2009. - Т. 529.
Строева Юлия Владимировна, ассистент кафедры «Информационные системы», программист Лаборатории автоматизации организационной деятельности университета (ЛАОДУ УлГТУ).
Поступила 15.09.2021 г.
