CC BY
12
Б01: 10.15514/КРКЛ8-2021-33(1)-3
Изучение видов деятельности на основе машинного обучения в поведенческих контекстах Интернета вещей
1М. Сафьян, ORCID: 0000-0003-4501-9699 <msafyan@gcul.edu.pk> 2 С. Сарвар, ORCID: 0000-0001-9714-6580 <sohail.sarwar@seecs.edu.pk> 3 З.У. Кайум, ORCID: 0000-0003-4230-6895 <zia@aiou.edu.pk> 2М. Икбал, ORCID: 0000-0002-8438-6726 <miqbal@lsbu.uk>
4С. Ли, ORCID: 0000-0001-5663-7420 <s.li@uwe.ac.uk> 5М. Кашиф, ORCID: 0000-0002-5640-9177 <miqbal@lsbu.uk>
1 Правительственный университет колледжа, Пакистан, 54000, Пенджаб, Лахор 2 Лондонский университет Саут Бэнк, Великобритания, SE1 0AA, Лондон 3 Открытый университет Аллама Икбала, Пакистан, 44000, Исламабад, 4 Университет Западной Англии, Великобритания, BS16 1QY, Бристоль, Колдхарбор Лейн 5Университет Озёгина, Турция, 34794, Стамбул, ул. Орман, 13
Аннотация: Модели изучения видов человеческой деятельности на основе онтологий играют жизненно важную роль в различных областях Интернета вещей, таких как умные дома, умные больницы и т.д. Основными проблемами онтологических моделей являются их статический характер и неспособность к самоэволюции. Модели нельзя разом построить полностью, и нельзя ограничить виды деятельности жителей умного дома. Кроме того, жители непредсказуемы по своей природе и могут выполнять «повседневную деятельность», не указанную в онтологической модели. Это порождает потребность в разработке интегрированной структуры, основанной на единой концептуальной основе (то есть онтологиях видов деятельности), обращаясь к жизненному циклу распознавания видов деятельности и создавая модели поведения в соответствии с распорядком дня жителей. В этой статье предложен процесс эволюции онтологии, в котором изучаются определенные виды деятельности из существующего набора видов деятельности в повседневной жизни. В этом процессе с помощью искусственной нейронной сети изучаются новые виды деятельности, которые не были идентифицированы моделью распознавания, добавляются новые свойства к существующим видам деятельности и выясняется новейшее поведение жителей при выполнении действий. Лучший уровень истинно-положительных срабатываний сети свидетельствует о распознавании видов деятельности с обнаружением искаженных сенсорных данных. Эффективность предложенного подхода очевидна из повышения скорости изучения видов деятельности, обнаружения видов деятельности и эволюции онтологии.
Ключевые слова: интернет вещей; распознавание деятельности; изучение вида деятельности; искусственная нейронная сеть
Для цитирования: Сафьян М., Сарвар С., Кайум З.У., Икбал М., Ли С., Кашиф М. Изучение видов деятельности на основе машинного обучения в поведенческих контекстах Интернета вещей. Труды ИСП РАН, том 33, вып. 1, 2021 г., стр. 47-58. DOI: 10.15514/ISPRAS-2021 -33(1)-3
Machine Learning based Activity learning for Behavioral Contexts in
Internet of Things
1M. Safyan, ORCID: 0000-0003-4501-9699 <msafyan@gcul.edu.pk> 2 S. Sarwar, ORCID: 0000-0001-9714-6580 <sohail.sarwar@seecs.edu.pk> 3 Z.U. Qayyum, ORCID: 0000-0003-4230-6895 <zia@aiou.edu.pk> 2M. Iqbal, ORCID: 0000-0002-8438-6726 <miqbal@lsbu.uk>
4 S. Li, ORCID: 0000-0001-5663-7420 <s.li@uwe.ac.uk> 5M. Kashif, ORCID: 0000-0002-5640-9177 <miqbal@lsbu.uk> 1 Lahore Government College University, Lahore, Punjab, 54000 Pakistan
2 London South Bank University,
London, SE1 0AA England
3 Allama Iqbal Open University, Islamabad Capital Territory, 44000 Pakistan
4 University of West of England, Coldharbour Ln, Bristol, BS16 1QY UK
5 Ozyegin University, Orman Sk. no. 13, istanbul, 34794 Turkey
Abstract. Ontology based activity learning models play a vital role in diverse fields of Internet of Things (IoT) such as smart homes, smart hospitals or smart communities etc. The prevalent challenges with ontological models are their static nature and inability of self-evolution. The models cannot be completed at once and smart home inhabitants cannot be restricted to limit their activities. Also, inhabitants are not predictable in nature and may perform "Activities of Daily Life (ADL)" not listed in ontological model. This gives rise to the need of developing an integrated framework based on unified conceptual backbone (i.e. activity ontologies), addressing the lifecycle of activity recognition and producing behavioral models according to inhabitant's routine. In this paper, an ontology evolution process has been proposed that learns particular activities from existing set of activities in daily life (ADL). It learns new activities that have not been identified by the recognition model, adds new properties with existing activities and learns inhabitant's newest behavior of performing activities through Artificial Neural Network (ANN). The better degree of true positivity is evidence of activity recognition with detection of noisy sensor data. Effectiveness of proposed approach is evident from improved rate of activity learning, activity detection and ontology evolution.
Keywords: Internet of Things; Activity Recognition; Activity Learning; Artificial Neural Networks
For citation: Safyan M., Sarwar S., Qayyum Z.U., Iqbal M., Li S., Kashif M. Machine Learning based Activity learning for Behavioral Contexts in Internet of Things. Trudy ISP RAN/Proc. ISP RAS, vol. 33, issue 1, 2021, pp. 47-58 (in Russian). DOI: 10.15514/ISPRAS-2021-33(1)-3.
1. Введение
Эпоха технологических революций ориентирована на человека, поскольку цель внедрения технологий - помочь людям. Одно из многообещающих приложений таких технологий -Интернет вещей (Internet pf Things, IoT). В соответствии с существующими тенденциями, распознавание видов деятельности человека (Activity Recognition, AR) и изучение видов деятельности (Activity Learning, AL) стали естественными механизмами внедрения адаптивных технологий IoT. AR/AL находятся в центре исследований в таких областях, как повсеместные и мобильные вычисления [1], организация вспомогательной жизненной среды
(ambient assisted living) [2], социальная робототехника [3], безопасность на основе видеонаблюдений (surveillance-based security) [4] и контекстно-зависимые вычисления [5]. Изучение видов деятельности [6] основано на распознавании видов деятельности в различных областях и средах. Распознавание видов деятельности основано на онтологических моделях. Чтобы создать онтологическую модель, необходимо проанализировать и обработать всю информацию и данные. Имеются два основных типа методов AR, лежащих в основе изучения видов деятельности: (а) на основе данных (data driven) и (б) на основе знаний (knowledge driven).
Методы, основанные на данных, используют данные сенсоров для разработки моделей видов деятельности с помощью алгоритмов машинного обучения и методов интеллектуального анализа данных. Эти методы позволяют справляться с искажениями, неопределенностью и неполнотой потока данных сенсора, но сталкиваются с проблемами, связанными с недостаточностью данных и отсутствием масштабируемости.
Методы, основанные на знаниях, используют предметные знания в требуемой области для создания моделей деятельности пользователей с помощью методов, основанных на знаниях, таких как управление знаниями и инженерия знаний. Главный недостаток методов, основанных на знаниях, заключается в том, что могут быть построены только статические модели видов деятельности [7]. Распознавание видов деятельности, основанное на знаниях, применимо к повседневной деятельности с определенными временной продолжительностью, местоположением и т.д. (как смоделировано в онтологии).
Онтологические модели удобны для распознавания активности, но проблема состоит в том, что онтологические модели статичны по своей природе и неспособны к самоэволюции. Для обновления этих онтологических моделей использовались нейронные сети для изучения различных видов деятельности при пошаговом выполнении действий.
Рис. 1. Процесс активного обучения для получения поведенческой модели Fig. 1. Activity Learning Process for having Behavioral Model
В этой статье предлагается непрерывный процесс моделирования видов деятельности, где эксперты предметной области предоставляют начальные обобщенные модели видов деятельности с использованием инструментов инженерии знаний [7]. Эти общие модели деятельности интегрируются в среду умного дома. На основе процесса распознавания деятельности создаются журналы деятельности. Для изучения модели поведения человека к содержимому журнала деятельности применяются интеллектуальные методы (искусственная нейронная сеть, Artificial Neural Network, ANN) [8]. Общий процесс изучения видов деятельности для получения поведенческой модели (также называемой полной моделью) представлен на рис. 1.
При получении полной модели видов деятельности из обобщенных моделей (предоставленных экспертами предметной области) изучение видов деятельности является
ключевым процессом. Например, если у нас есть вид деятельности под названием «купание», то он состоит из таких видов деятельности, как «включитьДуш» и «взятьМыло». Это минимальные действия, требуемые для того, чтобы помыться. С другой стороны, другой человек в этой деятельности может использовать шампунь или полотенце. В основе предлагаемого подхода лежит определение минимально необходимых действий (обобщенная модель) для выполнения некоторого вида деятельности, накопление данных, сгенерированных другими жителями, чтобы узнать о возможных других действиях, и получение поведенческой модели того же вида деятельности (с изменчивыми действиями). Следовательно, система узнает о новых версиях старого вида деятельности. Это позволяет экспертам определять обобщенные виды деятельности на более высоких уровнях абстракции и затем разрабатывать поведенческую модель для создания специализированных знаний. Оставшаяся часть статьи организована следующим образом: в разд. 2 дается краткий обзор методов распознавания видов деятельности и интерактивного обучения, в разд. 3 описывается предлагаемый фреймворк для активного обучения. Далее в разд. 4 приводятся результаты работы и их оценка. Разд. 5 посвящен итогам работы и потенциальным будущим направлениям исследований.
2. Обзор литературы
В этом разделе представлен краткий исследовательский обзор методов изучения и распознавания видов человеческой деятельности. В последнее время был проведен всесторонний анализ методов изучения видов деятельности наряду с методами моделирования сенсоров на основе машинного зрения и обучения, распознавания изображений и видео, а также мобильного распознавания активности с использованием сенсоров [32-35].
В работе [9] AR на основе данных комбинируется с методами на основе знаний для обработки неполных данных, поступающих от сенсоров. Подход, основанный на знаниях, для параллельной AR представлен Йе (Juan Ye) и др. в [10]. В этом подходе исследуется контекст активации сенсора и используется различие контекстов для кластеризации непрерывной последовательности данных сенсора для AR.
Рибони (Daniele Riboni) и др. [11] предложили фреймворк для представления сенсоров, устройств, активностей и атомарных действий. В их подходе глубокое обучение (Deep Learning, DL) сочетается с вероятностным мышлением (probabilistic thinking). Используемые правила оценки правдоподобия не определяются в семантике и задаются вручную. Предлагаемый подход с использованием DL является статическим по своей. Он позволяет распознавать активности, но не обеспечивает возможности выявления персонализированного поведения человека.
Окейо (George Okeyo) и др. [12] комбинируют формализмы онтологического и темпорального знаний, чтобы обеспечить представление для моделирования составных активностей. В этой статье также описаны правила, позволяющие динамически выводить составные действия. Простые активности, моделируеые в этой статье, по своей природе статичны. Наша работа отличается от [12] [13] двумя аспектами. Во-первых, в нашем случае генерируется полная модель видов деятельности на основе обобщенной модели. Во-вторых, динамически распознаются временные интервалы активностей.
Обширное исследование было выполнено, когда произошла смена парадигм от традиционных систем к умным мобильным устройствам [15][16]. Современные технологии носимых сенсоров включают в себя смартфоны, смарт-кольца, сенсоры на одежде, медицинские сенсоры и специализированные сенсоры, прикрепляемые к различным частям тела.
Окна динамически изменяемого размера для сегментации потоков сенсорных данных используются в [14] и [25]. Вводится механизм распознавания непрерывной активности в 50
реальном времени с использованием онтологических знаний для последовательных действий.
В обучение с учителем используются размеченные данные для обучения алгоритма, который может систематизировать неразмеченные данные [23]. При использовании для изучения видов деятельности обучение с учителем имеет некоторые особенности, такие как представление данных, преобразование данных из нескольких источников, разделение данных на обучающие наборы, наборы тестов для обучения модели.
Другие методы АЯ включают скрытые марковские модели [24], наивные байесовские сети [26][27], деревья решений [28], машины опорных векторов [30], [31], [33] и метод К -ближайших соседей [29], [30]. Все эти алгоритмы были бы достаточно хороши, если бы поведение людей было известно заранее.
3. Предлагаемый подход
Здесь подробно описывается предложенная схема, которая изучает поведенческую модель на основе общенной модели, как показано на рис. 2. Моделирование активности на основе онтологий обеспечивается с определенными ограничениями, предполагающими, что полная и обобщенная модели видов деятельности не возможны одновременно.
Рис 2: Предлагаемая схема для распознавания активности и обучения Fig. 2. Proposed Framework for Activity recognition and Learning
Как только информация о человеке из источников (в нашем случае от сенсоров) становится доступной, следующий шаг - представление этих знаний. В зависимости от собранной информации были разработаны два типа моделей активности: обобщенная модель (онтологическая модель) и поведенческая модель (JSON-файл).
3.1. Общая модель (онтологическая модель)
Обобщенная модель видов деятельности может быть представлена через концепты онтологии в виде троек (субъект, предикат и объект). Например, чистка зубов - это вид деятельности, которая выполняется два раза в день, утром и перед сном. Как правило, это деятельность предполагает использование зубной щетки и воды. Обычно это называется основой вида деятельности. Активности определяются как онтологические концепты, а все действия, которые необходимы для завершения активности, как характеристики концепта.
3.2. Поведенческая модель (JSON-файл)
Разработана специализированная поведенческая модель (на основе обобщенной модели видов деятельности). Поведенческие модели развиваются на протяжении процесса изучения видов деятельности. Общие модели представляются файлами онтологий, а поведенческие модели - в виде файлов в формате JSON.
Для распознавания активности был разработан и реализован двухшаговый алгоритм. Первый этап, называемый шагом отображения сенсорных данных в действия, использует информацию о сенсоре из контекстных знаний для преобразования данных активизации сенсоров в действия. На втором этапе, этапе поиска активности, запускается алгоритм распознавания образов с использованием обобщенных и поведенческих моделей. Процесс поясняется на лисинге 3.1.
Input: sensor_activation_dataset, domain_knowledge Output: annotated_dataset
action_dataset^applyTransformFunction(sensor_activation_dataset,
domain_knowledge)
GAM list ^ obtainGAM (domain_knowledge) for all action £ action_dataset do if action £ BAM then
activities^obtainActivities(action, BAM list) end if
if action £ GAM then
activities ^ obtainActivities(action, GAM list) end if
for all activity £ activities do // Use duration, completion, location criteria annotated_dataset^
findValidActivities(context knowledge) end for end for
return annotated_dataset
Листинг 3.1. Алгоритм распознавания активности Listing 3.1. Algorithm for Activity Recognition
3.3. Отображение действий сенсора
После каждой активации сенсора входные данные из набора данных активации принимаются и преобразуются в знания предметной области. Для каждой активации сенсора проверяется соответствующая модель сенсора в знаниях предметной области. Для каждого сенсора имеется действие, которому он должен быть сопоставлен в файлах знаний предметной области, предоставленных экспертом в предметной области.
Для нашего примера с купанием входные данные от сенсора {shower_sens1, soap_sens1} будут преобразованы в {turn_on_shower(shower), has_soap(soap)}{вкл_душ(душ), иметь_мыло(мыло)}.
3.5. Средство для изучения видов деятельности
В этом подразделе мы описываем и анализируем предлагаемый алгоритм обучения специализированных и поведенческих моделей активности, который мы называем средством для изучения видов деятельности (Activity Learner, AL) (рис. 3).
AL использует результаты из файла Sensor Stream File (SSF), в котором различные последовательности действий для каждого вида деятельности идентифицируются в процессе распознавания активности. Цель AL - научить поведенческую модель видов деятельности на
основе информации, предоставленной SSF. Для обучения используется искусственная нейронная сеть.
Рис. 3. Модель ANN для изучения активностей Fig 3. ANN Model for Activity Learning ANN состоит из взаимосвязанных вершин и взвешенных связей. Многие архитектуры ANN разрабатывались с учетом потребностей различных реальных областей распознавания активности. Архитектура, используемая в предлагаемой работе, представляет собой многослойный перцептрон (Multi-Layer Perceptron, MLP). MLP состоит из входного слоя, скрытого слоя и выходного слоя, где каждый слой состоит из одной или нескольких вершин, представленных на рис. 3 маленькими кружками.
Входной слой получает данные с сенсоров, которые не аннотируются в SSF. Каждый сенсор действует как узел во входном слое. Скрытый слой содержит информацию об обобщенной модели, аннотированную в SSF. Чтобы понять этот сценарий, можно рассмотреть следующий поток сенсорных данных:
<2017-09-06T10:23:06 21, 2017-09-06T10:23:11 19,4> 2017-09-06T10:22:56 20, 2017-09-06T10:23:00 18, 2017-09-06T10:23:08 20, <2017-09-0 6T10:24:30 25, 2017-09-06T10:24:37 18,7> 2017-09-06T10:24:32 11, 2017-09-06T10:24:59 9, 2017-09-06T10:25:01 26.
Сенсоры, не описываемые обобщенной моделью, могут рассматриваться как дополнительные сенсоры или могут быть сенсорами, генерирующими ложные данные. Эти сенсоры отображаются на входной слой. Ребра между входным и скрытым слоями описывают информационный поток. Каждое ребро между входным и скрытым слоями имеет вес, который равен
w(l + t + at), (3.1)
где I - местоположение, t — время и at — тип активности.
Значение времени t в формуле (3.1) будет 0 или 1 в зависимости от следующего. Пусть t1 -время начала активности, t2 - время окончания активности, а ts - время активации сенсора. Если значение ts находится между t1 и t2, т.е.
t1 < ts < t2, (3.2)
то значение t будет равно 1, иначе оно будет равно 0. Значение на выходном уровне сети вычисляется следующим образом:
I at
У = й+Р(аГ)+ L (33)
В (3.3) через I обозначается местоположение входного сенсора, Р1 - местоположение выполняемой активности, at - тип активности входного сенсора, P(at) - тип выполняемой активности и t такое же, как выше.
Существует также выходная таблица, которая содержит выходную запись всех вычислений для входного сенсора.
Положительный шум сенсора может быть рассчитан на выходном слое как
Noise = Т — у, (3.4)
где Т - заданный выходной параметр каждого сенсора. В нашем сценарии его значение равно
3.
После расчета по всем скрытым и выходным слоям выходная таблица будет заполнена расчетными результатами. Эта выходная таблица содержит все случаи с дополнительными сенсорами, а также сенсорами шума с их соответствующими обобщенными и поведенческими моделями.
4. Результаты и их оценка
Активности повседневной жизни (Activity of Daily Life, ADL) включают набор видов деятельности, которую каждый человек выполняет день ото дня. Некоторые примеры ADL -это заваривание чая, приготовление макарон или стирка одежды. Алгоритм AL применяется к набору данных из SSF. Все строки дополнительных сенсоров отображаются на входном слое, а аннотированные строки - на скрытом слое.
Один из наиболее сложных аспектов заключался в получении исчерпывающего набора данных, охватывающего все обсуждаемые сценарии и пригодного для оценки предлагаемой модели. В нашем исследовании использовался генератор синтетических наборов данных [35]. Если на этапе распознавания активности сенсор, сопоставленный с обобщенной моделью (подраздел 3.2), не активируется, предлагаемая система не может распознать эту активность. Для проверки этого сценария были выбраны две из семи активностей. Чтобы увидеть, как влияет отсутствие данных об активации сенсора на обнаружение соответствующей активности, для этого сенсора назначалась повышенная вероятность сбоя. Для остальных активностей шум отказа сенсора отсутствовал. В табл. 1 показаны результаты для сценария отсутствия отказов сенсоров. Табл. 2 соответствует сценарию, когда данные об активации некоторых сенсоров могут теряться. Действия, для которых это возможно, помечены звездочкой (СделатьЧай и СделатьКофе). Как видно из табл. 2, производительность предложенной системы для всех остальных активностей остается прежней. Остаются 100% истинно положительных результатов, в то время как количество ложноположительных и ложноотрицательных результатов значительно сокращается. Уменьшение количества истинно положительных результатов приводит к появлению ложноотрицательных результатов, поскольку не выявленные действия помечаются как шум. Таким образом, они считаются ложноотрицательными. Не оказывается никакого эффекта на
ложноположительные активности, однако, как и ожидалось, воздействие на истинно-положительные очевидно.
Табл. 1. Результаты для идеального сценария Table 1. Result for the Ideal Scenario
Виды деятельности Число активностей Истинно положительные (%) Ложно- положительные (%) Ложно- отрицательные (%)
Принимать душ 49 100 0 0
Делать чай 56 100 0 0
Смотреть телевизор 77 100 0 0
Стирать вещи 21 100 0 0
Делать кофе 14 100 0 0
Чистить зубы 56 100 0 0
Табл. 2. Результаты сценария при наличии сбоев сенсоров Table 2. Results of Sensor Missing Noise Scenario
Виды деятельности Число активностей Истинно положительные (%) Ложно- положительные (%) Ложно- отрицательные (%)
Принимать душ 49 100 0 0
Делать чай* 56 88.5 0 11.5
Смотреть телевизор 77 100 0 0
Стирать вещи 21 100 0 0
Делать кофе* 14 90 0 10
Чистить зубы 56 100 0 0
5. Заключение и дальнейшая работа
В настоящей статье была предложена схема обучения деятельности, основанная на онтологии. Реализация выполняется с помощью аннотации данных, распознавания активности, обучение активности на основе ИНС и аннотированного набора данных сенсора. В результате процесса обучения деятельности были созданы модели поведенческой активности для персонализированных моделей активности жителей умных домов. Подход к распознаванию и обучению активности основывается на взаимодействии объектов, за которыми наблюдают сенсоры. Одним из ограничений этого подхода является взаимная исключительность обобщенных действий, то есть дополнительные сенсоры могут быть частью нескольких поведенческих действий. Мы надеемся устранить это ограничение с помощью дополнительного сенсора в рамках его точной обобщенной модели активности.
Список литературы / References
[1]. Choudhury T., Consolvo S., Harrison B. et al. The mobile sensing platform: An embedded activity recognition system. IEEE Pervasive Computing, vol. 7, no. 2, 2008, pp. 32-41.
[2]. Philipose M., Fishkin K.P., Perkowitz M. et al. (2004). Inferring activities from interactions with objects. IEEE Pervasive Computing, vol. 3, no. 4, 2004, pp. 50-57.
[3]. Safyan M., Qayyum Z.U., Sarwar S., Iqbal M., Ahmed M. Context-Aware Personalized Activity Modeling in Concurrent Environment. In Proc. of the 10th International Conference on Internet of Things (iThings-17), 2017, pp 977-982.
[4]. Fernández-Caballero A., Castillo J.C., Rodríguez-Sánchez J.M. Human activity monitoring by local and global finite state machines. Expert Systems with Applications, vol 39, no. 8, 2012, pp 6982-6993.
[5]. Chervyakov N., Babenko M., Tchernykh A. et al. AR-RRNS: Configurable reliable distributed data storage systems for Internet of Things to ensure security. Future Generation Computer Systems, vol. 92, 2019, pp. 1080-1092.
[6]. Chen L., Nugent C., & Okeyo G. An ontology-based hybrid approach to activity modeling for smart homes. IEEE Transactions on Human-Machine Systems, vol. 44, no. 1, 2014, pp. 92-105.
[7]. Poppe R. A survey on vision-based human action recognition. Image and Vision Computing, vol. 28, no. 6, 2010, pp. 976-990.
[8]. Weinland D., Ronfard R., & Boyer E. A survey of vision-based methods for action representation, segmentation and recognition. Computer Vision and Image Understanding, vol. 115, no. 2, 2011, pp. 224241.
[9]. Azkune G., Almeida A., López-de-Ipiña D., & Chen L. Extending knowledge-driven activity models through data-driven learning techniques. Expert Systems with Applications, vol. 42, no. 6, 2015, pp. 31153128.
[10]. Ye J., Stevenson G., & Dobson S. KCAR: A knowledge-driven approach for concurrent activity recognition. Pervasive and Mobile Computing, vol. 19, 2015, pp. 47-70.
[11]. Riboni D., Sztyler T., Civitarese G., & Stuckenschmidt H. Unsupervised recognition of interleaved activities of daily living through ontological and probabilistic reasoning. In Proc. of the ACM International Joint Conference on Pervasive and Ubiquitous Computing, 2016, pp. 1-12
[12]. Okeyo G., Chen L., & Wang H. Combining ontological and temporal formalisms for composite activity modelling and recognition in smart homes. Future Generation Computer Systems, vol. 39, 2014, pp. 29-43.
[13]. Chen L., Nugent C.D., & Wang H. A knowledge-driven approach to activity recognition in smart homes. IEEE Transactions on Knowledge and Data Engineering, vol. 24, no. 6, 2012, pp. 961-974.
[14]. Azkune G., Almeida A., López-de-Ipiña D., & Chen L. (2015). Extending knowledge-driven activity models through data-driven learning techniques. Expert Systems with Applications, vol. 42, no. 6, 2015, pp. 3115-3128.
[15]. Chen L, Nugent C.D., and Wang H. A Knowledge-Driven Approach to Activity Recognition in Smart Homes. IEEE Transactions on Knowledge and Data Engineering, vol. 24, no. 6, 2012, pp. 961-974.
[16]. Gellersen H.W., Schmidt A., & Beigl. M. Multi-sensor context-awareness in mobile devices and smart artifacts. Mobile Networks and Applications, vol. 7, no. 5, 2002, pp. 341-351.
[17]. Buettner M., Prasad R., Philipose M., & Wetherall D. Recognizing daily activities with RFID-based sensors. In Proc. of the 11th International Conference on Ubiquitous Computing, 2009, pp. 51-60.
[18]. Gellersen H.W., Schmidt A., & Beigl M. (2002). Multi-sensor context-awareness in mobile devices and smart artifacts. Mobile Networks and Applications, vol. 7, no. 5, 2002, pp. 341-351.
[19]. Ravi N., Dandekar N., Mysore P., & Littman M.L. (2005, July). Activity recognition from accelerometer data. In Proc. of the Twentieth National Conference on Artificial Intelligence and the Seventeenth Innovative Applications of Artificial Intelligence Conference, 2005, pp. 1541-1546.
[20]. Brezmes T., Gorricho J.L., & Cotrina J. Activity recognition from accelerometer data on a mobile phone. Lecture Notes in Computer Science, vol. 5518, 2009, pp. 796-799.
[21]. Dayan P. Unsupervised learning. In Wilson R.A. & Keil F., editors. The MIT Encyclopedia of the Cognitive Sciences. MIT, 1999, 7 p.
[22]. Chen L., Nugent C. Ontology-based activity recognition in intelligent pervasive environments. International Journal of Web Information Systems, vol. 5, no. 4, 2017, pp. 410-430.
[23]. Liao L., Fox D., & Kautz H. Extracting places and activities from gps traces using hierarchical conditional random fields. The International Journal of Robotics Research, vol. 26, no. 1, 2007, pp. 119-134.
[24]. Tapia E.M., Choudhury T., & Philipose M. Building reliable activity models using hierarchical shrinkage and mined ontology. Lecture Notes in Computer Science, vol. 3968, 2006, pp. 17-32
[25]. Yamada N., Sakamoto K., Kunito G. et al. Applying ontology and probabilistic model to human activity recognition from surrounding things. IPSJ Digital Courier, vol. 3, 2007, pp. 506-517.
[26]. Safyan M., Qayyum Z.U., Sarwar S., Iqbal M., Ahmed M. Ontology-driven Semantic Unified Modeling for Concurrent Activity Recognition (OSCAR). International Journal of Multimedia Tools and Applications, vol. 78, 2019, pp. 2073-2104.
[27]. Fong T., Nourbakhsh I., and Dautenhahn K. A survey of socially interactive robots. Journal of Robotics and Autonomous Systems, Vol 42, no. 2, 2003, pp. 143-166.
[28]. Latfi F., Lefebvre B., & Deschen C. (2017). Ontology-Based Management of the Telehealth Smart Home, Dedicated to Elderly in Loss of Cognitive Autonomy. In Proc. of the OWLED: Workshop on OWL: Experiences and Directions, 2027, pp. 3-16.
[29]. Klein M., Schmidt A., & Lauer R. (2007). Ontology-centered design of an ambient middleware for assisted living: The case of soprano. In Proc. of the 30th Annual German Conference on Artificial Intelligence KI, 2007, pp. 2-8.
[30]. Chen L., Nugent C., Mulvenna M., Finlay D., & Hong X. Semantic smart homes: towards knowledge rich assisted living environments. Studies in Computational Intelligence, vol 189, 2009, pp. 279-296.
[31]. Машечкин И.В., Петровский М.И., Царев Д.В., Чикунов М.Н. Методы машинного обучения для задачи обнаружения и мониторинга экстремистской информации в сети интернет. Программирование, том 45, no. 3, 2019 г., стр. 18-37 / Mashechkin I.V., Petrovskiy M.I., Tsarev D.V., Chikunov M.N. Machine Learning Methods for Detecting and Monitoring Extremist Information on the Internet. Programming and Computer Software, vol. 45, no. 3, 2019, pp. 99-115.
[32]. Сарвар С., Кайум З.У, Сафьян М., Икбал М., Махмуд Я. Выявление характерных особенностей программ для борьбы с компьютерным пиратством на основе интеллектуального анализа графов. Труды ИСП РАН, том 31, вып. 2, 2019 г., стр. 171-186. DOI: 10.15514/ISPRAS-2019-31(2)-12 / Sarwar S., Qayyum Z.U., Safyan M., Iqbal M., Mahmood Y. (2019). Graphs Resemblance based Software Birthmarks through Data Mining for Piracy Control. Programming and Computer Software, vol 45, no. 8, 2019, pp. 581-589.
[33]. Бабенко М.Г., Черных А.Н., Червяков Н.И. и др. Эффективное сравнение чисел в системе остаточных классов на основе позиционной характеристики. Труды ИСП РАН, том 31, вып. 2, 2019 г., стр. 187-202. DOI: 10.15514/ISPRAS-2019-31(2)-13 / Babenko M., Tchernykh A., Chervyakov N. et al. Positional Characteristics for Efficient Number Comparison over the Homomorphic Encryption. Programming and Computer Software, vol 45, no. 8, 2019, pp 532-543.
[34]. Augusto J.C. & Nugent C.D. (2004). The use of temporal reasoning and management of complex events in smart homes. In Proc. of the 16th European Conference on Artificial Intelligence, 2004, pp. 778-782.
[35]. García-Hernández L.E., Tchernykh A., Miranda-López V., Babenko M. Multi-objective Configuration of a Secured Distributed Cloud Data Storage. In Proc. of the Latin American High Performance Computing Conference, 2019, pp. 78-93.
Информация об авторах / Information about authors
Мухаммад САФЬЯН - кандидат наук, доцент факультета компьютерных наук. Область его научных интересов включает отображение онтологий, электронное обучение, семантическое распознавание активностей.
Muhammad SAFYAN, PhD, Associated Professor of the Department of Computer Science. His area of interest includes ontology alignment, e-learning and semantic activity recognition.
Сохаил САРВАР - кандидат наук, научный сотрудник. Научные интересы: машинное обучение, Интернет вещей, поиск информации.
Sohail SARWAR, PhD, Research Fellow. Scientific interests: machine learning, IoT, information retrieval.
Зия УЛ КАЙЮМ - кандидат наук, профессор, проректор. Его исследовательские интересы включают искусственный интеллект, инженерию знаний, интеллектуальный анализ данных, семантическую сеть и электронное обучение.
Zia UL QAYYUM, PhD, Professor, Vice Chancellor. His research interests include artificial intelligence, knowledge engineering, data mining, semantic web and e-learning.
Муддессар ИКБАЛ - кандидат наук, старший преподаватель. Его исследовательские интересы включают сетевые технологии 5G, мультимедийные облачные вычисления, мобильные периферийные вычисления, туманные вычисления, Интернет вещей, программно-определяемые сети, виртуализацию сетевых функций, качество взаимодействия, а также облачные инфраструктуры и услуги.
Muddessar IQBAL - PhD, Senior Lecturer. His research interests include 5G networking technologies, multimedia cloud computing, mobile edge computing, fog computing, Internet of Things, software-defined networking, network function virtualisation, quality of experience, and cloud infrastructures and services.
Шанцан ЛИ - кандидат наук, старший преподаватель. Его текущие исследовательские интересы включают в себя сетевую экспертизу, безопасность устройств, беспроводные сенсорные сети, Интернет вещей и облегченную криптографию в IoT.
Shancang LI, PhD, Senior Lecturer. His current research interests include network forensics, device security, wireless sensor networks, Internet of Things, and lightweight cryptography over IoT.
Мухаммад КАШИФ - кандидат наук, научный сотрудник. Область научных интересов: машинное обучение, блокчейн, Интернет вещей.
Muhammad KASHIF, PhD, Researcher. Research interests: Machine Learning, BlockChain, IoT.
