CC BY
4
УДК 615.47:616-072.8 DOI: 10.21122/2309-4923-2024-2-52-60
ВИШНЯКОВ В.А., СЯИ.В.
СИСТЕМА IOT ДЛЯ ДИАГНОСТИКИ БОЛЕЗНИ ПАРКИНСОНА С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ И OSTIS
Белорусский государственный университет информатики и радиоэлектроники г. Минск, Республика Беларусь
Цель данной работы состоит в том, чтобы разработать систему ИТ-диагностики болезни Паркинсона (БП) с удаленным доступом на базе сети Интернета вещей (IoT). Авторы ранее разработали метод комплексного распознавания болезни Паркинсона с использованием машинного обучения, маркерах анализа голоса и изменениях в движениях пациента. Два общедоступных набора данных (sound, action) были выбраны в качестве экспериментальных. В статье приведена его реализация на базе сети IoT. Разработка сети выполнена с использованием OSTIS (Open Semantic Technology for Intelligent Systems).
В сети IoT смартфон является точкой ввода и предварительной обработки двух наборов данных, включая извлечение признаков из аудиозаписи голоса пациента и его двигательной активности. Передача данных осуществляется через локальный сервер Flask, действующий как канал для пересылки функциональных данных на сервер OSTIS. Сервер OSTIS обрабатывает данные, полученные с локального сервера Flask, и использует агента прогнозирования нейронной сети для распознавания БП. Этот агент загружает признаки, извлеченные из голоса и движения пациента, и делает прогнозы на основе обученной нейронной сети, связывая эти прогнозы со знаниями в системе OSTIS, и сохраняет их в базе данных.
Результатом исследования является архитектура и алгоритмы работы сети IoT. Рабочий процесс всей системы включает в сбор и предварительную обработку данных устройствами Интернета вещей (смартфоном, датчиками движения) последующую передачу данных на локальный сервер Flask, дальнейшую пересылку на сервер OSTIS, обработку модели нейронной сети агентом нейросетевого предсказателя и, в конечном счете, связывание обработанных результатов с графом знаний и сохранение их в системе.
Система удаленной ИТ-диагностики БП обеспечивает обработку данных пациентов в режиме реального времени, распознавание признаков заболевания в сети Интернета вещей, поддержки расширенного анализа и принятия решений по дальнейшему лечению.
Ключевые слова: сеть Интернет вещей, диагностика болезни Паркинсона, нейронные сети, база знаний, ОСТИС, алгоритмы, архитектура
Введение
Ранняя диагностика болезни Паркинсона (БП) является сложной задачей для медицинского сообщества [1]. В настоящее время диагноз заболевания основан на анамнезе, клинических признаках и симптомах, но поскольку заболевание начинается медленно и клинические симптомы появляются не сразу, пациенты часто находятся на продвинутой стадии заболевания. Когда поставлен диагноз, упущено лучшее время для лечения. Разработка новых методов лечения в этой области зависит от двух основных аспектов: ранняя диагностика заболевания; правильная и постоянная оценка эффективности лечения.
Из-за таких симптомов, как тремор и снижение амплитуды движений, почерк пациентов с БП мельче и более искажен, чем у нормальных людей. Перейра К.Р. и соавторы [2] предложили метод раннего выявления болезни Паркинсона, при котором исследовали почерк пациентов с помощью смарт-ручки и просили нарисовать соответствующие
графики. Фукава К. и соавторы [3], Япония, также определили болезнь Паркинсона по движениям рук пациента, за исключением того, что в исследовании использовалась искусственная нейронная сеть для оценки количества постукиваний пальцами пациентов с болезнью Паркинсона. Их измерительная система состояла из пары 3-осевых акселерометров, пары сенсорных датчиков, аналого-цифрового преобразователя и персонального компьютера.
В работе авторов [4] при обучении нейронной сети для распознавания БП была использована частотно-временная функция, (вейвлета) и Мел-кепстральные коэффициенты (MFCC). Применен алгоритм KNN (k Nearest Neighbor) и алгоритм двухслойной нейронной сети для обучения и тестировании на два общедоступных наборах данных о изменении речи (sound) и движения (action) пациентов с болезнью Паркинсона. Для улучшения гиперпараметров KNN алгоритма использован байесовский оптимизатор. Построенные модели достигли точности 94,7 % и 96,2 % на речевых данных пациентов с болезнью
Паркинсона и наборе данных об их передвижении соответственно.
Следующей задачей является создание системы ИТ-диагностики БП с использованием Интернета вещей, способной дистанционно даже без врачей проводить исседования пациентов. Для проектирования такой системы предлагается использовать технологию OSTIS.
Открытая семантическая технология для интеллектуальных систем ()
OSTIS - это передовая технология с открытым исходным кодом, предназначенная для облегчения разработки совместимых интеллектуальных систем следующего поколения [5]. Суть OSTIS заключается в создании интеллектуальных систем, которые органично интегрируют различные типы знаний и модели решения проблем, признавая, что набор требуемых моделей и знаний различается для разных классов задач. Хотя некоторые гибридные интеллектуальные системы пытались решить эту проблему, они часто страдали от монолитных структур, которые препятствовали гибкости и возможности их повторного использования, что приводило к большим затратамна разработку.
OSTIS преодолевает эти ограничения, использует универсальное представление инфор-
мации, известное как SC-код. Это представление, основанное на дискретной математике, обладает рядом преимуществ:
1. Единообразное представление: любая информация может быть закодирована последовательно.
2. Удобный для машин и читаемый человеком SC-код, который обеспечивает как простоту машинной обработки, так и понимание человеком.
3. Нелинейный и абстрактный вид, который может кодировать информацию в семантических ассоциативных компьютерах.
4. Элементы языка (SC-code) используют базовый алфавит всего из пяти элементов для построения сложных структур.
5. Универсальность: SC-код может представлять не только системные знания, но и модели решения проблем и системные интерфейсы.
Описание архитектуры сети IoT
Рассмотрим архитектуру сети 1оТ, реализующую метод комплексного распознавания болезни Паркинсона (рисунок 1), включающая обученные нейронные сети, разработанную с использованием технологии OSTIS. Рассмотрим ее основные компоненты.
Рисунок 1. Архитектура системы Интернета вещей для ИТ-диагностики БП
1. Clients. Корпоративные системы (Android/ iOS и Linux/Unix). Это клиентские системы, используемые пациентами, для взаимодействия с приложением на базе OSTIS. Они служат пользовательским интерфейсом, через который можно вводить данные, делать запросы или получать информацию.
Emdeded hardware (Jetson Nano, Hardware Development Board, датчики сторонних производителей): это оборудование предназначено для сбора различных данных, связанных со здоровьем пациентов. Данные, собранные этими устройствами, затем преобразуются в формат SC-кода (се-мантик код) и интегрируются в базу знаний системы OSTIS, где их можно обрабатывать и анализировать, чтобы получить представление о состоянии здоровья пациента.
2. Local Server component. Веб-сервер: служит точкой входа для HTTP-запросов от клиентов, выступая в качестве посредника между клиентом и веб-ориентированным семантическим интерфейсом системы OSTIS. WSGI: соединяет веб-сервер с Flask, обеспечивая связь между веб-сервером и семантическим интерфейсом системы OSTIS, реализованным через Flask. Программа Flask [6]: действует как часть интерфейса OSTIS, который описывается с помощью SC-кода. Он предоставляет веб-ориентированный семантический интерфейс для пользователей, преобразуя SC-код в формат, понятный человеку, и наоборот.
База данных: может быть любого типа, например SQL или NoSQL, используется для постоянного хранения и извлечения данных в соответствии с требованиями приложения.
3. Neural Network Predictor Agent. Это ядро прогностических возможностей системы, включает различные типы нейронных сетей, такие как Gated Recurrent Unit (GRU), долговременная кратковременная память (LSTM) и рекуррентные нейронные сети (RNN).
4. OSTIS Web Platform Components [7]. Веб-браузер: предоставляет пользователям доступ к семантическому интерфейсу системы OSTIS, позволяя им взаимодействовать с базой знаний и решателями проблем. Сетевой клиент и сервер (HTTP-сервер, sc-web, sc-server): компоненты работают вместе для поддержки семантического веб-интерфейса системы OSTIS, отвечают за обработку и доставку семантических данных в веб-браузер и из него.
Sc-память: хранилище семантической сети в рамках OSTIS framework. База знаний хранится, к ней получают доступ разработчики задач и семантический веб-интерфейс. SCs, SCg: различные формы визуализации SC-кода, используемые для представления моделей знаний и решения проблем в системе OSTIS.
Binary dump: относится к двоичному представлению компонентов знаний или состоянию SC-памяти, которое может использоваться для различных целей, таких как миграция, резервное копирование или репликация базы знаний системы OSTIS.
Алгоритм работы системы ИТ-диагностики БП включает:
1. Сбор данных. Наблюдение за пациентами осуществляется с помощью различных встроенных аппаратных устройств, которые собирают данные о состоянии здоровья в режиме реального времени. Эти устройства могут включать датчики для мониторинга жизненно важных показателей, движения и других показателей здоровья.
2. Предварительная обработка данных. Необработанные данные, собранные датчиками, подвергаются предварительной обработке, которая может включать нормализацию, извлечение признаков и селекцию. Цель состоит в том, чтобы подготовить данные для анализа путем удаления шума и выделения соответствующих закономерностей. Этот шаг выполняется перед отправкой данных на платформу OSTIS.
3. Хранение данных. Характеристики, извлеченные из необработанных показаний датчиков, сохраняются в базе данных. Сохраненные данные структурированы в соответствии с требованиями нейронных сетей, входные данные представлены в правильном формате для последующего этапа диагностического анализа в рамках платформы OSTIS.
4. Интеграция данных. Посланные на платформу OSTIS характеристики данных пациентов, интегрируются в систему.
5. Работа нейронной сети. Для ИТ-диагностики используются сети GRU, LSTM, RNN, которые предварительно обучены на наборах данных. Затем они обрабатывают данные новых пациентов для составления прогнозов.
6. Диагностический вывод. Выходные данные агента нейронной сети предоставляют диагностическую оценку или прогноз состояния здоровья, показывая вероятность заболевания по изменению голосу или движения пациентов.
7. Взаимодействие с пользовательским интерфейсом. Результаты диагностики становятся доступными врачам и пациентам через пользовательский интерфейс системы OSTIS. Веб-интерфейс, разработанный совместно с Flask, позволяет пользователям взаимодействовать с системой через веб-браузер на клиентских устройствах.
8. Обзор и действия. Медицинские работники просматривают выходные данные системы OSTIS, принимая во внимание общую историю болезни пациента и контекст. Они могут использовать эту
информацию для принятия решений о методах лечения или планировании дополнительных анализов.
Устройство ввода и сбор данных
Смартфон собирает два типа данных пациентов: аудиоданные голоса (их звуковые характеристики) и движения пациента (записываются характеристики движений пациента). Алгоритм получения данных об движении пациента включает шаги.
1. Использование библиотеки Python (PySensors) работы с датчиком ускорения смартфона. Настройка параметров датчика, установив частоту дискретизации на 64 Гц и точность датчика на 16 бит.
2. Создание структуры данных о движении пациента для их сохранения. В цикле выполняется считывание данных датчика движения.
3. Сохранение данных в локальном файле для дальнейшей обработки и анализа.
Алгоритм сбора голосовых данных пациента со смартфона включает.
1. Использование библиотеки Python (PyAudio) для работы с микрофоном смартфона.
2. Инициализация микрофона и установка параметров звука. Частота дискретизации составляет 44100 Гц, количество каналов равно 1, а разрядность равна 16.
3. Создание аудиопотока для приема и записи голосовых данных.
4. Запись голосовых данных и сохранение их в локальном файле.
Следующим шагом после сбора и записи данных акселерометра и голоса пациентов является предварительная обработка и извлечение характеристик из этих данных.
Алгоритм предварительной обработки данных и извлечения признаков включает.
1. Очистка и калибровка данных: собранные данные подвергаются первоначальной очистке и калибровке для удаления потенциальных шумов и выбросов. Для данных акселерометра выполняется калибровка датчика для обеспечения согласованности данных в рамках общей системы отсчета [4].
2. Анализ во временной и частотной областях, проводится для получения основных характеристик сигнала. Он включает форму сигнала, энергию, длительность и многое другое. Анализ в частотной области охватывает спектральное распределение, частотные компоненты и связанные с ними характеристики [4].
3. Извлечение признаков: из данных акселерометра и голосовых данных извлекаются признаки, представляющие информативные и значимые атрибуты, которые помогают в распознавании БП. Для данных акселерометра извлекаются статистические характеристики моделей
движения, такие как среднее значение, стандартное отклонение, энергия и т. д. Для голосовых данных извлекаются характеристики звука, как основная частота, высота тона, спектральные характеристики и т. д.
4. Нормализация: извлеченные характеристики нормализуются, чтобы гарантировать, что они имеют схожие масштабы, предотвращая непропорциональное влияние определенных функций на обучение модели.
5. Выбор: при большом количестве извлеченных характеристик выбираются наиболее релевантные и полезные из них, уменьшая размерность и повышая эффективность и быстродействие модели.
6. Хранение данных: данные сохраняются в виде файла значений, разделенных запятыми, для локального хранения.
Алгоритм передачи данных с мобильного смартфона на сервер Flask:
1. Смартфон собирает данные акселерометра или голосовые данные пациентов и выполняет предварительную обработку и извлечение объектов.
2. Данные объектов упаковываются в формате JSON. Ниже приведен пример JSON:
"json {
"data_type": "ускорение", // или "голос", указывающий тип данных
"функции": [
{
"имя_функции": "имя_функции 1", "значение": 0.123
}, {
"имя_функции": "имя_функции_2",
"значение": 0.456
},
// Дополнительные возможности... ]
}
3. Персылка данных JSON на сервер Flask, используя протокол HTTP, с запросом POST.
Целевой URL: http://192.168.100.14:5000/ getdata. Заголовок запроса содержит информацию о типе данных и может быть задан как "Content-Type: application/json".
4. Сервер Flask получает и обрабатывает запрос по маршруту "getdata".
5. При получении данных на стороне сервера Flask может быть применен ряд различных стратегий обработки, зависящих от типа данных. Эти стратегии включают хранение данных в локальных файлах, проведение более углубленных аналитических процедур или использование прогностических моделей для принятия решений о заболевании.
В вышеописанном алгоритме данные передаются с мобильного устройства на сервер Flask, который получает данные по указанному маршруту и выполняет необходимую обработку.
Настройка локального сервера с помощью системы OSTIS
Веб-платформа OSTIS [8] - это веб-ориентированная программная платформа проекта OSTIS. Она служит основой для развертывания существующих систем OSTIS и создания новых и включает в себя следующие компоненты:
1. База знаний [9], содержит онтологии верхнего уровня, помогающие в разработке различных информационных моделей.
2. Машина обработки знаний [10], обеспечивает хранение семантической сети и обработку знаний на основе агентов.
3. Веб-ориентированный семантический интерфейс [11], позволяет пользователям взаимодействовать с интеллектуальной системой.
Алгоритм для быстрого запуска Docker Compose, подходящий для Linux и macOS:
1. Копия репозитория и переход в каталог:
git clone https://github.com/ostis-ai/ostis-web-platform --рекурсивный
cd ostis-веб-платформа
2. Загрузка образа из Docker Hub:
docker compose pull
3. Создание базы знаний:
docker compose запустите машинную сборку
4. Запуск веб-платформы:
docker compose up
С помощью Docker Compose:
1. Создание базы знаний (перед первым запуском или после обновления исходных файлов БЗ):
docker compose запустите машинную сборку
2. Запуск службы платформы и получение доступа к веб-интерфейсу (адрес: localhost:8000):
docker compose up
3. Запуск машины обработки знаний:
./scripts/run_sc_server.sh
4. В другом терминале запуск семантического веб-интерфейса (адрес: localhost:8000):
./scripts/run_sc_web.sh
На рисунке 2 показаны элементы работы системы в виде активных контейнеров в среде Docker. Когда сервер Flask получает данные, он пересылает их агенту нейронной сети на сервере OSTIS. Роль этого агента заключается в загрузке соответствующей модели нейронной сети и обработке полученных данных. Нейронная сеть делает прогнозы и генерирует результаты, сохраняет их в базе данных. Затем сервер Flask создает ответ, инкапсулирующий результаты прогнозирования в формате JSON, и отправляет его клиенту, чтобы пользователи могли получить доступ к результатам анализа в режиме реального времени. Процесс обеспечивает целостность и постоянство данных, позволяя пользователям взаимодействовать с сервером OSTIS через сервер Flask для доступа к нужной информации. Рассмотрим назначение составляющих на рисунке 2.
□ □ □ □
ostis-web-ptatform
р^ web-1
™ e7b19874f865 D
- machine-1
^ 089cda169167 О
Image Status
Running (2/2) ostis/sc-web:0.7.Q-Rebirth Running
ostis/somaohinfi:0.7.0-Rahirth Running
CPU {%) Port(s) Last started Actions
9.03% 15 hours ago ■ :
0.05% 8000:8000 0 15 hours ago ■ :
8.98% 8090:8090 17! 15 hours ago ■ :
Рисунок 2. Запущенные контейнеры в docker
Ostis-web-platform: контейнер служит структурой для веб-платформы OSTIS, инкапсулируя экземпляры web-1 и тасЫпе-1. Он организует общий рабочий процесс и взаимодействие между веб-интерфейсом и механизмом обработки знаний. Web-1: работая под управлением ostis/sc-web:0.7.0-Rebirth, этому экземпляру контейнера поручено предоставлять компонент платформы «Веб-ориентированный семантический интерфейс». Отображение порта 8000 указывает на его роль в обработке веб-трафика. Mashine-1: этот контейнер, использующий ostis/sc-machine:0.7.0-Rebirth, предназначен для платформы «машина обработки
знаний». Он управляет хранилищем семантической сети и выполняет обработку знаний на основе агентов. Загрузка процессора указывает на активное участие в задачах обработки данных, а отображение порта 8090 указывает на его роль во внутренних коммуникациях или предложениях специализированных услуг.
Вместе контейнеры web-1 и тасЫпе-1 представляют собой операционные элементы веб-платформы OSTIS, которые взаимодействуют, создавая комплексную систему управления знаниями и их обработки с помощью удобного для пользователя веб-интерфейса.
Отображение данных в системе OSTIS
Алгоритм отображения данных в системе OSTIS включает в себя следующие этапы:
1. Интеграция базы знаний: включает в себя создание или обновление структур знаний в системе для представления вновь полученных данных.
2. Семантическое представление: данные должны быть представлены с использованием семантического кода OSTIS (SC-code) [12] для обеспечения совместимости с возможностями системы обработки знаний. Это может включать определение новых семантических отношений или сущностей для представления данных.
3. Пользовательский интерфейс: OSTIS предоставляет веб-ориентированный семантический интерфейс. Этот интерфейс можно настроить для отображения результатов прогнозирования в удобной для пользователя и информативной форме. Пользователи могут запрашивать у системы доступ к конкретным данным и визуализировать их через интерфейс. На рисунке 3 показан пример описание знаний (на SC-коде) распознавания БП по изменению движения пациетна ^Сп-узлы), представленные в базе знаний веб-интерфейса OSTIS.
4. Визуализация и анализ: в зависимости от характера результатов прогнозирования система OSTIS может предлагать различные инструменты визуализации и возможности анализа. Пользователи могут просматривать данные, создавать отчеты или выполнять дальнейший анализ в рамках системы.
Рисунок 3. SCn-узлы, представленные в базе знаний веб-интерфейса OSTIS
Результаты распознавания. Данные тестовых экспериментов для БП по изменению речи были собраны у 188 пациентов с БП (107 мужчин и 81 женщина) в возрасте от 33 до 87 лет (65,1±10,9) на отделении неврологии медицинского факультета Серрахпа Стамбульского университета. Контрольную группу составили 64 здоровых человека (23 мужчины и 41 женщина) в возрасте от 41 до 82 лет (61,1±8,9). Получено 94,7 % точности при диагностировании болезни Паркинсона на основе речевых данных и показателя F1 оценки 92,95 %. Точность набора обучающих данных составила 92,8 %, а точность набора тестовых данных - 94,7 %. На том же наборе данных [13] один из лучших показателей зарубежных исследований составляет 95,8 % [14].
Данные тестовых экспериментов при распознавании БП по изменению движений (freezing of gait - FoG ) взяты от 32 мужчин и 18 женщин, средний возраст которых составил 70,9±9,8 лет, продолжительность заболевания - 7,2±5,4 года. Эксперименты показали, что точность распознавания при использовании двухслойной нейронной сети для набора данных по изменению движения пациентов достигает 96,2 %. На том же наборе данных Daphnet один из лучших показателей зарубежных исследователей составляет 98,8 % [15].
Заключение
1. Представлена архитектура сети IoT и алгоритмы работы системы ИТ-диагностики БП на основе аудиозаписей голоса пациента и его двигательной активности. Устройство Интернета вещей служит для сбора и предварительной обработки данных пациентов, используя смартфоны для извлечения характеристик, которые передаются через локальный сервер Flask. Ядро системы, сервер OSTIS, служит платформой базы знаний, на нем размещен агент прогнозирования нейронной сети, который загружает, выполняет и связывает прогнозы с существующими знаниями. Результаты апробации предложенной системы показали точности распознавания БП 94,7 % и 96,2 % на наборах данных об изменении речи и замедления движения пациентов соответственно.
2. Уникальность этой системы заключается в ее способности обеспечивать удаленную обработку данных в режиме реального времени и распознавание сложных объектов на примере БП в сети Интернета вещей. Объединение данных и базы знаний позволяет проводить углубленный анализ и принимать обоснованные решения в области диагностики болезни Паркинсона.
3. При диагностике болезни Паркинсона по изменению голоса пациентов была достигнута точность теста 94,7 %. При диагностике болезни Пар-кинсона по изменению движений пациентов (FoG) была достигнута точность теста 96,2 %.
ЛИТЕРАТУРА
1. William, D. Parkinson's disease: mechanisms and models / D. William, S. Przedborski. - Neuron. 2003. - V. 39. -Рр. 889-909.
2. Clayton, R.P. Deep learning-aided Parkinson's disease diagnosis from handwritten dynamics / Clayton R.P., Weber S.A., Hook C., Rosa G.H., Papa J.P. // Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI). 2016. Dauer.-Рр. 340-346.
3. Fukawa, K. Estimation of UPDRS finger tapping score by using Artificial Neural Network for quantitative diagnosis of Parkinson's disease / Fukawa K., Okuno R., Yokoe M., Sakoda S., Akazawa K // IEEE EMBS International Conference on Information Technology Applications in Biomedicine (ITAB). 2007. - Pр. 259-260.
4. Вишняков В.А. Распознавание признаков болезни Паркинсона на основе анализа голосовых маркеров и двигательной активности // В.А. Вишняков, Ся Ивэй. Информатика. - 2023. - Т. 20, № 3. - С. 106-114.
5. Голенков, В.В. Открытая технология онтологического проектирования, производства и эксплуатации семантически совместимых гибридных интеллектуальных компьютерных систем / В.В. Голенков, Н.А. Гулякина, Д.В. Шунке-вич. - Минск : Бестпринт, 2021. - 690 с.
6. Vyshnavi V.R. Efficient Way of Web Development Using Python and Flask / V.R.Vyshnavi, Amit Malik // Int. J. Recent Res. Asp.2019. V. 6. - Pр. 16-19.
7. Zotov, N. Implementation of Information Retrieval Subsystem in the Software Platform of ostis-systems = Реализация информационно-поисковой подсистемы в программной платформе ostis-систем / N. Zotov: сборник научных трудов / Белорусский государственный университет информатики и радиоэлектроники ; редкол.: В.В. Голенков [и др.]. - Минск, 2023. - Вып. 7. - С. 77-94.
8. Sadouski, M. User Interface of the OSTIS Ecosystem = Пользовательский интерфейс экосистемы OSTIS / M. Sadouski // сборник научных трудов / Белорусский государственный университет информатики и радиоэлектроники ; редкол.: В. В. Голенков [и др.]. - Минск, 2023. - Вып. 7. - С. 153-158.
9. Davydenko, IT. Ontology-Based Knowledge Base Design / I.T. Davydenko // материалы международной научно-технической конференции (Минск, 16-18 февраля 2017 года) / редкол. : В.В. Голенков (отв. ред.) [и др.]. - Минск : БГУИР, 2017. - С. 57-72.
10. Shunkevich, D.V. Ontology-based Design of Knowledge Processing Machines / D.V. Shunkevich // Open Semantic Technologies for Intelligent Systems (OSTIS-2017) : материалы международной научно-технической конференции (Минск, 16 - 18 февраля 2017 года) / редкол. : В.В. Голенков (отв. ред.) [и др.]. - Минск : БГУИР, 2017. - С. 73 - 94.
11. Sadouski, M.E. Ontological approach to the building of semantic models of user interfaces / M. E. Sadouski // Открытые семантические технологии проектирования интеллектуальных систем / Белорусский государственный университет информатики и радиоэлектроники ; редкол.: В.В. Голенков [и др.]. - Минск, 2021. - Вып. 5. - С. 105-116.
12. Bantsevich K. Metasystem of the OSTIS Technology and the Standard of the OSTIS Technology = Метасистема Технологии OSTIS и Стандарт Технологии OSTIS / K. Bantsevich // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2022) : сборник научных трудов / Белорусский государственный университет информатики и радиоэлектроники ; редкол.: В.В. Голенков [и др.]. - Минск, 2022. - Вып. 6. - С. 357-368.
13. Sakar C.O., Serbes G., Gunduz A., Tunc H.C., Nizam H., ..., Apaydin H A comparative analysis of speech signal processing algorithms for Parkinson's disease classification and the use of the tunable Q-factor wavelet transform. Applied Soft Computing, Jan. 2019, vol. 74, pp. 255-263.
14. Sakar B.E., Isenkul ME., Sakar C.O., A. Sertbas, Gurgen F., ..., Kursun O. Collection and analysis of a Parkinson speech dataset with multiple types of sound recordings. IEEE Journal of Biomedical and Health Informatics, 2013, vol. 17(4), pp. 828-834.
15. Li B., Yao Z., Wang J., Wang S., Yang X., Sun Y. Improved Deep Learning Technique to Detect Freezing of Gait in Parkinson's Disease Based on Wearable Sensors. Electronics, 2020, no. 9(11), pp. 1-12.
REFERENCES
1. William D., Przedborski S. Parkinson's disease: mechanisms and models. Neuron. 2003. V. 39. P. 889-909.
2. Clayton R.P., Weber S.A., Hook C., Rosa G.H., Papa J.P. Deep learning-aided Parkinson's disease diagnosis from handwritten dynamics. Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI). 2016. Dauer. P. 340-346.
3. Fukawa K., Okuno R., Yokoe M., Sakoda S., Akazawa K. Estimation of UPDRS finger tapping score by using Artificial Neural Network for quantitative diagnosis of Parkinson's disease. IEEE EMBS International Conference on Information Technology Applications in Biomedicine (ITAB). 2007. P. 259-260.
4. Vishnyakou U.A., Xia Yiwei. Recognition of signs of Parkinson's disease based on the analysis of voice markers and motor activity. Informatics. 2023. Vol. 20, No. 3. Рp. 106-114.
5. Golenkov V.V., Gulyakina N.A., Shunkevich D.V. Open technology of ontological design, production and operation of semantically compatible hybrid intelligent computer systems. Minsk : Bestprint, 2021. 690 p.
6. Vyshnavi V.R., Malik Amit. Efficient Way of Web Development Using Python and Flask. Int. J. Recent Res. Asp. 2019. V. 6. P. 16-19.
7. Zotov, N. Implementation of Information Retrieval Subsystem in the Software Platform of ostis-systems. Open Semantic Technologies for Intelligent Systems (OSTIS) : collection of scientific papers / Belarusian State University of Informatics and Radioelectronics ; editorial board: V. V. Golenkov [et al.]. Minsk, 2023. Issue 7. P. 77-94.
8. Sadouski M. User Interface of the OSTIS Ecosystem. Open Semantic Technologies for Intelligent Systems (OSTIS) : collection of scientific papers / Belarusian State University of Informatics and Radioelectronics ; editorial board: V.V. Golenkov [et al.]. Minsk, 2023. Issue 7. P. 153-158.
9. Davydenko, IT, Ontology-Based Knowledge Base Design. Open Semantic Technologies for Intelligent Systems (OSTIS-2017) : materials of the International scientific and technical conference (Minsk, February 16-18, 2017) / editorial board: V. V. Golenkov (ed.) [and others]. Minsk : BGUIR, 2017. P. 57-72.
10. Shunkevich, D.V. Ontology-based Design of Knowledge Processing Machines. Open Semantic Technologies for Intelligent Systems (OSTIS-2017) : materials of the International scientific and technical conference (Minsk, February 16-18, 2017) / editorial board : V.V. Golenkov (ed.) [and others]. Minsk : BGUIR, 2017. P. 73-94.
11. Sadouski, M.E. Ontological approach to the building of semantic models of user interfaces. Open Semantic Technologies for Intelligent Systems (OSTIS-2021) : collection of scientific papers / Belarusian State University of Informatics and Radioelectronics ; editorial board: V. V. Golenkov [et al.]. Minsk, 2022. Issue 5. P. 105-116.
12. Bantsevich, K. Metasystem of the OSTIS Technology and the Standard of the OSTIS Technology. Open Semantic Technologies for Intelligent Systems (OSTIS-2022) : collection of scientific papers / Belarusian State University of Informatics and Radioelectronics ; editorial board: V. V. Golenkov [et al.]. Minsk, 2022. Issue 6. P. 357-368.
13. Daphnet Freezing of Gait Data Set [Electronic resource]. - Access mode : https://archive.ics.uci. edu/ml/datasets/ Daphnet%2BFreezing%2Bof%2BGait. - Access date : 12.3.2023.
14. Fawcett T. An introduction to ROC analysis. Pattern Recognition Letters, 2006, vol. 27, no. 8, pp. 861-874.
15. Li B., Yao Z., Wang J., Wang S., Yang X., Sun Y. Improved Deep Learning Technique to Detect Freezing of Gait in Parkinson's Disease Based on Wearable Sensors. Electronics, 2020, no. 9(11), pp. 1-12.
VISHNIAKOU U.A., XIA I.W.
IOT SYSTEM ARCHITECTURE FOR THE DIAGNOSIS OF PARKINSON'S DISEASE USING NEURAL NETWORKS AND OSTIS
Belarusian State University of Informatics and Radioelectronics Minsk, Republic of Belarus
The purpose of this work is to develop an IT diagnostic system for Parkinson's disease (PD) with remote access based on the Internet of Things (IoT) network.
Methods. The authors have developed a method for complex recognition of Parkinson's disease using machine learning, based on markers of voice analysis and changes in patient movements on known datasets. In the architecture of the Internet of Things network, a smartphone is the point of initial data collection and preprocessing, including extracting features from an audio recording of the patient's voice and his motor activity. Data is transmitted via a local Flask server, which acts as a channel for sending functional data to the Open Semantic Technology for Intelligent Systems (OSTIS) server. The OSTIS server processes the data received from the local Flask server and uses a neural network prediction agent to recognize BP. This agent downloads features and makes predictions based on a trained neural network, linking these predictions with knowledge in the OSTIS system, and stores them in a database.
The result of the study is the architecture and algorithms of the IoT network. The workflow of the entire system includes data collection and preprocessing by the Internet of Things device, subsequent data transfer to the local Flask server, further forwarding to the OSTIS server, processing of the neural network model by a neural network predictor agent and, ultimately, linking the processed results to the knowledge graph and storing them in the system.
The BP remote IT diagnostics system provides real-time processing of patient data, recognition of disease signs on the Internet of Things, support for advanced analysis and decision-making for further treatment.
Keywords: Internet of Things network, diagnosis of Parkinson's disease, neural networks, knowledge base, OSTIS, algorithms, architecture
Вишняков Владимир Анатольевич, д.т.н., профессор, профессор БГУИР, кафедра ИКТ. Область научных интересов: информационное управление и безопасность, электронный бизнес, интеллектуальные системы управления, сети интернет вещей, блокчейн. Член 2-х докторских Советов по защите диссертаций. Автор более 520 научных работ, в том числе S монографий (2 на английском языке), 4-х учебных пособий с грифом Министерства образования, S-и томного учебного комплекса «Информационный менеджмент», 195 научных статей.
Vishniakou Uladzimir Anatolyevich, Doctor of Technical Sciences, Professor, Professor of BSUIR, Department of ICT. Research interests: information management and security, electronic business, intelligent control systems, IoT network. Member of 2 doctoral Councils for the defense of dissertations. Author of more than 520 scientific papers, including S monographs (2 in English), 4 textbooks with the stamp of the Ministry of Education, S-volume educational complex "Information Management", 195 scientific articles.
Е-mail: [email protected]
Ся Ивей, магистр технических наук, аспирант кафедры ИКТ Белорусского государственного университета информатики и радиоэлектроники. Научные интересы: идентификация объектов и интеллектуальные системы управления.
Xia Iwey, master of technical science, PhD-student of ICT department of Belarusian State University of Informatics and Radioelectronics. Research interests: identification of objects and intelligent control systems.
