CC BY
27
П Si-
и информационные
технологии
A.Н. ПУТИНЦЕВ,
к.т.н., Научно-исследовательский клинический институт педиатрии ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, г. Москва, Россия, e-mail: pa@pedklin.ru, ORCID ID: 0000-0001-6080-7445
B.Ю. ВОИНОВА,
д.м.н., Научно-исследовательский клинический институт педиатрии ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, г. Москва, Россия, e-mail: vivoinova@yandex.ru, ORCID ID: 0000-0001-8491-0228 Н.С. ДЕМИКОВА,
д.м.н., Научно-исследовательский клинический институт педиатрии ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, г. Москва, Россия, e-mail: ns_d@rambler.ru, ORCID ID: 0000-0003-0623-0301 А.С. ЛАПИНА,
к.м.н., Научно-исследовательский клинический институт педиатрии ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, г. Москва, Россия, e-mail: lapina@pedklin.ru, ORCID ID: 0000-0003-0287-5161
ВЕБ-ПРИЛОЖЕНИЕ «ВРОЖДЕННЫЕ ПОРОКИ И АНОМАЛИИ РАЗВИТИЯ»: ОЦЕНКА ЭФФЕКТИВНОСТИ НА ОСНОВЕ ОБРАТНОЙ СВЯЗИ
УДК: 004.051 DOI: 10.37690/1811-0193-2020-4-6-13
Путинцев А.Н., Воинова В.Ю, Демикова Н.С., Лапина А.С. Веб-приложение «Врожденные пороки и аномалии развития»: оценка эффективности на основе обратной связи (Научно-исследовательский клинический институт педиатрии ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, г. Москва, Россия)
Аннотация. В настоящее время Интернет-ресурсы широко используются в медицинском образовании, становясь одним из ключевых инструментов дистанционного обучения. Мы разработали веб-приложение по врожденным порокам и аномалиям развития для студентов-медиков в качестве дополнительного средства для самообучения. Веб-приложение содержит 2 компонента: мультимедийные описания врожденных пороков развития, включающие изображения, анимацию, видеосюжеты и интерактивные графические тесты, а также и модуль контроля знаний. Важными моментами являются улучшение качества веб-ресурсов и оценка эффективности их использования удаленными пользователями. Мы стремились оценить эффективность веб-приложения на основе анализа динамики показателей уровня знаний пользователей, чтобы использовать полученную информацию для улучшения контента. В анонимном тестировании приняли участие 260 пользователей -врачи, студенты-медики и преподаватели. С использованием лонгитюдного метода исследования мы проанализировали динамику усредненного по группе показателя - процента правильных ответов после повторных попыток тестирования. Результаты показали различия в начальном уровне знаний пользователей, при этом результаты тестов студентов-медиков в динамике были улучшены в большей степени по сравнению с результатами врачей. Начальное значение процента правильных ответов на контрольные вопросы и динамика роста этого показателя после неоднократных попыток являются важными индикаторами для оценки полезности конкретного вопроса. Для разработчиков эта информация, основанная на объективных показателях, оказалась ценной для улучшения образовательного ресурса.
Ключевые слова: врожденные пороки развития, дистанционное обучение, эффективность, уровень знаний, мультимедиа.
UDC: 004.051
Putintsev A.N., Voinova V.Yu, Demikova N.S., Lapina A.S. Web Application "Congenital Malformations": Program Effectiveness Evaluation Based on Feedback (Veltischev Research and Clinical Institute for Pediatrics of the Pirogov Russian National Research Medical University, Moscow, Russia)
Abstract. Currently, Internet resources are widely used in medical education, becoming one of the key tools of e-learning. We have developed a web application for congenital malformations and anomalies for medical students as an additional tool for self-learning. The web application contains two components: multimedia descriptions of congenital malformations, including images, animations, videos and interactive graphical tests; and the knowledge control module. It is important to evaluate effectiveness of web application and to improve the quality of the resources. We sought to evaluate the effectiveness of a web application by analyzing user knowledge dynamics and use the information to improve content. The anonymous testing involved
© А.Н. Путинцев, В.Ю. Воинова, Н.С. Демикова, А.С. Лапина, 2020 г.
-
2020, № 4
260 users - doctors, medical students and teachers. Using the longitudinal method of the study, we analyzed the dynamics of the group-averaged rate of correct responses after repeated testing attempts. The results showed differences in the initial level of knowledge of users, and the results of medical students' tests in dynamics were improved more than the results of doctors. The initial value of the percentage of correct responses to the control questions and the growth dynamics of this indicator after repeated attempts are important indicators for assessing the usefulness of a particular question. For developers, this information, based on objective indicators, has proved useful for improving the educational resource. Keywords: congenital malformations, e-learning, effectiveness, knowledge level, multimedia.
-f
ВВЕДЕНИЕ
настоящее время Интернет-ресурсы широко используются в медицинском образовании, особенно в условиях перехода на дистанционные формы обучения будущих специалистов-медиков [1—3]. Интернет-ресурсы востребованы в непрерывном повышении квалификации врачей, в том числе педиатрического профиля, особенно по диагностике редких форм врожденных пороков развития или синдромов с множественными врожденными аномалиями у детей. Дифференциальная диагностика многих врожденных пороков очень сложна. Это объясняется многочисленностью нозологических форм, достаточно редкой их встречаемостью, перекрывае-мостью симптоматики. Неправильная диагностика и неадекватное лечение врожденных аномалий нередко приводит к инвалидности в детском возрасте, поэтому врачу часто необходима информационная поддержка. При этом важна не только общая информация о врожденных пороках и аномалиях развития, но и визуализация клинических проявлений заболеваний, с которыми врач редко встречается в своей практике.
Для клинической диагностики врожденных аномалий созданы базы данных, включающие перечень синдромов, их описания, литературу и фотографии. Широко известны такие веб-приложения, как австралийская система POSSUM [4], Лондонская база данных по дизморфологии LDDB [5], французская экспертная система GENDIAG [6], описывающие несколько тысяч наследственных и тератогенных синдромов, включая список фено-типических проявлений и изображений пациентов. Эти веб-ресурсы позволяют проводить поиск синдромов по названию и по признакам. В результате поиска формируется узкий дифференциально-диагностический ряд заболеваний, фенотипически сходных с описанным случаем. При этом визуально наблюдаемые изображения - клинические проявления аномалий развития нередко позволяют выдвинуть первичную диагностическую гипотезу. Однако в настоящее время эти онлайновые базы
данных в основном обеспечивают платный полный доступ, что затрудняет их использование практикующими врачами и студентами-медиками. Среди открытых веб-ресурсов следует упомянуть ресурс CDC, охватывающий 27 врожденных дефектов, включая определение, возникновение, причины, факторы риска, диагностику и лечение, изображения, а также реальные истории детей с врожденными дефектами [7]. Однако многие врожденные дефекты не включены, нет видео клинических проявлений заболеваний и анимации механизма развития патологии. В этой связи мы решили разработать веб-ресурс под названием «Врожденные пороки и аномалии развития (ВПАР)», содержащий два компонента: мультимедийное описание врожденных пороков развития и тесты для самоконтроля [8].
РАЗРАБОТКА ВЕБ-ПРИЛОЖЕНИЯ И ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ
Веб-приложение ВПАР содержит унифицированные описания болезней, иллюстрированные рисунками, фотографиями, анимацией и видеосюжетами. Веб-приложение построено на основе платформы Symfony PHP в парадигме Model-View-Controller. В бэкенде программы используется PHP-фреймворк Symfony, во фронтэнде - библиотека jQuery, ша-блонизатор Twig v.2. В качестве основной базы данных для веб-приложения выбрана MySQL. Анимация в приложении представлена в HTML5. Веб-приложение ВПАР реализовано на русском и на английском языках. Языковая поддержка доступна как для описания пороков развития, так и для интерфейса приложения.
Данный веб-ресурс разработан для врачей различных специальностей, которые имеют дело с врожденными и наследственными заболеваниями, а также для студентов-медиков в качестве дополнительного средства для самостоятельного обучения. Свободный доступ к веб-ресурсу осуществляется по ссылке vpar. pedklin. ru. Первая версия Веб-приложения (vpr. pedklin. ru) размещена в открытом информационном пространстве с августа 2017 года.
>
Зрач ::==
и информационные
технологии
Благодаря рассылкам информационных писем по электронной почте в медико-генетические консультации и медицинские учебные заведения нашей страны
>в настоящее время зарегистрировано более 1480 пользователей из 42 регионов России. Пользователи предоставляют анонимную информацию о своей медицинской специальности, виде деятельности в здравоохранении и месте проживания.
Многоаспектное описание врожденных пороков развития имеет структуру справочного пособия. В системе представлены общие вопросы, касающиеся врожденных и наследственных заболеваний: разные типы классификаций врожденных пороков развития по этиологическому, патогенетическому и анатомо-физиологическому принципам. Гиперссылки обеспечивают быстрый доступ к соответствующему контенту.
По единой схеме представлено описание 58 нозологических форм изолированных пороков развития и 25 синдромов наследственной и тератогенной природы. Описание заболевания в системе включает следующие разделы: определение, данные по популяционной частоте, этиологию, патогенез, клинические характеристики, диагностику, лечение и профилактику. Поскольку многие из представленных в системе заболеваний относятся к редким состояниям, нашей задачей было проиллюстрировать
клинические симптомы заболевания, характерные и важные с диагностической точки зрения малые аномалии развития с помощью фотографий, схем, видеофильмов. Экранная страница веб-приложения изображена на рис. 1.
С помощью видеосюжетов воспроизводятся специфические клинические проявления врожденных аномалий. Анимационные ролики позволяют лучше объяснить патологические процессы, которые происходят на различных уровнях организма, в работе нормального и порочного органа, например, сердца, почек и других органов, что способствует лучшему усвоению учебного материала. Интерактивные графические тесты повышают мотивацию студентов в процессе самообучения. На рис. 2 изображена экранная страница с мультимедийными ресурсами. В частности, графический тест включает элементы анимации, которые демонстрируют механизмы хромосомных мутаций. Соединяя стрелкой соответствующие панели с помощью мыши, пользователь устанавливает соответствие между номером картинки и типом мутации. В случае неверного ответа пользователю дается возможность получить подсказку и ответить на вопрос повторно.
Образовательный ресурс помимо структурированного описания врожденных дефектов
Рис. 1. Многооконный интерфейс веб-приложения: синдром Прадера-Вилли
^-
2020, № 4
р
Рис. 2. Мультимедийные ресурсы обучающей системы
и синдромов содержит глоссарий, алфавитный и предметный указатели, что облегчает поиск заболеваний.
Для контроля знаний в систему включены тесты, охватывающие все разделы обучающей части. Тестирование можно проводить по нескольким разделам: общие вопросы, классификация, клинические проявления, профилактика и лечение. Тесты разделены на 2 группы по сложности. После регистрации и выбора раздела пользователь отвечает на предложенные вопросы, выбирая один или несколько правильных ответов. По окончании тестирования выдается отчет, содержащий процент правильных ответов и информацию об ошибках, что позволяет вернуться к тем разделам, которые недостаточно изучены, чтобы пересдать тест и улучшить результаты. Нет необходимости находить правильные ответы во внешних источниках; вся нужная информация доступна в обучающей части веб-приложения. Ведение архива дает возможность пользователю просмотреть историю результатов тестирования, а средства контекстного поиска позволяют быстро найти необходимую информацию для правильного ответа на тот или иной вопрос.
ПОДХОДЫ К ОЦЕНКЕ ЭФФЕКТИВНОСТИ ОБУЧАЮЩИХ ВЕБ-РЕСУРСОВ
Исследования эффективности веб-ресурсов в медицинском образовании показали, что студенты как правило удовлетворены простотой доступа,
удобством навигации и интерактивностью электронного обучения, однако отмечается отсутствие статистической разницы между знаниями и навыками студентов, полученными в результате онлайн-обучения по сравнению с традиционным [9, 10]. Эффективность электронной обучающей программы может быть оценена с точки зрения существенных изменений в знаниях, взглядах или навыках со стороны пользователей программы [11]. Оценки эффективности во многом различны: часть из них направлена только на качественную оценку эффективности, часть включает также и количественную оценку [12]. Одна из самых популярных моделей оценки эффективности обучения - модель Киркпа-трика [13], которая включает несколько уровней и позволяет комплексно оценить эффективность обучающих программ. Цель исследований первого уровня - получить обратную связь от учащихся, оценить степень удовлетворения пользования системой. Для оценки используют стандартные анкеты и онлайн-опросы, которые, несмотря на их простоту и удобство, не лишены большой доли субъективизма. На втором уровне изучается вопрос, как изменились знания участников в результате обучения, и изменились ли они вообще. Для оценки используют специально разработанные тесты, которые позволяют количественно измерить прогресс в компетенции или мотивации участников. Оценка результатов изменений в знаниях учащихся позволяет разработчикам обучающих веб-ресурсов объективно оценить их эффективность для того, чтобы
Врач На
' 1/1 ИыЖпПМЯ! 1МПЫЫк1П
и информационные
технологии
>
улучшить контент ресурса на основе результатов удаленного тестирования.
РЕЗУЛЬТАТЫ
В проведенном исследовании в тестировании приняли участие 260 зарегистрированных пользователей - врачи, преподаватели и студенты медицинских образовательных учреждений. В процессе тестирования результаты фиксируются в базе данных. После каждого тестирования участник имеет возможность вновь пройти тестирование, ознакомившись со списком неправильных ответов и восполнив недостающие знания. Приблизительно одна треть участников сочла достаточным пройти тестовое задание по разделу «Общие вопросы» только один раз, причем независимо от того, к какой группе они относятся, вероятно, из-за того, что были удовлетворены своими более высокими результатами, если сравнить их с результатами тех участников, которые хотели улучшить свои знания и вновь возвращались к тестированию (таблица 1). Подавляющее большинство действительно улучшили результаты тестирования благодаря тому, что, зная свои ошибки, они смогли восполнить недостающие знания и в дальнейшем избежать допущенных ошибок (таблица 2). Для анализа динамики показателя уровня знаний (УЗ) определенных групп (когорт) мы провели лонгитюдное исследование. Для этого выделили 3 группы участников, трижды прошедших тестирование. Количество таких
участников по группам приведено в таблице 1, столбец: >3.
Для того, чтобы проиллюстрировать изменения уровня знаний (УЗ) в динамике на рис. 3 показаны результаты тестирования по разделу «Общие вопросы». Преподаватели несколько повысили свои показатели, показав более высокие оценки, но студенты улучшили свои результаты более существенно. Начальные значения выборочных средних УЗ врачей и студентов соответственно: 59,19 и 54,34. Уровень значимости ^критерия для равенства средних р = 0,05. По-видимому, использование веб-приложения ВПАР для студентов является более эффективным, чем для врачей и преподавателей.
Одна из задач исследования заключалась в определении того, насколько полезными являются вопросы для контроля знаний пользователей, насколько качественно составлены формулировки вопросов. Важно понять, в чем причина неправильных ответов пользователей: обычные ошибки отдельных обучающихся, или ошибки вызваны трудностями усвоения контента. Для этого была проанализирована динамика процента правильных ответов студентов, трижды прошедших тестирование, на вопросы из раздела «Общие вопросы», формулировки которых приведены в таблице 3. В качестве критерия был выбран средний процент правильных ответов. На рис. 4 представлены данные о том, как в динамике изменяется средний
Таблица 1
Количество участников тестирования
Количество участников, п ¡рошедших тестирование:
Участники Общее количество неоднократно
>2 >3 >4
врачи 73 27 46 36 24
преподаватели 52 17 35 33 15
студенты 135 53 82 53 22
Таблица 2
Уровень знаний - средний процент правильных ответов
УЗ однократно Участники, трижды прошедшие тестирование
Участники прошедших тестирование Количество УЗ ] УЗ 3
врачи 75 36 59 87
преподаватели 77 33 71 94
студенты 69 53 54 86
Медицинские информационные системы www.idmz.ru
2020, № 4 ^
Рис. 3. Уровень знаний пользователей после повторного тестирования
процент правильных ответов на каждый вопрос. Два терминологических вопроса (2 и 3) оказались слишком легкими для студентов, поэтому мы предложили заменить их более сложными. По другим вопросам (5, 7, 11 и 12) первоначальные результаты оставляли желать лучшего. Причина могла
быть в том, что вопросы слишком сложные. В этом случае имеет смысл их переделать, чтобы формулировки были понятны, не допускали двоякого трактования, а также необходимо было убедиться, что ответ на вопрос действительно присутствует в обучающей части веб-приложения. Однако
Таблица 3
Раздел «Общие вопросы», первый уровень сложности
N Формулировка вопроса
1 Какова частота врожденных пороков развития, выявляемых у детей в течение первого года жизни?
2 Что означает термин «пробанд»?
3 Что означает термин «сибсы»?
4 Что означает термин «кровнородственный брак»?
5 К первой степени родства относятся: ...
6 Делеция, транслокация, инверсия, дупликация хромосом - это: ...
7 Вся генетическая информация организма - это: ...
8 Клинически для хромосомных синдромов характерно: ...
9 Какие синдромы относятся к группе хромосомных болезней?
10 Группа пороков, характеризующихся тотальным или частичным отсутствием или выраженной гипоплазией костей конечностей на любом уровне, это: ...
11 Какие пороки развития относятся к дефектам передней брюшной стенки?
12 Какие пороки развития возникают в результате дефекта нервной трубки?
>
11 !
п ::
' 1/1 1лыгЬпппля1 илпыыиш
и информационные
технологии
>
Рис. 4. Средний процент правильных ответов в динамике
после повторных тестов процент правильных ответов заметно увеличился. Это говорит о том, что студенты повысили свой уровень знаний, но все же по некоторым вопросам (11 и 12) после 3-го тура процент не превышал 65%. Выяснилось, что по данным вопросам в обучающей части не было достаточной информации, поэтому было принято решение дополнить соответствующие разделы недостающей информацией.
ОБСУЖДЕНИЕ
Разработанное нами веб-приложение с мультимедийным компонентом является дополнительным средством для самообучения студентов-медиков и повышает мотивацию к дистанционному изучению предмета. Важным моментом является оценка эффективности использования веб-ресурса удаленными пользователями. Исследование включало ряд задач: оценить, насколько полезно веб-приложение для улучшения показателей уровня знаний пользователей различных групп, определить насколько адекватными контенту являются вопросы для контроля знаний, насколько качественно составлены формулировки вопросов. Мы сформировали базу данных с результатами тестирования, в котором приняли участие 260 пользователей - врачи, студенты-медики и преподаватели. Для оценки эффективности веб-приложения мы проанализировали
динамику среднего процента правильных ответов на вопросы по одному из разделов предметной области. Результаты проведенного лонгитюдного исследования показали различия в начальном уровне знаний пользователей, при этом в динамике результаты тестов студентов-медиков были улучшены в большей степени по сравнению с результатами врачей. Мы не можем исключить, что студенты могли восполнить знания не только из обучающей части приложения, но также из других источников - Интернета, книг и т.д. На наш взгляд - это не так важно - главное, что пользователи возвращаются к повторному тестированию и стремятся улучшить свои результаты!
Начальное значение среднего процента правильных ответов на вопросы и динамика роста этого показателя после неоднократных попыток являются индикаторами не только улучшения показателей уровня знаний, но также могут быть использованы для оценки качества и полезности конкретного вопроса. Для определения адекватности контрольных вопросов контенту приложения была проанализирована динамика процента правильных ответов студентов, трижды прошедших тестирование. Для разработчиков эта информация, основанная на объективных показателях, является полезной для анализа полноты контента и улучшения образовательного ресурса.
-
ВЫВОДЫ
Разработанное веб-приложение является уникальным отечественным мультимедийным пособием по врожденным порокам и аномалиям развития, активно используется врачами, студентами и преподавателями медицинских образовательных учреждений для повышения квалификации и самообучения.
Проведенное лонгитюдное исследование количественных показателей проверки знаний позволяет оценить начальный уровень знаний разных групп пользователей и динамику улучшения этих показателей. Использование веб-приложения для студентов
2020, № 4
является более эффективным, чем для врачей и преподавателей, поскольку студенты улучшили свои результаты более существенно.
Проведенное исследование динамики процента правильных ответов студентов на тестовые задания позволило оценить степень адекватности контрольных вопросов контенту приложения и улучшить качества веб-ресурса.
Авторы благодарят Тимофея Алексеева, Кирилла Гусева и Андрея Акименкова, которые помогали в разработке веб-приложения.
ЛИТЕРАТУРА
1. Кобринский Б.А. Компьютеризированные и дистанционные обучающие системы (на примере медицинской диагностики). // Открытое образование. - 2018. - Т. 22. - № 2. - С. 45-53.
2. Khasawneh R, Simonsen K, Higgins J, Beck G. (2016) The effectiveness of e-learning in pediatric medical student education, Medical Education Online, 21:1, 29516, DOI: 10.3402/meo.v21.29516.
3. Ruiz, Jorge G.; Mintzer, Michael J.; Leipzig, Rosanne M. The impact of e-learning in medical education. Academic Medicine. 81(3):207-212, March 2006.
4. Ito J, Tabei Y, Shimizu K. at al. PoSSuM: a database of similar protein-ligand binding and putative pockets. Nucleic Acids Research. 2012; 40(D1): D541-D548.
5. Guest S.S., Evans C.D., Winter R.M. The online London dysmorphology database. Genetics in Medicine Volume. 1999: 1(5): 207-212.
6. Ayme S, Caraboeuf M, Gouvernet J. GENDIAG - a computer-assisted syndrome identification system. Clinical Genetics. 1985: 28(5): 410-411.
7. Centers for Disease Control and Prevention. Specific Birth Defects. CDC. https://www.cdc.gov/ncbddd/ birthdefects/types.html. Accessed August, 14. 2020.
8. Путинцев А.Н., Алексеев Т.В., Акименков А.М., Демикова Н.С., Лапина А.С. Интернет-приложение «Врожденные пороки развития» для повышения уровня знаний врачей и обучения студентов. // Российский вестник перинатологии и педиатрии. - 2017. - Т. 62. - № 3. - С. 130-136.
9. Boulmetis J., Dutwin P. The ABCs of Evaluation: Timeless Techniques for Program and Project Managers. 3rd ed., US. John Wiley & Sons, 2014.
10. Lyke J, Frank M. Comparison of student learning outcomes in online and traditional classroom environment psychology course. J Instruct Psychol. 2013: 39: 245-250.
11. Lahti M, Hafonen H, Valimaki M. Impact of e-learning on nurses' and student nurses knowledge, skills, and satisfaction: a systematic review and meta-analysis. Int J Nurs Stud. 2014; 51(1): 136-49.
12. Воронина М.Ф., Карпова Е.А. Модели оценки эффективности обучения в контексте компетентност-ного подхода. // Социология и право. - 2016. - № 1(31). - С. 27-37.
13. Praslova L. Adaptation Kirkpatrick's four level model of training criteria to assessment of learning outcomes and program evaluation in Higher Education.Educational assessment evaluation and accountability. 2010: 22(3): 215-225.
13 i
