CC BY
75
Курский научно-практический вестник "Человек и его здоровье". - 2016. - № 4. УДК 616.5:681.5 DOI: 10.21626/vestnik/2016-4/08
ОЦЕНКА ЭФФЕКТИВНОСТИ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ В ПЕРВИЧНОЙ
ПОДГОТОВКЕ ВРАЧЕЙ-ДЕРМАТОВЕНЕРОЛОГОВ
© Раводин Р.А.
Кафедра дерматовенерологии Северо-Западного государственного медицинского университета
им. И.И. Мечникова, Санкт-Петербург
E-mail: rracad@mail.ru
Работа выполнена на кафедре дерматовенерологии Северо-Западного государственного медицинского университета им. И.И. Мечникова г. Санкт-Петербурга. В статье рассматриваются интеллектуальные системы поддержки принятия решений в медицине, при этом особое внимание уделено разработке модуля дистанционного обучения «Школа врача» системы поддержки принятия врачебных решений в дерматовенерологии, доступной в сети Интернет под доменным именем logoderm.ru. В статье дается оценка эффективности представленного модуля. На основании полученных результатов показано, что курс дистанционного обучения за счет визуализации клинических симптомов и нового способа подачи информации позволяет оптимизировать и персонализировать учебный процесс, повышая эффективность первичной подготовки врачей-дерматовенерологов.
Ключевые слова: интеллектуальные системы, системы поддержки принятия врачебных решений, системы дистанционного обучения, медицина, дерматовенерология.
EVALUATION OF THE DISTANCE LEARNING SYSTEM EFFECTIVENESS IN THE PRIMARY TRAINING OF DERMATOVENEROLOGISTS
Ravodin R.A.
Department of Dermatology and Venereology of I.I. Mechnikov North-Western State Medical University, St. Petersburg The work was performed at the Department of Dermatology and Venereology of North-western State Medical University named after I. I. Mechnikov, Saint-Petersburg. The article discusses the smart systems of supporting decision-making in medicine, with a special attention given to the development of e-learning "School of physician" of the decision-making support system for medical solutions in dermatology available in the Internet under the domain name logoderm.ru. The article assesses the effectiveness of the presented module. On the basis of the results obtained it is shown that due to the visualization of clinical symptoms and the new approach in presenting information, the distance-learning course enables to optimize and personalize the educational process, increasing the efficiency of the primary training of STD and skin specialists.
Keywords: smart systems, clinical decision-making support systems, distance learning systems, medicine, derma-tovenereology.
В настоящее время повсеместно в систему здравоохранения внедряются современные информационные и телекоммуникационные технологии (e-Health) [5]. Модернизация отечественного здравоохранения осуществляется в соответствии с разработанной и утвержденной Правительством Российской Федерации концепцией создания единой государственной информационной системы, обеспечивающей доступность медицинской помощи и повышение эффективности медицинских услуг, объемы, виды и качество которых должны соответствовать уровню заболеваемости и потребностям населения, а также передовым достижениям медицинской науки и техники [6]. Значительная территориальная протяженность Российской Федерации с множеством отдаленных местностей, неравномерность распределения населения и квалифицированных врачей с их преимущественной концентрацией в крупных городах, разный социально-экономический уровень развития регионов, а также нарушение преемст-
венности в системе профессиональной подготовки молодых специалистов создают определенные трудности для реализации этой концепции. В этих условиях одним из перспективных направлений повышения качества медицинской помощи больным дерматовенерологического профиля, отвечающим современным требованиям, является создание лечебно-диагностических и обучающих интеллектуальных систем поддержки принятия решений (ИСППР), а также развитие на их базе телемедицинских технологий. Широкое внедрение таких систем может существенно повысить качество подготовки врачей-дерматовенерологов и в целом благоприятно отразиться на эффективности лечебных учреждений. В этом случае медицинские работники смогут не только получать необходимую консультативную помощь в трудных клинических случаях, но и дистанционно повышать свою квалификацию [1-3]. Системы дистанционного обучения (СДО) нередко являются одним из компонентов интеллектуальных систем
поддержки принятия решений и находят широкое практическое применение. В качестве примеров таких обучающих систем можно привести следующие: МОДИС (диагностика форм артериальной гипертензии), ДИАГЕН (дифференциальная диагностика наследственных заболеваний, позволяющая оценить диагностическую значимость отдельных признаков), ДИН (диагностика неотложных состояний, проверяющая правильность диагностического предположения доктора при движении от «диагноза к симптомам»), ГИСТОДЕРМ (гистологическая диагностика дерматологических заболеваний, работающая в режиме изучения строения нормальной кожи, зрительного распознавания 550 гистологических симптомов заболеваний, теоретического усвоения гистологических моделей и клинических проявлений 223 дерматозов), НЕФРОТРЕНАЖЕР (содержит около тысячи диагностических задач различной степени сложности, позволяющих определить уровень знаний слушателей с выдачей рекомендаций по их дальнейшему обучению), ATTENDING (обеспечивает поиск ошибок в предлагаемом плане предоперационной подготовки и выборе способа анестезии с выдачей альтернативного варианта), PHEO-ATTENDING (оценивает действия при обследовании больного с феохромоцитомой с позиций двух различных медицинских школ) [4, 7, 8].
Анализ характеристик, свойств и функций приведенных систем показывает общую их тенденцию к универсальности и поддержке различных стандартов электронного обучения, таких как IMS и SCORM. При этом становится очевидным отсутствие системы дистанционного обучения, профессионально ориентированной на работу в одном из наиболее сложных направлений медицины - дерматовенерологии.
Цель работы: провести сравнительную оценку дистанционной обучающей системы в частном разделе медицины - дерматовенерологии.
МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ
Нами разработан модуль дистанционного обучения ИСППВР «Logoderm», который мы назвали «Школа врача» [9]. Данный модуль состоит из четырех уровней, каждый из которых представляет самостоятельный раздел дерматовенерологии, формируя отдельный учебный курс. Вводный курс содержит информацию по истории Российской дерматовенерологии. Учебные материалы последующих ступеней школы врача-дерматовенеролога составлены по принципу «от простого к сложному» и позволяют на первом уровне усвоить основы обследования дерматовенерологического больного, на втором уровне ознакомиться
с клинической симптоматикой, рекомендациями по обследованию и лечению наиболее распространенных дерматовенерологических заболеваний, а на третьем уровне — решить представленные клинические задачи.
Первый уровень предназначен для первичной подготовки врачей-дерматовенерологов и посвящен основам обследования дерматовенерологического больного. Он содержит 16 четырехчасовых занятий. Первые семь занятий знакомят слушателя с методикой проведения дерматовенерологического осмотра и морфологическими элементами кожной сыпи, четыре занятия содержат информацию о морфологических элементах сыпи на слизистых, одно занятие посвящено особенностям группировки и расположения сыпи, по одному занятию приходится на поражения волос и ногтей. Заканчивается курс, в соответствии со спецификой дисциплины, анализом возможных жалоб и изучением предполагаемых факторов риска в развитии кожных и венерических болезней. Последнее занятие посвящено логике построения диагноза в дерматовенерологии.
По окончании каждого занятия имеется промежуточный тест для самоконтроля по пройденному учебному материалу. Для оценки полученных пользователями знаний в процессе обучения в «Школе врача-дерматовенеролога» на каждом уровне была разработана своя система тестирования, которая включает промежуточные и итоговый тесты. Промежуточные тесты предназначены для самоконтроля после каждого занятия и включают по 10 вопросов с вариантами возможных ответов. Переход с ответа на ответ сопровождается подсветкой строки. Программа определяет правильность полученного ответа. В случае правильного ответа на вопрос загорается «зеленый» индикатор. В случае ошибочного ответа включается «красный» индикатор и указывается правильный ответ. Переход к последующему вопросу выполняется путем активации кнопки «Следующий вопрос». После окончания промежуточного тестирования пользователь может получить распечатку или доступ к файлу со своими результатами в виде перечня вопросов и ответов с указанием правильных. Итоговый тест следует после каждого уровня и выполняет контрольную функцию, позволяя объективно оценить уровень полученных слушателями знаний. Итоговый тест имеет аналогичную структуру, но в отличие от промежуточного теста время ответа на каждый из 100 вопросов (по 10 баллов за каждый правильный ответ) лимитировано, возврат к предыдущему вопросу невозможен, а переход к следующему вопросу происходит автоматически сразу после ответа на текущий вопрос (без индикации правильности ответа).
Статистическую обработку полученных результатов проводили с использованием общеупотребительных методов параметрической и непараметрической статистики. При сравнении частотных величин пользовались критерием Манна-Уитни и критерием Вилкоксона, которые являются непараметрической альтернативой t-критерию Стьюдента. В исследовании использовались стандартные программы Microsoft Ехсе1 97 и пакеты прикладных статистических программ «Statistica for Windows 8.0».
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ
Для оценки эффективности дистанционного обучения с использованием модуля «Школа врача-дерматовенеролога» были привлечены 23 ординатора 1-го года подготовки.
Поскольку первый уровень школы врача-дерматовенеролога посвящен основам клинического обследования дерматовенерологического больного, изучаемым на первом курсе клинической ординатуры, то оценка его эффективности проводилась на ординаторах 1 -го года обучения. Опытную группу составили 9 врачей-ординаторов, которые получили доступ в систему и смогли пройти курс дистанционного обучения наряду с традиционными формами обучения (практические занятия, семинары, лекции). Другие 14 человек составили контрольную группу и прошли подготовку с использованием традиционных форм и средств обучения (учебники, монографии, лекции).
Перед началом обучения посредством тести-Результаты тестирования
рования (100 вопросов (по 10 баллов за каждый правильный ответ), касающихся проведения обследования дерматовенерологического больного и умения распознавать дерматологические симптомы) мы определяли исходный уровень знаний врачей-ординаторов 1 -го года обучения из обеих групп. В дальнейшем слушатели из опытной группы прошли 16 четырехчасовых занятий первого уровня. Каждое занятие строилось в соответствии со структурой описанного ранее первого уровня школы врача-дерматовенеролога. Для закрепления пройденного материала и самопроверки проводилось промежуточное тестирование, состоящее из 10 вопросов на распознание зрительных образов клинических симптомов заболеваний и теоретические знания. По окончании месячного курса обучения проводилось повторное - контрольное тестирование врачей из опытной и контрольной групп.
Числовые характеристики переменных результатов тестирования ординаторов 1 -го года обучения приведены в таблице 2.
Среднее арифметическое значение результатов первичного тестирования врачей-ординаторов 1-го года обучения из контрольной (Х1) и опытной (Х3) групп составило 243 и 226 балла, что соответствовало неудовлетворительной оценке в обоих случаях. На основании полученных результатов можно предположить, что, обладая определенными теоретическими познаниями в области дерматовенерологии, слушатели 1 -го года обучения клинической ординатуры испытывают значительные сложности с визуальным распознаванием клинических симптомов дерматовенерологических заболеваний.
Таблица 1
торов 1 -го года обучения
№ п/п Контрольная группа (Group 1) Опытная группа (Group 2)
Первичный результат, баллов (Х1) Контрольный результат, баллов (Х2) Первичный результат, баллов (Х3) Контрольный результат, баллов (Х4)
1 170 180 120 200
2 150 480 140 230
3 160 430 470 890
4 280 820 210 840
5 220 270 320 960
6 210 160 110 710
7 180 250 30 510
8 280 330 320 820
9 230 560 310 890
10 280 510
11 430 510
12 270 410
13 210 360
14 330 280
Таблица 2
Числовые характеристики переменных (показателей результатов тестирования)
ординаторов 1 -го года обучения
Числовые Переменные
характеристики Х1 Х2 Х3 Х4
Среднее (х) 243 396 226 672
Стандартная ошибка (т-) 20,3 46,9 46,4 96,7
Стандартное отклонение () 75,9 175,4 139,2 290,2
Таблица 3
Машинограмма сравнительного анализа (по U критерию Манна-Уитни) результатов тестирования врачей-ординаторов 1-го года обучения из опытной (Group 2) и контрольной групп (Group 1)
Rank Sum Group 1 Rank Sum Group 2 U Z p-level Z adjasted p-level
Первичный результат, баллов 176 100 55 0,503 0,6135 0,505 0,613
Контрольный результат, баллов 133,5 142,5 28,5 -2,176 0,0297 -2,176 0,0295
Среднее арифметическое значение результатов контрольного тестирования врачей-ординаторов 1 -го года обучения из контрольной (Х2) и опытной (Х4) групп составило 396 и 672 балла соответственно, что также соответствовало неудовлетворительной оценке в обоих случаях. Однако при детальном анализе результатов тестирования опытной группы в 5 из 9 наблюдений были получены хорошие и отличные оценки, тогда как в контрольной была получена только одна хорошая оценка (из 14 слушателей). Полученные результаты могут свидетельствовать о более высокой эффективности дистанционного обучения для формирования у студентов навыков визуального распознавания клинических симптомов дерматовенерологических заболеваний в сравнении с традиционным образовательным подходом.
Учитывая небольшое количество наблюдений (не более 14), мы использовали непараметрический метод статистического анализа ^ критерий Манна-Уитни) для поиска различий между двумя независимыми выборками.
Критерий U в случае первичного тестирования составил 55, что соответствует уровню значимости р0=0,6135 и достоверности различия между результатами опытной и контрольной групп 1-р0=1-0,6135=0,3865 или 38,65%. Следовательно, различия между исходным уровнем профессиональной подготовки врачей-ординаторов из опытной и контрольной групп были статистически незначимы (р0>0,05). Полученные результаты были вполне ожидаемы, поскольку отбор ординаторов в опытную и контрольную группы производился случайным образом.
^критерий для контрольного результата тестирования составил 28,5, что соответствует уров-
ню значимости р0=0,0297 и достоверности различия между результатами опытной и контрольной групп 1-р0=1-0,0297=0,9703 или 97,03%. Различия между результатами контрольного тестирования врачей-ординаторов 1 -го года обучения из опытной и контрольной групп статистически значимы (р<0,05), что свидетельствует об эффективности разработанного курса дистанционного обучения для данной категории слушателей.
Для оценки значимости различий между результатами первичного и контрольного тестирования ординаторов 1 -го года обучения в рамках опытной и контрольной групп мы использовали Т-критерий Вилкоксона парных сравнений.
Исходя из полученной машинограммы, уровень значимости различия результатов первичного и контрольного тестирования р0= 0,0077, а достоверность его различия 1-р0= 0,9923 или 99,23%, что свидетельствует о наличии статистически значимых различий между исходным и конечным уровнем знаний ординаторов 1 -го года обучения из опытной группы после проведенного курса дистанционного обучения.
Исходя из данных таблицы 5, уровень значимости различия результатов первичного и контрольного тестирования ординаторов 1 -го года обучения из контрольной группы р0= 0,0043, а достоверность их различия 1-р0= 0,9957 или 99,57%, что свидетельствует о наличии статистически значимых различий между исходным и конечным уровнем знаний ординаторов 1 -го года обучения из контрольной группы. Полученные результаты свидетельствуют о прогрессе в уровне подготовки ординаторов 1 -го года из контрольной группы в процессе обучения с использованием классических образовательных подходов.
Таблица 4
Машинограмма сравнительного анализа (по Т-критерию Вилкоксона парных сравнений) результатов первичного и контрольного тестирования ординаторов 1 -го года обучения из опытной группы
Valid N T Z p-level
Первичный результат, баллов & Контрольный результат, баллов 9 0,00 2,665570 0,007686
Таблица 5
Машинограмма сравнительного анализа (по Т-критерию Вилкоксона парных сравнений) результатов первичного и контрольного тестирования ординаторов 1 -го года обучения из контрольной группы
Valid N T Z p-level
Первичный результат, баллов & Контрольный результат, баллов 14 7,00 2,856330 0,004286
На основании проведенных экспериментов можно сделать следующие выводы:
1) в процессе подготовки ординаторов 1-го года обучения из опытной и контрольной групп между исходным (первичным) и итоговым (контрольным) уровнями знаний имеются статистически значимые различия (р0<0,05), что свидетельствует об эффективности применявшихся образовательных подходов;
2) при сравнительном анализе результатов первичного и контрольного тестирования врачей-ординаторов 1 -го года обучения из опытной и контрольной групп имеются статистически значимые различия (р0<0,05) по результатам контрольного тестирования в опытной группе.
При этом среднее арифметическое значение результатов контрольного тестирования врачей-ординаторов 1 -го года обучения из контрольной и опытной групп составило 396 и 672 балла соответственно. Полученные результаты свидетельствуют о более высокой эффективности дистанционного обучения для формирования у врачей первичных навыков визуального распознавания клинических симптомов дерматовенерологических заболеваний в сравнении с традиционным образовательным подходом.
ЛИТЕРАТУРА
1. Гаврилова Т.А., Муромцев Д.И. Интеллектуальные технологии в менеджменте: инструменты и системы: Учеб. пособие. - СПб. : Изд-во «Высшая школа менеджмента»; Издат. дом С.-Петерб. гос. ун-та, 2007. - 488 с.
2. Киликовский В.В., Олимпиева С.П. Технология создания компьютерных консультативных экспертных систем для интеллектуальной поддержки принятия медицинских решений // Врач и информационные технологии. - 2004. - № 9. - С. 22-27.
3. Кобринский Б.А. Консультативные интеллектуальные медицинские системы: классификации, принципы построения, эффективность // Врач и информационные технологии. - 2008. - № 2. - С. 38-47.
4. Кобринский Б.А. Системы поддержки принятия решений в здравоохранении и обучении // Врач и информ. технологии. - 2010. - № 2. - С. 39-45.
5. Кузнецов П.П., Столбов А.П. Информационные технологии в здравоохранении Европейского союза, США и Канады // Врач и информационные технологии. - 2007. - № 6. - С. 69-72.
6. Приказ Минздравсоцразвития России от 28 апреля 2011 г. № 364 «Об утверждении концепции создания единой государственной информационной системы в сфере здравоохранения».
7. Приходина Л.С. Компьютерная система и нефро-тренажер для дифференциальной диагностики заболеваний почек у детей с синдромом гематурии // Информ. технологии в здравоохранении. - 2002. -№ 8. - С. 16-17.
8. Самцов А.В., Барбинов В.В. Учебно-исследовательская лаборатория клинической дерматогистопа-тологии на основе систем искусственного интеллекта // Вестник Российской Военно-медицинской академии. - 2000. - № 1. - С. 94-97.
9. Свидетельство о государственной регистрации программы для ЭВМ №2014615574 от 28 мая 2014 г. [Электронный ресурс]. - Режим доступа: http: //www 1.fips.ru/ Archive/EVM/2014/2014.06.20/I ndex.htm, свободный (08.11.2016).
