CC BY
43
УДК 614.252.2:616.24-073.173
ОЦЕНКА КУРСА ДИСТАНЦИОННОГО ОБУЧЕНИЯ СПИРОМЕТРИИ
Е. В. Фролова, А. Н. Андрюхин ГБОУ ВПО «Северо-Западный государственный медицинский университет имени И. И. Мечникова» Минздрава России, Санкт-Петербург, Россия
EVALUATION OF DISTANCE LEARNING COURSE ON SPIROMETRY
E. V. Frolova, A. N. Andryukhin North-Western State Medical University named after I. I. Mechnikov, St. Petersburg, Russia
© Е. В. Фролова, А. Н. Андрюхин, 2013 г.
Статья посвящена методологии и результатам оценки курса дистанционного обучения, проведенного на кафедре семейной медицины. Цель исследования — оценить эффективность дистанционного обучения с использованием инновационного компьютерного дизайна, разработанного авторами курса. Представленные результаты свидетельствуют о том, что обучавшиеся на курсе восприняли новые способы обучения с достаточной степенью уверенности, быстро выработали стиль поведения в электронной среде. Качество обучающей программы по спирометрии оказалось высоким, о чем свидетельствовала высокая степень уверенности при достижении обучающих целей. Независимый эксперт-пульмонолог со своих позиций также высоко оценила качество программы и новые методы обучения.
Ключевые слова: спирометрия; дистанционное обучение; оценка курса; электронные технологии обучения; качество обучения.
The evaluation of e-learning course is described. The aim of didactical study was to evaluate the effectiveness of e-learning environment and the new behavior of course participants. The results of evaluation demonstrated that students were confident with new e-learning environment, they like it, they valued course very high. The participants learned educational goals effectively using new e-learning educational methodology. The independent expert also valued the course content very high.
Keywords: spirometry; distance learning, course evaluation; e-learning environment; quality of education.
Развитие любой медицинской школы невозможно без оценки качества учебных программ и их воплощения на практике — преподавания. Особенно это необходимо, когда создан новый курс, разработана новая программа. Между тем сам процесс оценки требует предварительной подготовки [1]. Цели, задачи, методы оценки определяются несколькими условиями. Необходимо учитывать пожелания заинтересованных в проведении курса лиц — самих обучающихся, преподавателей, руководства университета или факультета, работодателей, финансирующих организаций. Тип или время проведения оценки — начальная, промежуточная, итоговая — требуют использования различных методов [2]. Субъектом оценки может быть качество преподавания, качество новой учебной программы, эффективность обучения [2].
В 2012 г. на кафедре семейной медицины СЗГМУ им. И. И. Мечникова был начат крупный исследовательский проект под названием RESPECT, посвященный изучению распространенности хронической обструктивной болезни легких (ХОБЛ) в Санкт-Петербурге и Архангельске. Для его проведения необходимо было подготовить большое
число врачей-исследователей, владеющих методом спирометрии. Обучение было решено провести дистанционно. Специально для этого был разработан интерактивный дистанционный курс, а для анализа его эффективности — система оценки, описанная далее.
Таким образом, предмет оценки в нашем исследовании — курс дистанционного обучения, состоящий из трех модулей, рассчитанный на три недели. Курс предназначен для обучения врачей общей практики спирометрии как новому методу исследования с использованием портативных спирометров для применения впоследствии спирометрии в диагностике ХОБЛ. Данный курс является обучающей частью научного исследования, направленного на изучение распространенности ХОБЛ. Аналогов курса в России не существует.
Дистанционное обучение вовлекает очень большие ресурсы, необходимо подтверждение разумности затрат. В то же время это новый способ обучения и группового поведения, которые могут потребовать от слушателей новых навыков и привычек, отношений [3]. Очень трудно отделить воздействие электронного окружения, метода обуче-
Original data
ния от сложного взаимодействия культурного и социального влияния. В данном случае будут оцениваться не только педагогические цели и процессы, но и технология сама по себе, поддержка людьми этой технологии, как электронные ресурсы внедрены в дизайн обучающего курса. Поэтому нельзя воспользоваться для анализа эффективности обучения сравнением дистанционного курса с обычным как контрольным.
Цель исследования: оценить эффективность дистанционного обучения с использованием инновационного компьютерного дизайна, разработанного авторами курса. В задачи проекта входила оценка особенностей поведения обучающихся в новой электронной среде обучения и качества разработанной обучающей программы по спирометрии.
Методы. Из наиболее распространенных подходов к оценке эффективности обучения нами был выбран метод, ориентированный на учебные цели, и качественная оценка программы обучающимися. Оценка проводилась в начале обучения, а также после завершения каждого модуля и по окончании курса. В начале курса были собраны данные о профиле группы. Для оценки качества разработанной обучающей программы и педагогических процессов была подготовлена специальная анкета — «Самооценка подготовки». Слушателей просили оценить отметкой от 1 до 5 баллов степень уверенности в овладении учебными целя-
ми, поставленными на каждой неделе. Для оценки поведения использовалась анкета «Самооценка поведения», в которой слушатели отмечали степень своей уверенности от 1 до 5 баллов в овладении материалом курса, используя различные электронные инструменты («Пожалуйста, отметьте, насколько уверенно вы чувствовали себя, используя различные способы дистанционного обучения»). Чтобы понять, прогрессирует ли навык использования новых электронных средств обучения, мы оценили динамику уверенности по неделям. Было принято, что отрицательная динамика — это снижение оценки на один балл или более либо стабильно низкая (1 балл) оценка. За положительную динамику было принято повышение оценки на 1 балл или более или неизменно высокая (5 баллов) оценка. За отсутствие динамики принимали неизменную оценку поведения от недели к неделе.
Согласно концепции сбора данных о качестве обучающей программы из разнообразных источников («multisource evaluation»), мы использовали также интервью с независимым экспертом, анализ результатов экзамена, прямое наблюдение преподавателя за выполнением практических навыков во время очного семинара и оценку качества спирометрий, проводимых на практике.
До начала исследования была определена надежность использованных анкет (табл. 1).
Таблица 1
Надежность анкет, использованных для оценки курса
Анкета самооценки поведения Коэффициент альфа Кронбаха
1-й модуль 0,78
2-й модуль 0,74
3-й модуль 0,64
Анкета самооценки подготовки
1-й модуль 0,87
2-й модуль 0,76
3-й модуль 0,92
Статистическая обработка данных проводилась с помощью пакета прикладных программ STATISTICA 5.5 (StatSoft Inc., 1999 г.). Использовались непараметрические методы, так как значения исследуемых параметров (критерий Колмогорова—Смирнова) статистически описывались распределением, отличным от нормального. Описание данных включало оценку медианы и ин-терквартильного размаха. Для оценки межгрупповых различий применяли: при сравнении двух групп — критерий Манна—Уитни (U-тест), в случаях множественных сопоставлений групп — критерий Краскела—Уоллиса, %2 для бинарных признаков: метод максимального правдоподобия или X2 с поправкой Йетса, если любая из наблюдаемых частот была менее 10. Для сравнения показателей
в динамике наблюдения использовался критерий Вилкоксона ^-тест). Для анализа связи признаков применялась ранговая корреляция по Спирме-ну Критический уровень достоверности нулевой статистической гипотезы (об отсутствии значимых различий) был принят равным 0,05.
Результаты. Всего на курс было зачислено 35 человек, окончили обучение 33. Отчислены 2 человека, которые по итогам первой недели не выполняли заданий, не участвовали в дискуссиях. Группа была разнородной по составу, стажу и возрасту. Большинство группы представляли женщины — 83%, что в целом соответствует гендерному составу врачей в России.
Молодые (до 34 лет) врачи составили большую часть группы — 52%, одна треть была в возрасте
от 35 до 44 лет и лишь 17% — в возрасте 45 до 54 лет. Это объясняется зачислением клинических ординаторов кафедры, которые были отобраны в качестве исследователей в ряде отделений общей врачебной практики.
Информацию о курсе большая доля слушателей получила на заседании ассоциации врачей общей практики, где неоднократно объявляли о его начале, рассказывали о содержании, а также демонстрировали трейлер. Интенсивная реклама дала результат. Интересно, что никто не почерпнул информацию с сайта университета. Это свидетельствует о том, что практикующие врачи недостаточно широко используют электронные источники информации.
Все слушатели были обеспечены компьютерами, все имели возможность использовать дома Интернет и электронную почту. Обеспеченность компьютерами и наличие доступа в Интернет на рабочем месте были гораздо ниже, 93 и 52% соответственно. Ранее дистанционным обучением воспользовались только 4 человека.
Стаж работы в среднем составил 8,2 года (95% ДИ 11,0-5,4 лет), минимум 0 (клинические ординаторы, не имеющие фактического врачебного стажа), максимум 28 лет. Наибольший стаж использования компьютера был указан как 29 лет, в среднем 9,7 года (95% Ди 11,6-7,8 года).
Поведение слушателей в новой электронной среде обучения. Элементы интерактивного компьютерного курса были разработаны в соответствии с определенными дидактическими целями: клинические случаи, клинические примеры, видеопрезентации, вопросы компетенции, ключевые положения, упражнения, тесты, задания, библиотека, ресурсы, общение на форуме. Все эти новые методы обучения требовали от слушателей навыка работы в электронной среде. Следует признать,
что они воспринимались по-разному и степень уверенности владения тем или иным инструментом обучения различалась. Наименьшая степень уверенности была продемонстрирована при общении на специальном форуме (1, самый низкий балл), а также при общении на общем форуме (Ме = 3, ИР 3,0-4,0). Неуверенность возникала при использовании различных ресурсов Интернета, где можно найти в свободном доступе клинические рекомендации или другую полезную информацию. Некоторую степень неуверенности вызвали задания, которые необходимо было присылать модератору.
Больше всего позитивных изменений произошло в использовании упражнений и библиотеки (табл. 2). Наибольшее число отрицательных изменений произошло с 1-й по 3-ю, с 1-й по 2-ю и со 2-й по 3-ю неделю при использовании общения на форуме. Некоторые участники сообщали, что они совсем не могли использовать этот способ общения, что может быть связано как с недостаточным опытом использования компьютера, так и с особенностями индивидуального стиля обучения.
Корреляционный анализ показал отрицательную корреляцию между возрастом и уверенностью общения на форуме (-0,43, Р = 0,02); между возрастом и использованием ресурсов в течение каждого модуля (-0,60, -0,58, -0,58, р = 0,001). Статистически значимые корреляции были обнаружены между компьютерным стажем участников и уровнем общения на форуме: чем больше был стаж использования компьютера, тем легче было общаться на форуме. Неуверенность в использовании рекомендованных ресурсов Интернета, скорее всего, связана с недостаточным знанием английского языка, на котором представлено большинство материалов. Доля слушателей с позитивной динамикой уверенности и неизменно уверенным поведением составила 52%.
Таблица 2
Элементы курса Доля слушателей, % (п)
1-я неделя 2-я неделя 3-я неделя
Клинические случаи 87 (20) 91 (21) 91 (21)
Клинические примеры (задачи) 74 (17) 83 (19) 87 (20)
Примеры спирометрических кривых 96 (22) 96 (22) 91 (21)
Тесты 83 (19) 83 (19) 83 (19)
Вопросы компетентности 52 (12) 57 (13) 57 (13)
Задания 83 (19) 87 (20) 65 (15)
Ресурсы обучающих материалов 65 (15) 70 (16) 65 (15)
Видеопрезентации 91 (21) — —
Дискуссия на форуме 48 (11) 43 (10) 48 (11)
Ключевые положения 61 (14) 61 (14) 70 (16)
Спирометрическая викторина — — 70 (16)
Оценка слушателями курса пользы различных методов интерактивного компьютерного курса
Original data
По данным итоговой оценки курса при ответе на вопрос «Какой элемент курса показался вам самым полезным для овладения содержанием и достижения учебных целей?» (табл. 2) мы установили, что наименее полезными слушатели признали вопросы компетентности и дискуссию на форуме. Наивысшую оценку получили примеры спирометрических кривых и клинические случаи. Таким образом, польза традиционных способов обучения, каковыми являлись клинические случаи, тесты, примеры спирометрических кривых, все еще оценивалась слушателями более высоко, чем, например, дискуссия на форуме и ресурсы.
Качество обучающей программы по спирометрии. Для оценки качества обучающей программы мы посчитали полезным проследить, какие из учебных целей были труднодостижимы. Это оказались учебные цели 2-й недели: «Объяснить принципы формирования должных величин в спирометрической практике» и «Оценить значимость отклонения каждого спирометрического показа-
теля от должной величины» (табл. 3). Подобные сложности легко объяснить. Эта часть курса требует от обучающегося определенного объема знаний статистики и эпидемиологии. Недостаток подобных знаний является особенностью медицинского обучения в России. На это следует обратить внимание лицам, ответственным за формирование медицинских программ, деканам, преподавателям медицинских университетов.
Интересно, что привлеченная к оценке эксперт-пульмонолог отметила, что наиболее сложными, с ее точки зрения, учебными целями были выявление наличия и типа вентиляционных нарушений; объяснение механизма формирования кривой поток/объем; чтение спирограмм и проведение полного анализа спирограмм; проведение дифференциальной диагностики легочных заболеваний в общей практике и подготовка и выполнение спирометрии. Разница мнений эксперта и слушателей подтверждает эффективность обучающей программы по спирометрии, поскольку все учебные цели,
Самооценка подготовки по неделям N Ме Нижний квартиль Верхний квартиль
1-я неделя
Описать основные объемы и емкости легких 31 4,0 4,0 4,0
Объяснить образование кривой «поток — объем» 31 4,0 4,0 5,0
Перечислить основные спирометрические показатели при спокойном дыхании и форсированном выдохе 31 4,0 4,0 5,0
Охарактеризовать параметры форсированного выдоха и определять их на кривой «поток — объем» 31 4,0 4,0 4,0
Объяснить преимущества и недостатки пикфлоуметрии по отношению к спирометрии 31 4,0 4,0 5,0
Составить список показаний и противопоказаний для проведения спирометрии 31 4,0 4,0 5,0
Правильно подготовить и провести спирометрическое исследование 31 4,0 3,0 4,0
2-я неделя
Применить критерии приемлемости и воспроизводимости полученных кривых для оценки их пригодности для дальнейшего анализа 27 4,0 3,0 4,0
Объяснить принципы формирования должных величин в спирометрической практике 27 3,0 3,0 4,0
Прочитать спирограмму 27 4,0 3,0 4,0
Оценить значимость отклонения каждого спирометрического показателя от должной величины 27 3,0 3,0 4,0
Самостоятельно провести бронходилатационный тест 27 4,0 3,0 4,0
Определить клинические симптомы, требующие дифференциальной диагностики легочных заболеваний 27 4,0 4,0 4,0
3-я неделя
Выявить наличие и тип вентиляционных нарушений 25 4,0 3,0 5,0
Выявить степень нарушений проходимости дыхательных путей 25 4,0 3,0 4,0
Дать комплексную оценку спирограммы 25 4,0 3,0 4,0
Объяснить результаты бронхолитического теста 25 4,0 4,0 5,0
Проводить дифференциальную диагностику легочных заболеваний в амбулаторной практике 25 4,0 3,0 4,0
Примечание: Ме — медиана.
Таблица 3
Степень уверенности курсантов в овладении материалами курса в динамике по неделям в соответствии с учебными целями, количество баллов
перечисленные экспертом, оказались легко достижимыми для слушателей.
Чтобы понять, в какой степени и какие именно электронные средства обучения помогали в овладении материалом, мы провели корреляционный анализ. Было установлено, что, несмотря на субъективную заключительную оценку, высказанную слушателями, о пользе того или иного способа обучения, наиболее полезными оказались такие педагогические приемы, как описание ключевых положений в каждом разделе, вопросы компетентности, задания и упражнения.
Эффективность обучения была продемонстрирована также в процессе выполнения пилотного исследования проекта: качественные спирограммы были получены у 84% пациентов из 200 обследованных из случайной выборки, сформированной из населения, прикрепленного к 10 отделениям общей практики Санкт-Петербурга, врачи которых участвовали в обучении [4].
Удовлетворенность. Общая удовлетворенность оценивалась в заключительном опросном листе. Все слушатели оценили курс очень высоко, употребляя такие эпитеты, как «инновационный», «привлекательный», «полезный», «практичный». Некоторые назвали его «выдающимся», «фантастическим», «учебным приключением», говорили, что никогда прежде не было такого легкого и веселого обучения. Мы предлагали слушателям добавить любые комментарии и предложения, чтобы улучшить содержание и конструкцию курса. Многие утверждали, что курс идеально приспособлен к практике, очень конкретный. Так, один из обучавшихся написал, что разница между тем курсом дистанционного обучения, где он прежде обучался, и данным курсом по спирометрии заключается в том, что он нацелен на предоставление реальных практических знаний и навыков. Другой отметил наличие видеопрезентаций, упражнений и заданий, на которые узнаешь ответы не сразу, это заставляет включать свои мыслительные способности; качественные клинические случаи с подробным описанием, обсуждения на форуме, очень краткие и выдержанные материалы в библиотеке (ничего лишнего). Были высказаны пожелания: добавить общение через скайп с колле-
гами и преподавателем, увеличить объем видеороликов, дать ссылки на исходную литературу, учебные пособия по спирометрии российских авторов, добавить больше клинических случаев, практических занятий.
Оценка независимым экспертом (интервью). Оценка курса была также проведена независимым экспертом, специалистом по функциональной диагностике в пульмонологии и преподавателем курсов по обучению спирометрии. Результаты были даны в виде развернутых ответов на вопросы в письменном интервью. Эксперт оценила курс очень высоко, но подчеркнула, что временами для нее изучение материалов курса было непростым, так как она тоже не имеет большого опыта работы с такими программами. Она оценила высоко такие способы обучения, как ключевые положения, клинические случаи, упражнения, задания, общение на форуме.
Заключение. Новые способы электронного обучения были восприняты и использовались в среднем с высоким уровнем уверенности (4 балла из 5 возможных). Наиболее полезными в овладении материалом были названы такие способы обучения, как клинические случаи, примеры спирометрических кривых, тесты, видеопрезентации. Это соответствует традиционным способам обучения в России; кроме того, в ресурсах Интернета можно сейчас найти массу видеороликов, записей видеолекций, вебинаров. Однако как было установлено при анализе, наиболее полезными в достижении учебных целей оказались ключевые положения, вопросы компетенции, задания и упражнения. Качество обучающей программы по спирометрии является высоким, большинство учебных целей было достигнуто слушателями с высокой степенью уверенности (в среднем 4 балла из 5 возможных). Наиболее трудными для достижения оказались учебные цели «объяснить процесс формирования должных величин» и «оценить значимость каждого отклонения спирометрических показателей от должных величин». Эти цели требуют определенного объема знаний в области эпидемиологии и медицинской статистики. Независимый внешний эксперт-пульмонолог также оценила проект очень высоко.
Литература
1. Cook D. Twelve tips for evaluating educational programs // Medical teacher. — 2010. — Vol. 32. — № 4. — P. 296-301.
2. Harden R., Laidlaw J. Essential skills for a medical teacher. — Elsevier, Churchill Livingstone. — 2012. — 254 p.
3. Roberts D., Newman L., Schwartzstein R. Twelve tips for facilitating Millennials' learning // Medical Teacher. — 2012. — Vol. 34. — № 4. — P. 274-278.
4. Похазникова М. А., Кузнецова О. Ю., Андреева Е. А., Моисеева И. Е., Лебедев А. К. Опыт создания курса дистанционного обучения спирометрии в подготовке врачей общей практики // Российский семейный врач. — 2012. — № 4. — С. 39-44.
Авторы:
Фролова Елена Владимировна — профессор кафедры семейной медицины ГБОУ ВПО «Северо-Западный государственный медицинский университет им. И. И. Мечникова» Минздрава России
Андрюхин Антон Николаевич — врач общей практики ЗАО «Поликлинический комплекс».
Адрес для контакта: efrolovamd@yandex.ru
