CC BY
80
КАДРОВОЕРАЗВИТИЕ
ДЛЯ КОРРЕСПОНДЕНЦИИ
Шарлотт Рингстед (Charlotte Ringsted) — профессор в области медицинского образования и директор Центра клинического образования, Университет Копенгагена и столичного Региона, Адрес: Rigshospitalet, 5404, Blegdamsvej 9, 2100 Копенгаген, Дания. Телефон: +45 35455424 E-mail:[email protected]
Ш. Рингстед, Б. Ходжес, Ф. Шерпбайр Руководство AMEE № 56: «Исследовательский компас»: Проведение научных исследований в медицинском образовании
#
Ch. Ringsted, B. Hodges, A. Scherpbier
AMEE Guide 56: "The research compass": An introduction to research in medical education
This AMEE Guide offers an introduction to research in medical education. It is intended for those who are contemplating conducting research in medical education but are new to the field. The Guide is structured around the process of transforming ideas and problems into researchable questions, choosing a research approach that is appropriate to the purpose of the study and considering the individual researcher's preferences and the contextual possibilities and constraints. The first section of the Guide addresses the rationale for research in medical education and some of the challenges posed by the complexity of the field. Next is a section on how to move from an idea or problem to a research question by placing a concrete idea or problem within a conceptual, theoretical framework. The following sections are structured around an overview model of approaches to medical education research, 'The research compass'. Core to the model is the conceptual, theoretical framework that is the key to any direction. The compass depicts four main categories of research approaches that can be applied when studying medical education phenomena, 'Explorative studies'; 'Experimental studies'; 'Observational studies'; and 'Translational studies'. Future AMEE Guides in the research series will address these approaches in more detail.
Центр клинического обучения университета Копенгагена и столичного региона, Копенгаген, Дания
Centre for Clinical Education, University of Copenhagen and Capital Region, Copenhagen, Denmark
Данное Руководство AMEE является введением в исследовательскую деятельность в медицинском образовании. Оно предназначено для тех, кто планирует проведение исследований в медицинском образовании, но не знаком с данной сферой. Руководство построено вокруг процесса трансформации идей и проблем в вопросы исследования, выбора подхода к исследованию, определяющего предпосылки и учитывающего индивидуальные предпочтения исследователя, а также соответствующие контексту возможности и ограничения. Первая часть Руководства посвящена логическому обоснованию научно-исследовательской работы в медицинском образовании и некоторым проблемам, обусловленным сложностью этой области.
В следующем разделе представлено, как можно трансформировать идею или проблему в вопрос исследования через помещение конкретной идеи в концептуальную теоретическую схему. Дальнейшие разделы построены на основании обзорной модели подходов к исследованиям в медицинском образовании, «компаса исследования». Сущность модели — концептуальная, теоретическая схема, универсальная для любого научного направления. «Компас» описывает 4 основные категории подходов к исследованию, которые могут применяться при изучении феноменов медицинского образования: предварительные исследования, наблюдательные исследования, экспериментальные исследования, прикладные исследования. В последующих Руководствах AMEE, посвященных исследованиям в области образования, эти подходы будут раскрыты более подробно.
Ключевые моменты
Исследование в медицинском образовании преследует цели углубления знаний и понимания обучения, преподавания и образования. Оно не решает конкретные локальные проблемы и не помогает принимать общие, универсальные решения.
Чтобы перейти от интересующей исследователя идеи, проблемы или феномена к вопросу исследования необходимо иметь концептуальную теоретическую схему: определить лежащие в основе механизмы и принципы познания, преподавания и обучения, имеющие отношение к теме, и провести обзор литературы на предмет того, что уже известно и что нуждается в дальнейшем исследовании.
В научно-исследовательской работе медленно, путем совершения множества выборов и жертв, происходят фокусирование на теме исследования и формулировка основного изучаемого вопроса. Существует большой выбор исследовательских подходов, причем у каждого из них есть собственная цель. Вот 4 основные категории: предварительные исследования, цель которых — моделирование; экспериментальные исследования, цель которых — обоснование чего-либо; наблюдательные исследования, ставящие своей целью прогнозирование, и прикладные исследования, сосредоточенные на применении знаний. Выбор подхода зависит от вопроса исследования, часто целесообразно и необходимо применять несколько подходов или смешанных методов.
Введение
Это руководство — введение в исследовательскую деятельность в медицинском образовании. Оно предназначено для тех, кто планирует проведение меди-
цинской научно-исследовательской работы, но является новичком в этой сфере, включая и тех, кто в целом не имеет опыта в научно-исследовательской деятельности, и тех, у кого есть опыт проведения научно-исследовательской работы в области биомедицины, но не в области медицинского образования. Руководство составлено, с учетом проведения неких параллелей с исследованиями в биомедицине. Мы укажем, чем и каким образом отличаются научно-исследовательские работы в медицинском образовании. В дополнение к некоторым общим принципам руководство обратится к ведущимся в настоящее время дебатам о подходах к исследовательской деятельности в медицинском образовании и изучению сложных феноменов и вмешательств. В этой связи мы надеемся, что руководство будет интересно и тем, у кого уже имеется опыт научно-исследовательской деятельности в области медицинского образования, и побудит их к дальнейшей дискуссии.
Руководство построено вокруг процесса трансформации идей и проблем в вопросы исследования, выбора подхода к исследованию, определяющего предпосылки и учитывающего индивидуальные предпочтения исследователя, а также соответствующие контексту возможности и ограничения. Первая часть руководства посвящена логическому обоснованию научно-исследовательской работы в медицинском образовании и некоторым проблемам, обусловленным сложностью области. В следующем разделе говориться о том, как трансформировать идею или проблему в вопрос исследования. Эта часть описывает, как поместить конкретную идею в концептуальную теоретическую схему. Дальнейшие разделы построены на основании модели, дающей обзор
#
подходов к научно-исследовательской деятельности в медицинском образовании, «компаса исследования». Сущность модели — концептуальная теоретическая схема, являющаяся ключом к любому направлению. Компас описывает 4 основные категории подходов к исследованию, которые могут применяться при изучении феноменов медицинского образования: предварительные исследования, наблюдательные исследования, экспериментальные исследования, переводные исследования.
Отдельные разделы данного руководства посвящены общим принципам каждого элемента модели. Особое внимание уделяется помощи читателям в нахождении дополнительной информации на интересующие их темы.
Данное вводное руководство является первым в серии руководств АМЕЕ, посвященных научно-исследовательской деятельности в медицинском образовании. В последующих руководствах серии будут описаны специфические исследовательские подходы, дизайн и методы, тогда как в других выпусках будут рассматриваться концептуальные теоретические схемы и их связь с научно-исследовательской работой в медицинском образовании.
Научные исследования в медицинском образовании
С альтруистической точки зрения научные исследования в медицинском образовании необходимы для углубления знаний посредством изучения феноменов, для того чтобы понять, каким образом что-то работает и для чего. Тем не менее читатель может задуматься и о других причинах проведения научных исследований в медицинском образовании. Исследова-
телем может двигать подлинный интерес ученого к феноменам медицинского образования и/или желание публиковать свои работы с целью собственного карьерного роста, славы или достижения положения в научном сообществе. Другая цель может состоять в том, чтобы обосновать затраты средств, времени и усилий на занятие медицинским образованием или привлечение финансирования для новых образовательных технологий или инициатив. Наконец применение научного подхода к инновационной практике медицинского образования может быть разумной стратегией для формирования круга ученых, заинтересованных в покупке новых идей и концепций и, как результат, приобретения их поддержки для внедрения инноваций (Grant, Gale, 1989). Но независимо от того, что является стимулом научной работы, необходим тщательный подход к организации исследования и, для публикаций в научных журналах, четкое определение практической значимости и вклада полученных результатов в копилку новых знаний и интерпретаций как познавательного процесса, так и образования в целом.
Проблема
Задача исследователя — поместить конкретную идею, интерес или проблему в общий контекст обучения, преподавания и образования. Начинающие исследователи в сфере медицинского образования могут не осознавать этой обобщающей перспективы (основной задачи) и склоняться к фокусированию на локальных, конкретных проблемах или вопросах, которые они хотят понять или решить через сбор и анализ данных, полученных при оценке, аттестации или аудите. Например: «Насколько студенты удовлетворены содержанием и форматом моего курса?», «Какие
результаты обучения на данном курсе можно будет оценить при помощи проверки практических навыков?» или «Насколько хорошо данная программа осуществляется в нашем институте исходя из количества преподавателей, которые придерживаются ее стандарта?». Но исследование главным образом не должно решать конкретные локальные вопросы. Наоборот, оно должно быть посвящено проблемам, которые связаны с общими вопросами познания, преподавания и образования, изучаемыми в конкретном контексте. С этой точки зрения обобщаемость результатов исследования имеет первостепенное значение. Один из аспектов обобщаемости — то, какой вклад вносит исследование в общий фонд знаний об обучении, преподавании, образовании. Это требует критической оценки того, как содержание исследования может повлиять на результаты. Другой аспект связан с практической значимостью и с тем, как новые знания могут изменить об-
разовательную практику. Тем не менее медицинское образование — очень сложная дисциплина с существенными различиями в практике, причем как между курсами, школами, базами, территориями и странами, так и внутри них. В дополнение к комплексности медицинского образования есть множество взаимосвязанных факторов, которые в совокупности составляют сложную систему образования (рис. 1).
Для исследователей может стать недостижимой цель — добиться в итоге работы единственного решения или объяснения, универсального и подходящего для любой системы медицинского образования. Получение в итоге работы единственного решения или объяснения, универсального и подходящего для любой системы медицинского образования, может так и остаться для исследователей недостижимой целью. Большинство ученых, возможно, будет стремиться к привнесению частичного вклада в науку, пониманию
Рис. 1. Множество взаимосвязанных аспектов, способствующих обучению
#
множества феноменов и размышлению над ними и тем, как, что и почему работает. Вкратце исследование в медицинском образовании не посвящено ни решению локальных проблем, ни нахождению общих решений (Regehr, 2010). Исследователям следует приложить максимум усилий для того, чтобы привлечь внимание практиков к проблемам медицинского образования, чтобы те, используя критические (различные) обзоры результатов исследований, лучше выполняли собственные задачи.
Одной из важнейших характеристик дисциплин медицинского образования является то, что их практическая часть и способ подачи материала по большей части нестандартизованы. Важной характеристикой дисциплины медицинского образования является то, что его практика и предоставление главным образом не-стандартизированы. В значительной степени медицинское образование не похоже на биомедицинские науки, где множество биомедицинских технологий, например, связанных с препаратами или техническими процедурами, состоят из высо-костандартизированных вмешательств. Преимущество биомедицины еще и в том, что при оценке необходимых величин и результатов она обращается к высокоточным инструментам для измерений. Таким образом, обобщения в биомедицине в некоторой степени более возможны и применимы. Тем не менее даже в биомедицинской сфере, на которую значительно влияет позитивистская философия научного прогресса, существует возрастающая тенденция признания (осознания) комплексности (сложности) практики (практической деятельности) и расширения перспектив исследовательских воззрений (Campbell et al., 2000; Ward et al., 2009a; Bunniss & Kelly, 2010).
От идеи или проблемы к вопросу исследования
У начинающих в области медицинского образования обычно есть собственный научный интерес, вызванный конкретной проблемой или феноменом, с которыми они столкнулись в своем окружении (в своей практической деятельности, жизни). Первым шагом исследователя должно стать превращение этой проблемы, интереса или наблюдения в общую проблему, которая может быть изучена. Это заставляет ученых стремиться проанализировать и попытаться идентифицировать базовые концепции, вовлеченные в их конкретную проблему или идею и выяснить лежащие в ее основе механизмы обучения, преподавания и образования, применимые к их идее. Это в значительной мере соответствует исследованиям в биомедицине, которые требуют понимания основ физиологии, эпидемиологии, фармакологии и т.д., и их связи с болезнями, медикаментами или соответствующей медицинской техникой. Другими словами, первый шаг в исследовании в области медицинского образования — помещение идеи или проблемы в концептуальную теоретическую схему.
Концептуальная теоретическая схема
Концептуальная, теоретическая схема исследования, состоит из трех частей:
1) выбор теорий обучения и образования, которые могут прояснить механизмы, лежащие в основе идеи или проблемы;
2) критический синтез сведений из экспериментальной литературы, определяющей, что уже известно об идее, с целью предоставления информации для развития конкретной темы исследования; 3) собствен-
ные мысли и идеи исследователя. Эта схема способствует трансформации личной или локальной идеи или проблемы в проблему исследования. Эта схема к тому же помогает сформулировать вопрос исследования и выбрать адекватный подход к исследованию. Таким образом, схема создает рациональную структуру и организацию для подтверждения логического обоснования исследования и объяснения, почему и как оно будет предприниматься. Наконец, когда исследование уже завершено, концептуальная теоретическая схема дает основания для дискуссии о возможности обобщения результатов или находок исследования.
Проблема
Изучение литературы — стартовая точка анализа идеи или проблемы в соответствии с концептуальной теоретической схемой. Для начинающих в сфере исследований в медицинском образовании эта ступень может повлечь за собой много кропотливой работы. Тем не менее определение схемы также экономит усилия, потому что она помогает исследователю сфокусироваться на наиболее ценных аспектах и ограничить неактуальные для исследования области. Первый шаг — это определение главных тем, к которым может быть отнесена идея или проблема (рис. 1). Следующий шаг — изучить фундаментальные понятия, связанные с этими темами и основными механизмами обучения, преподавания и образования. В ходе этого исследователь обычно выясняет, что к центральной идее или проблеме можно подойти с разных сторон и с различных точек зрения. Таким образом, выбор неизбежен. В процессе выбора ученому следует выделить в качестве фокуса исследования те аспекты, которые ему действительно хочется изучать.
Где искать?
Существует множество учебников, посвященных основным концепциям обучения, преподавания и образования, которые могут помочь в определении доминирующей темы в идее или проблеме для изучения. Тем не менее, нет руководства для составления концептуальной теоретической схемы, хотя есть соответствующие статьи (Carpiano, Daley, 2006; Bordage, 2009; Bunniss, Kelly, 2010). В дополнение ко всему, некоторые обзорные статьи рассматривают множество теорий связанных с темами медицинского образования (Mann, 2004; Bleakley, 2006; Patel et al., 2009a, 2009b; Mann, 2011). Хорошей отправной точкой со множеством полезных литературных источников для выяснения того, что уже известно и что еще не выяснено и заслуживает дополнительного изучения, может послужить огромное количество обзорных документов (статей), таких как обзоры по доказательному медицинскому образованию (BEME Guides) и руководства AMEE. Эти документы обычно акцентируют те области, в которых необходимо проведение дальнейших исследований. Руководство BEME № 3, части 1 и 2 предоставляет помощь в изучении баз данных по медицинскому образованию (Haig, Dozier, 2003a, 2003b), а на веб-сайте AMEE представлен широкий спектр ссылок на ресурсы с данными (www.amee.org).
Формулировка вопросов исследования
После определения темы исследования, следующий шаг — сформулировать общий вопрос исследования или глобальную цель, которую затем можно разбить на более специфические вопросы для изучения. Формат и формулировка вопросов иссле-
Е И Н Е
Д
*
Р
Е В 1- Д О П
МОДЕЛИРОВАНИЕ
ПРОГНОЗИРОВАНИЕ
Рис. 2. Компас исследования. Обзорная модель подходов к исследованию в медицинском образовании
#
дования тесно связаны с выбранным подходом. В предварительных исследованиях используется качественный исследовательский подход, связанный скорее с открытыми вопросами, нацеленными на определение переменных, способных объяснить феномен, тогда как в экспериментальных исследованиях обычно задается вопрос закрытого типа, относительно заданных переменных с целью установления взаимосвязи. В связи с этим в данном Руководстве АМЕЕ проблема формулирования вопросов исследования будет описана в нескольких разделах, посвященных различным исследовательским подходам.
Компас исследования
Компас исследования (рис. 2) представлен в виде модели, содержащей обзор различных подходов к исследованию в медицинском образовании. Это совокуп-
ность точек зрений на подходы (методы) к изучению комплексных вмешательств (Campbell et al., 2000) и разработанная Кук и др. схема классификации целей исследования в медицинском образовании (Cook et al., 2008). Некоторые руководства и статьи по исследованию в медицинском образовании и в биомедицине также включены в данную модель.
В центре модели — концептуальная теоретическая схема, являющаяся сердцевиной и основанием любого исследовательского подхода. Вокруг нее лабиринт компаса, который состоит из 4 широких категории исследований, преследующих различные цели. Одна из категорий — предварительные исследования, их цель — моделирование, чтобы определить и объяснить элементы феноменов и их взаимосвязи. Эта группа включает описательные исследования и исследования, использующие качественные подходы. Также к этой рубрике относятся психометрические ис-
следования, устанавливающие валидность и надежность инструментов измерений. Моделирование — не только цель предварительных исследований, но и предшественник для разработки экспериментальных исследований и определения приемлемых вмешательств и результатов. Цель экспериментальных исследований — подтверждение, и эти исследования в основном представляют усиленно контролируемые эксперименты с использованием гомогенных выборок. Этот тип исследования, тем не менее, не всегда осуществим в области медицинского образования, и наилучшей альтернативой ему являются наблюдательные исследования, т.е. исследования типа «случай—контроль», когортные и ассоциативные исследования. Наблюдательные исследования изучают естественные или статические группы людей и нацелены на прогнозирование некоторых типов результатов. Наконец прикладные исследования фокусируются на внедрении знаний и результатов исследования в реальную жизнь, что осложнено тем, что каждый человек индивидуален. Это внедрение может привести к оценке как самого процесса, так и результата, что в свою очередь, может дать толчок к открытию новых неожиданных феноменов, побуждающих к дальнейшему изучению их в предварительных исследованиях и, возможно, новых контролируемых экспериментах.
Мы не утверждаем, что модель «компаса исследования» является всеобъемлющей. Скорее, эта модель пытается обрисовать общую картину и проиллюстрировать, как каждый подход к исследованию вносит свой вклад в построение существующего знания и понимания обучения и образования. В отличие от лабиринта в схеме исследования есть несколько входов и выборов
путей и направлений. Более того, это не стремление к тому, чтобы в каждом исследовательском проекте были реализованы все схемы от начала и до конца. Исследование — это движение маленькими шажками, основанное на первичном знании и понимании, что может быть сделано на любой ступени схемы. Так, отдельные исследователи могут свободно перемещаться между любыми ступенями. Другими словами, они могут выбрать такой исследовательский поход, который соответствует их нуждам и предпочтениям, качественным или количественным, экспериментальным или переводным работам, до тех пока этот подход соответствует проблеме исследования и выполним в рамках контекста, в котором будет проведено исследование. Наконец множественные исследовательские подходы не являются исключительными, чаще всего необходимо использовать комбинации подходов. В последующих разделах каждый элемент модели будет описан более подробно.
Предварительные исследования и моделирование
Довольно много различных методов исследования можно включить в категорию предварительные исследования. В нее включены наглядные, качественные и психометрические исследования. Цель предварительных исследований — моделирование посредством определения, описания и анализа основополагающих характеристик и механизмов феноменов, свойств, вмешательств, измерительных инструментов и т.д. Предварительные исследования задают открытые вопросы, такие как «Что характеризует...?», «Как люди понимают и объясняют.?», «Какие факторы могут быть
#
идентифицированы...?», «Какова валидность и надежность.?» Основываясь на результатах, исследователь синтезирует модель для объяснения рассматриваемой темы.
Моделирование также связано с предварительными работами ученого, выполненными до выбора исследовательского подхода и дизайна исследования, экспериментального, переводного или наблюдаемого. В этом смысле моделирование опирается на изучение и анализ более мелких частей процесса и того, почему и как это будет работать в отдельно взятом исследовании. Кроме того, моделирование используется для выявления наилучшего метода сбора данных и выбора предметов исследования.
Описательные исследования
Описания феноменов, новых инициатив или деятельности, таких, как разработка учебной программы, метода преподавания, форматы аттестации, стратегии оценки и т.д., обычно не определяются как исследование. Это объясняет, почему все сложнее найти публикации о данном типе исследования в научных журналах по медицинскому образованию. Тем не менее, если в работе изучается вопрос, связанный с концептуальной теоретической схемой, у такой работы больше шансов трактоваться как исследование. Примеры таких вопросов: «Как теории обучения и преподавания дают информацию о... феномене?» или «Какую информацию предоставляют теории и первичные опытные исследования для дизайна, исполнения или оценки... инициативы?». Так как исследование посвящено изучению взаимосвязей, распространенной практикой является применение наиболее простого общего правила: работа классифициру-
ется как исследование, если она посвящена какому-либо сравнению или установлению взаимосвязей. Для описательных исследований сравнение может относиться к концептуальной теоретической схеме.
Описательные исследования в медицинском образовании раньше часто встречались в научных журналах и на конференциях, посвященных медицинскому образованию (Cook и соавт., 2007; Todres и соавт., 2007). Тем не менее, ведущие специалисты в области медицинского образования и редакторы медицинских журналов, повысили планку научных стандартов исследовательской работы. Проблема простых описательных исследований состоит в том, что, хотя они и могут представлять сведения о множестве важных наблюдений и положительных начинаний, включая оценивание, аттестацию или аудит, часто в них не хватает перспектив для обобщения, о котором говорилось в вводной части данного руководства. Существует несколько хорошо описанных методов, которые могут быть использованы для дальнейшего обобщения: исследование на основе определенного дизайна, исследование воздействия и ситуационные работы. Руководство не рассматривает подробности этих технологий, но соответствующую информацию можно почерпнуть из книг и журналов.
Качественные исследования
В последнее время возрастает интерес к использованию качественных методов исследования в области здоровья и образования. Многие клиницисты, изучавшие биомедицину, могут быть мало знакомы с качественными исследованиями. Поп и Мэйс определили общую цель качественного исследования как развитие принципов,
которые помогают понять социальные феномены, в естественной (лучше, чем в экспериментальной) обстановке, расставив акценты на суждениях, опыте и точках зрения участников (Pope, Mays, 1995). Вследствие того, что качественные методы в большей степени используют данные, основанные на формулировках, а не на цифрах, прочтение, интерпретация и проведение качественных исследований требует специфических методов (Greenhalgh, Taylor, 1997).
Теоретически качественное исследование берет начало в достижениях философии ХХ в., признавших важность языка в построении того, что мы понимаем под реальностью. Многие из тех, кто проводит качественные исследования, уверены в том, что все, называемое истиной или реальностью, фильтруется и регулируется через язык. Применяя данную конструктивистскую парадигму, исследователи, использующие качественные методы, акцентируют внимание на социальных, исторических и индивидуальных обстоятельствах (Kuper et al., 2008b).
Качественные методы наилучшим образом применимы для поиска ответов на вопросы «почему», «как» и «какова природа...». Эти методы применяются в трех изначальных случаях: 1) предварительно по отношению к количественным исследованиям; 2) как вспомогательные сведения (для триангуляции) для данных количественного исследования; 3) для раскрытия сложных феноменов, не поддающихся количественному изучению. Важно отметить, что качественные и количественные подходы не противоположны друг другу. Хотя иногда их представляют как два противоположных полюса, они являются разными и взаимодополняющими способами изучения похожих феноменов. Представим, что исследование фокусируется на
диабете и комплайентности в отношении лечения инсулином. Количественное исследование может раскрыть вопрос: «Какова взаимосвязь между некомплаентностью (измеренной по уровню гликозилированного гемоглобина) и прогрессированием заболевания?» Качественное исследование может ответить на вопрос: «Почему пациенты некомплаентны? Как они видят прогресси-рование заболевания?», «Какова природа их непонимания сведений о диабете и комплай-ентности?»
Существует множество качественных методов, включая опросы, фокусные группы, ситуационные исследования, анализы текстов и наблюдения. Тем не менее исследователь должен знать, что необходимо понимать концептуальную схему, сопровождающую все эти методы. Каждый метод принадлежит одной или нескольким традициям исследования, например, этнографии (Reeves и соавт., 2008), анализу дискурса (Hodges и соавт. 2008) и обоснованной теории (Lingard и соавт., 2008). Важно понимать эти методологии, из которых берут начало различные методы (инструменты), прежде чем собирать данные с их использованием.
Очевидно, что статистическая обработка не может применяться для анализа данных, выраженных в текстовой форме. Тем не менее существует много методов для кодирования и интерпретации качественных данных. Обычно вначале сведения собираются и переносятся в текстовый формат для обработки. Kvale сформулировал 5 подходов к транскрипционному анализу и кодированию: краткое содержание понятий, разделение на категории по темам, построение повествовательных интерпретативных методов и, наконец, специальный подход (Kvale, 1996).
#
Важное отличие от количественного принципа — то, как качество понимается в качественном исследовании (Кирег й а1., 2008а). Так как данные собираются в естественных условиях и приоритет отдается опыту и мнению участников, результаты не следует автоматически распространять на другие ситуации. Скорее, исследователь ищет свидетельства того, что находки могут быть перенесены в различные контексты. Аналогично, представление о надежности данных заменяется концепцией «степени достоверности», «действительности» и «подлинности». Целью качественных подходов, скорее, является понимание точки зрения и опыта участников в их многообразии, нежели сокращение данных для уменьшения статистической ошибки, как принято в количественных исследованиях. Таким образом, исследователи говорят о точках зрения, включающих их собственную точку зрения, акцентируя внимание на рефлексивности, а не на статистической погрешности. Другие элементы качественного исследования, требующие внимания, — это адекватность формирования выборки и насыщенность данных, их подлинность и достоверность (надлежащие данные и анализ), различные формы триангуляции (изучение взаимосвязи и подобия данных, собранных различными способами в разных источниках), самопроверка (возвращение данных участникам для подтверждения), множественное кодирование и наличие контрольного журнала (отчет о решениях и проведенной работе). Богатая гамма ресурсов (см. ссылки, цитированные выше) и курсов доступна для исследователей, заинтересованных в качественных методах.
Психометрические исследования
Психометрические исследования обычно связаны с измерениями и измерительными инструментами. В последние десятилетия появилось множество публикаций различных исследований в области оценки знаний, в которых почти всегда используются как измерения, так и измерительные инструменты. В этом разделе описаны два понятия, фундаментальных по отношению к измерениям: валидность и надежность. Кроме того, внимание уделяется развитию измерений, или инструментов оценки.
Валидность
Валидность — важная характеристика измерительных инструментов. Считается, что инструмент валиден, когда он действительно измеряет то, что должен измерять. При проведении оценок на высоком уровне, используемых для принятия ключевых решений о пригодности, валид-ность имеет, безусловно, определяющее значение. Выделяют разные виды валид-ности. 4 наиболее общих типа валидности — очевидная, содержательная, критериальная и конструктная валидность.
Очевидная валидность. В прошлом во многих исследованиях использовался принцип очевидной валидности, чтобы буквально показать, что именно из инструментальных измерений соответствовало содержанию того, что требовалось измерить. Тем не менее данное определение в целом не применимо к исследованиям в медицинском образовании. Редакторы журналов вряд ли примут статьи, в которых используется такое примитивное определение. Они требуют более существенных свидетельств валидности (см. далее) Тем не менее из этого правила есть
исключение. В литературе по симуляции в медицинском образовании среди исследователей общепринят термин «очевидная валидность» для указания на то, что, по мнению экспертов, модель приближена к реальной медицинской практике.
Содержательная валидность. Главным элементом содержательной валидности является формирование выборки. Например, при написании теста для студентов, который они должны пройти в конце образовательного курса, разработчикам следует удостовериться в том, что вопросы и пункты теста соответствующим образом представляют содержание курса. Для того, чтобы убедиться в содержательной валид-ности такого теста, распространенной практикой являются проведение проектного описания различных областей содержания, охватываемого курсом, и определение числа тестовых вопросов/пунктов для включения в каждый раздел.
Содержательная валидность — также важный аспект в разработке опросников для проверки определенных концепций. При создании подобных опросников, исследователю следует начать с подробного обзора теорий, лежащих в основе структуры (концепции), и в идеале найти другие опубликованные опросники. В определенной точке процесса разработки обычно очерчен круг тем и вопросов, которые охватывает тест. Можно пригласить экспертов, для того чтобы они высказали свое мнение о связи между инструментом (опросником) и предшествующей теорией, что помогает в плане содержательной валидности.
К сожалению, некоторые коллеги продолжают придерживаться более примитивных методов при разработке тестов и опросников. Важно понимать, что на самом деле сложно и проблематично разработать
тест и быть уверенным в его содержательной валидности. В исследовательской практике, разработчикам опросника часто необходимо собрать данные по теме, знания о которой ограничены. В подобных случаях лучше всего вначале провести качественное исследование, чтобы получить полную картину существующей идеи или структуры, и таким образом получить информацию о содержании. Невозможно проследить, в скольких исследованиях была достигнута содержательная валид-ность. На практике есть много работ, в которых данному виду валидности не уделяется особого внимания.
Критериальная валидность зависит от степени согласованности результатов интересующего теста или измерения и результатов, полученных при другом аналогичном тесте или оценке. К другим тестам или оценкам обращаются как к внешним критериям. Различают два типа критериальной валидности: конкурентную и прогностическую. Сначала необходимо определить прогностическую валидность и только затем критериальную. Когда необходимо определить прогностическую валидность измерения, возникает критериальная валидность. Например, случай, когда нужно установить, в какой степени отметки в средней школе прогнозируют результаты обучение в медицинских вузах. Некоторые хорошо известные примеры из медицинского образования можно найти у Swanson и соавт. (1991) и Ramsey и соавт. (1989). Когда речь идет о конкурентной ва-лидности, критерии выбираются при проведении измерений.
Конструктная валидность. Этот тип ва-лидности наиболее сложен для определения. Обычно исследователи пытаются установить корреляции между результа-
#
том, измерениями и действиями, которые предположительно связаны с определенной теорией или концепцией. Типичный пример — исследование, в котором сравнивается результат одного и того же измерения, проведенного стажерами и консультантами. Разница между их результатами интерпретируется как аргумент для обоснования конструктной валидности, так как при экспертизе на разницу в результатах влияет само проведение измерений. Тем не менее часто этот вывод слишком прост, так как существует много различий между стажерами и консультантами, которые могут повлиять на результаты измерений различным образом.
Streiner, Norman (1995) описали 3 метода, часто используемых для установления конструктной валидности: сравнение крайних групп, изучение конвергентной и дискриминативной валидности и многофакторные мультиметодные исследования. Заинтересовавшиеся могут узнать об этом больше из из статей этих авторов.
Надежность
Различают 2 типа надежности: воспроизводимость результатов теста или устойчивость результатов теста и внутренняя согласованность. Воспроизводимость результатов означает, что студент, достигший высокого балла в определенном тесте, получит такой же высокий балл при прохождении теста в дальнейшем. Внутренняя согласованность предполагает, что разделы теста или вопросы анализируют определенные темы или концепции.
Воспроизводимость результатов теста. Метод повторного тестирования (или ре-тест) и метод эквивалентных бланков широко используются для установления воспроизводимости.
При использовании метода повторного тестирования тот же тест повторяется через определенный промежуток времени. Корреляция между двумя результатами является коэффициентом воспроизводимости, который должен достигать определенного уровня (не меньше 0,5).
Если временной интервал между двумя измерениями слишком короткий, следует принять в расчет возможность эффекта обучения после первого тестирования. Если между измерениями прошло слишком много времени, коэффициент будет ниже, так как результаты теста могут зависеть от множества других факторов.
Для метода эквивалентных бланков одновременно требуется 2 различных инструмента измерения результатов. Инструменты должны быть сравнимы. Так как сложно разработать такие парные инструменты, метод используется менее широко, нежели метод повтороного тестирования.
В литературе различают 2 типа воспроизводимости: интраэкспертная и межэкспертная надежность. Когда один или более эксперт вовлечены в оценку кандидата, интраэкспертная надежность определяется ответом на вопрос: Постоянны ли во времени оценки кандидата, данные одним и тем же экспертом? Другими словами, даст ли тот же самый эксперт такую же оценку кандидату через определенное время (интраэкспертная надежность)? Вопрос, который необходимо задать в отношении межэкспертной надежности: одинаковую ли оценку дают разные эксперты одному и тому же кандидату?
Внутренняя согласованность теста или оценки зависит от степени гомогенности вопросов. Другими словами, в какой степени разные вопросы оценивают одни и те же основополагающие структуры (темы, концепции и т.д.) или принципы?Есть два пути
определения внутренней согласованности: подсчет коэффициента надежности или разделение теста на две части и подсчет коэффициента для каждой части.
Наиболее часто внутренняя согласованность рассчитывается по такому статистическому показателю, как альфа Кронбаха. Для дихотомических данных более применим коэффициент Кьюдера—Ричардсона. Следует отметить, что данные коэффициенты не являются устойчивыми характеристиками определенного инструмента. Они связаны со специфическими оценками в определенные моменты, и, таким образом, существует предпосылка для их изменения. Другой способ оценки внутренней согласованности теста — разделение его на две половины и выяснение путем вычислений, будет ли достигнут в обеих частях одинаковый результат. Это делается при помощи формулы Спирмена—Брауна.
Разработка инструмента
Процесс разработки инструмента начинается с четкого описания и определения темы для изучения и того, что и как должно быть измерено. Это требует детального анализа литературы, чтобы:
1) найти связанные с темой теоретические модели или теории, которые могут послужить фундаментом для разработки инструмента;
2) выяснить, какие исследования, связанные с изучаемой темой, уже проведены другими исследователями;
3) найти уже существующие инструменты и удостовериться в их валидности и надежности.
Для начинающих исследователей вначале будет очень полезно обсудить планы с более опытными коллегами, которые мо-
гут порекомендовать необходимую литературу, и хорошо знакомы с работами, уже проведенными другими исследователями. Наиболее распространенный совет опытных исследователей новичкам: лучше выбрать другой подход, нежели разработать новый инструмент.
После того как тема четко описана и точное определение сформулировано, и когда исследователь подумал о разработке нового инструмента, следующим шагом будет определение информационного наполнения, которое будет измеряться. В зависимости от темы есть несколько путей для определения информационного наполнения и создания плана. Например, если инструмент разработан для предоставления информации об определенной процедуре, анализ самой процедуры должен стать начальной точкой в определении основного содержания. На этой ступени может выясниться, что имеющихся знаний для определения информационного наполнения недостаточно. В таком случае можно посоветовать вначале провести качественное исследование, например, изучение фокус-группы или исследование-опрос.
Чтобы определить информационное наполнение (содержание измерений), час-то организуются встречи экспертов. В настоящее время теоретическое основание является важным принципом на этом этапе разработки инструмента. Теория может быть использована в принятии решений об информационном наполнении, так как она может предоставлять сведения о различных точках зрения, которые будут изучены исследователем во время работы с темой. После того как определено содержание, можно приступать к созданию инструмента. Разумно пригласить коллег для критической оценки инструмента, чтобы избежать много-словности, проверить формулировки и т.д.
#
Когда завершен проект инструмента, приходит время его опробовать. Важно выяснить, понимают ли пользователи вопросы и как много времени им придется потратить на завершение задания. В крупных исследовательских проектах в пилотную фазу обычно вовлекается большее число участников, чтобы впоследствии иметь возможность провести статистический анализ. После усовершенствования инструмента исходя из результатов пилотного исследования, инструмент готов к использованию.
Разработка инструмента
• Обзор литературы.
• Определение темы исследования.
• Решение об информационном наполнении (содержании).
• Создание инструмента.
• Пилотное тестирование и усовершенствование инструмента.
• Использование инструмента.
Для определения типа статистического анализа, подходящего для собранных данных, важно понять, какой тип шкалы был использован: номинальная, порядковая, интервальная или шкала отношений?
В номинальной шкале сам исследователь назначает цифру для переменной. Например: 1 = мужчина и 2 = женщина. Эти цифры не обозначают ни числового значения, ни определенного порядка Они просто служат для классификации данных. Порядковая шкала распределяет информацию в определенном порядке, но не подразумевает, что разность между метками одинакова. В интервальной шкале расстояния между ее соседними точками равны друг другу. Например, расстояние между метками 10 и 20 кг такое же, что и между
точками 40 и 50 кг. Во многих ситуациях невозможно определить точно, одинаковы ли расстояния между точками шкалы. Шкала отношений — это интервальная шкала с истинной нулевой отметкой, например, для роста или веса. На практике, исследователи часто прибегают к использованию интервальной шкалы, так как этот тип шкал позволяет провести целый ряд статистических анализов.
Экспериментальные исследования
Цель экспериментальных исследований — подтверждение чего-либо. Другими словами, они предназначены для поиска доказательств эффективности воздействия. Вопросы исследования чаще всего носят закрытый характер: «Работает ли данная процедура?» или «Эффективнее ли данная процедура, лучше ли она, нежели другая?» Для уверенности в том, что эффект связан с вмешательством, воздействием, исследователь должен контролировать множество факторов, которые могут сказаться на результате. Эти так называемые искажаю -щие факторы связаны с характеристиками исследуемой популяции, с самим воздействием (лечением) или с контекстом исследования. Исследователь посредством тщательного контроля эксперимента стремится минимизировать нежелательные эффекты искажающих факторов. Есть несколько путейдля достижения этого. Во-первых, отбор гомогенной выборки для изучения, во-вторых, стандартизация исследования и инструмента оценки и, в-третьих, наличие контрольной группы, не участвующей в процедуре вмешательства. Далее будут приведены примеры дизайна экспериментальных исследований в медицинском образовании. Тем не менее в данном ру-
ководстве даны некие общие принципы, и читателю следует обратиться к дополнительной литературе для уточнения деталей и способов статистической обработки.
Существует много различных типов экспериментальных исследований. В медицине рандомизированное контролируемое исследование (РКИ) в целом рассматривается как наилучший дизайн исследования, который превосходит все остальные дизайны в предоставлении валидного свидетельства эффекта вмешательства. РКИ исследует, может ли процедура работать при строгом контроле и в стандартизированной обстановке. Считается, что использование строгих критериев отбора испытуемых и случайное разделение на экспериментальную и контрольную группу даст уверенность в том, что искажающие факторы, связанные с индивидуальными характеристиками испытуемых, будут аналогичными в обеих группах, и единственным различием между двумя группами будет факт медицинского воздействия. Классическое РКИ сравнивает эффект медицинского воздействия с отсутствием такового (плацебо) (табл. 1). Участники случайным образом разделены на 2 группы: контрольную и экспериментальную. Первичное измерение проводится в обеих группах, затем проводится медицинское воздействие в одной группе и назначается плацебо в другой, в финале измерения повторяются в обеих группах. Затем данные изучаются на предмет различий между двумя группами в расчете на то, что эксперимент продемонстрирует изменение в группе воздействия, но не в контрольной группе.
Существует несколько сложностей в использовании дизайна классического РКИ при проведении исследований в медицинском образовании. Во-первых, в образова-
нии бессмысленно проводить сравнение между контрольной и экспериментальной группой. Например, если воздействие — это курс обучения по проведению реанимационных мероприятий, группа, в которой производится воздействие, почти обязана показать лучшие результаты при дальнейшем тестировании, нежели контрольная группа, которая не изучала данного курса. Следовательно, в медицинском образовании больший смысл приобретает сравнение нового курса с приемлемыми альтернативами, нежели сравнение с группой «без интервенции (воздействия)».
Другая проблема дизайна, представленного в табл. 1, состоит в том, что проведение первоначального тестирования может повлиять на результат как благодаря углубленному изучению тем, по которым проводится тестирование, усилению учебной мотивации, так и благодаря актуализации предыдущих знаний. Более того, если один и тот же тест используется до и после воздействия, то есть риск запоминания теста участниками. Несомненно, предварительные тесты должны применяться при изучении медицинского образования с осторожностью. Тем не менее это ставит перед исследователем дилемму: как без предварительного тестирования оценить проведенное обучение?
В-третьих, временной интервал, в течение которого проводится тестирование после «воздействия» может оказать существенное влияние на результаты во время оценки после интервенции и стать ключевым для результата. Когда результаты обучения оцениваются немедленно, они могут ошибочно восприниматься как свидетельство истинного обучения. Истинное обучение характеризуется относительно стабильным изменением способностей в связи (по отношению) с каким-либо
Таблица 1. Рандомизированное контролируемое исследование
Классическое РКИ
Рандомизация В Группа И До В И После
К Группа И До К Плацебо И После
Примечание. Здесь и в табл. 2: В - вмешательство, К - контроль, И - измерение.
Таблица 2. 4-групповое рандомизированное контролируемое исследование с последующим наблюдением
Дизайн Соломона Последующее наблюдение
Рандомизация В Группа 1 И До В Новое И После И Задержка И Перенос
К Группа 1 И До В Альтернатива И После И Задержка И Перенос
В Группа 2 В Новое И После И Задержка И Перенос
К Группа 2 В Альтернатива И После И Задержка И Перенос
#
аспектом исследования — знаниями, умениями, установками, мотивацией, эмоциями, социализацией. Для выявления стабильного изменения рекомендуется провести последующие измерения (тестирования): при помощи оценки выученного материала через какое-то время после «воздействия» и/или при помощи оценки того, могут ли участники применять недавно полученные возможности (знания) в других аналогичных заданиях или ситуациях. Другими словами, следует измерить способность переноса полученных знаний на другие ситуации (на практику).
Дизайн 4-группового РКИ, принятый для решения этих 3 проблем, изображен в табл. 2. Участники разделены на 4 группы. Для двух верхних групп проводят изначальные измерения, а для двух нижних — не проводят. В таблице также отражено, что воздействие сравнивается с подходящим альтернативным курсом и то, что планируются некоторые виды последующих измерений (тестирований).
4-групповой дизайн РКИ — идеал, которого трудно достичь на практике. Одна из достижимых альтернатив — разбить
исследование на пилотажное, в котором измеряются результаты обучения до и после воздействия, и основное — без первоначальных измерений (первоначального тестирования), но включающее последующие наблюдение и измерения.
Наконец само по себе разделение на группы сложно осуществить в условиях медицинского образования, исследователю часто приходится довольствоваться другими средствами установления (определения) групп для сравнения. Такие нерандомизированные исследования еще называют квазиэкспериментальными.
Проблема
Независимо от дизайна, РКИ или квазиэкспериментальное, экспериментальные исследования акцентируются на некоторых проблемах, которые необходимо решить до формулирования специфического вопроса исследования. Эти проблемы соответствуют 6 взаимосвязанным элементам: условия (setting), исследуемая популяция (study population), воз-
действия и условия контроля (intervention and control conditions), измерения результата (outcome measure), время измерений (time of measurement). Эти элементы можно собрать в аббревиатуру SPICOT (Haynes, 2006), и все они должны быть включены в специфический вопрос изучения в экспериментальном исследовании. Хотя часто считается, что изучаемый вопрос управляет исследованием, выделение и определение элементов SPICOT — многократный процесс моделирования в соответствии с выбранной концептуальной теоретической схемой одновременно с принятием во внимание взаимосвязи между элементами SPICOT. Корректировка одного элемента неминуемо повлияет на один или несколько других элементов. Более того, на выбор элементов SPICOT также влияют практические ограничения в контексте исследования, что неизбежно заставит исследователя совершать выбор и чем-то жертвовать. К сожалению, не существует совершенных (идеальных) экспериментальных исследований. Тем не менее, тщательное прояснение (пояснение, рассмотрение, уточнение) и описание каждого элемента и сделанного выбора — ключевой момент качественного исследования, в котором выводы основываются на результатах и которое может быть опубликовано.
Как определять элементы 8Р1СОТ
Первое и главное, что должно быть определено — воздействие и контрольные условия или альтернативное воздействие. Это сложная задача в медицинском образовании, так как воздействие, преподавание или курс обычно включает несколько элементов, причем каждый из них влияет
на обучение различными путями. Более того, в медицинском образовании нет общего согласия по поводу терминологии. Концепции проблемно-ориентированного обучения или общепринятого дидактического преподавания в разных ситуациях могут означать различные вещи. Крайне важно тщательно определить термины. Может оказаться полезным предположение о том, почему и как воздействие будет работать. В той же степени важен противоположный вопрос: почему воздействие может не работать? Эти вопросы должны быть согласованы с процессом формулирования проблемы до того, как будет проводиться настоящее исследование.
После выяснения условий воздействия и контроля следует определить или разработать валидные инструменты измерения результата и принять решение о времени проведения тестирований (измерений). Задачи данного раздела были описаны в разделах о психометрическом исследовании и проблемах в РКИ.
Наконец должна быть определена подходящая выборка для исследования. Соответствие выборки определяется качеством и количеством. Что касается количества, то число участников зависит от размера ожидаемого эффекта, чувствительности измеряющего инструмента и различий между участниками. Для оценки размера выборки может применяться расчет мощности. Читателю следует обратиться к статистической литературе для более углубленной информации по этой теме. Главное правило: чем больше ожидаемый эффект, чем выше чувствительность инструмента, чем меньше различия между испытуемыми, тем меньше требуется размер выборки, чтобы позволить выводам быть основанными на результатах. В экспериментальных исследованиях наиболее
#
распространенной практикой является определение строгих критериев отбора испытуемых для достижения максимальной гомогенности выборки. Тем не менее однородность выборки может стать угрозой для обобщения результатов и применения их на практике. Другими словами, тем самым может уменьшиться внешняя валид-ность исследования. Следующий пример иллюстрирует этот феномен. Экспериментальное изучение усовершенствованных виртуальных симуляторов обычно не проводится на выборках студентов. Подобные выборки имеют преимущество, так как они довольно гомогенны в плане предыдущего обучения и состоят из неопытных испытуемых, которые будут тренироваться на симуляторах. Тем не менее обучение и инструктаж, который проводится при исследовании среди новичков, может сильно различаться и даже быть противоположным тому, который следовало бы провести более опытным обучающимся (Wulf, Shea, 2002; Haynes, 2006). Эта опасность связана как с когнитивными, эмоциональными, так и с социальными аспектами обучения (Illeris, 2004). Другой проблемой является инструмент, который может быть приемлемым для оценки только начальных, но не последующих стадий обучения.
Наблюдательные исследования
Основой для наблюдательных исследований является прогнозирование каких-либо взаимосвязей между переменными. Эти исследования отличаются от экспериментальных в нескольких аспектах. Участники чаще представляют обычные группы, нежели сформированные выборки, хотя обычно в этих исследованиях также применяются некоторые критерии отбора.
Группы участников наблюдательных исследований не разделяются исследователем, а определяются на основании номера курса (года) обучения вузе или года поступления.
Есть несколько причин отдать предпочтение наблюдательному, а не экспериментальному подходу к исследованию. РКИ может быть неосуществимо, поскольку иногда сложно применить разные типы воздействий к экспериментальной и контрольной группам, негативное отношение к РКИ у студентов/крупных специалистов, основанное на непоколебимых и эмоциональных убеждениях о преимуществах и недостатках предполагаемого воздействия, или трудности набора участников на достаточный для исследования срок. Например, набор участников может быть проблемой в программах послевузовского медицинского образования, где количество занятий за год по одной специальности в целом ниже, чем аналогичный показатель у студентов, обучающихся в вузе. Во-вторых, эксперименты весьма полезны для демонстрации того, работает ли воздействие в тщательно отобранных группах людей в хорошо контролируемых условиях, но РКИ часто имеют низкую валид-ность, т.е. результаты не позволяют спрогнозировать, будет ли работать воздействие в менее гомогенных группах в образовательной практике. Наконец, наблюдательные исследования предпочтительны в тех случаях, когда вопрос исследования имеет долгосрочную перспективу и вместе с тем учитывает непредвиденные эффекты.
Типы наблюдательных исследований
В данном руководстве вкратце будут изложены 3 категории наблюдательных исследований: когортные исследования,
Рис. 3. Различие между когортным исследованием и исследованием типа «случай-контроль» - в направлении исследования
Когортное исследование
Исследование типа «случай-контроль»
(+)
Прогностический параметр
(-)
шъш
Критерий (стандартная переменная)
(+) | (-)
© ©
© ©
исследования типа «случай—контроль» и ассоциативные исследования. Различие между когортным исследованием и исследованием типа «случай—контроль» — в направлении исследования (рис. 3).
В когортных исследованиях изучение начинается с прогностического параметра, т.е. позиции (воздействия) или характеристики, различающейся у разных когорт, а исследование типа «случай—контроль» начинается со стандартной переменной, т.е. конечной точки, значения которой для групп различны. Исследователь «счастлив», когда большинство изучаемых субъектов соответствует гипотезе о связи между прогностическим параметром и результатом, т. е. попадает в верхний левый или нижний правый ква-
дранты рисунка. Исследователь «печален», когда субъекты попадают в верхний правый или нижний левый квадранты, так как гипотеза о связи между прогностическим параметром и результатом опровергается.
Когортные исследования
В когортных исследованиях изучение начинается с прогностического параметра, т.е. с воздействия на когорту какого-то отдельного события в образовании или специфической характеристики когорты, и выяснения того, как прогностический параметр связан со стандартной переменной (результатом). Вопрос ис-
Когортное исследование
#
Критерий (стандартная переменная)
Отчет об успеваемости Отлично а Схема
Исследование типа «случай-контроль»
Критерий (стандартная переменная)
+ Проблемно-
ориентированное
обучение
в медицинском вузе (N=108)
Прогностический параметр
- Проблемно-
ориентированное
обучение
в медицинском вузе (N=857)
Административная мера Случаи Контроль
(N=68)
24% 4%
28% 5%
+ Схема обучения
Прогностический параметр
- Схема обучения
38%
62%
(N=196)
19%
81%
Norman et al., 2008
Papadakis et al., 2004
Рис. 4. Пример когортного исследования и исследования типа «случай-контроль»
следования может быть таким: «Можно ли спрогнозировать высокую компетентность врача, если он посещал медицинский вуз, учебный план которого соответствовал проблемно-ориентированному обучению (ПОО)?» (Norman и соавт., 2008). Прогностический фактор — ПОО, а переменная — будущая компетенция, измеряемая при помощи экспертной оценки практической врачебной деятельности. Сравниваются когорты, обучаемые в вузах с ПОО и без него, и, таким образом ,прогностический фактор определяет группы. Кстати, ретроспективное ко-гортное исследование по данной теме не смогло установить подобной взаимосвязи (Norman и соавт., 2008).
В когортных исследованиях можно наблюдать группу в течение продолжительного времени и изучать результаты по предварительно определенным стан-
дартным переменным. Например, данные о результатах экзаменов до окончания обучения в медицинском вузе (прогностический параметр в данном случае, скорее, характеристика, нежели время) могут анализироваться для определения связи с данными о качестве медицинской помощи (стандартная переменная) для данной когорты, когда ее представители уже станут практическими врачами (ТатЬ1уп и соавт., 2002; СаШеих и соавт., 2011).
Исследования типа «случай—контроль»
Исследования типа «случай—кон -троль» начинаются со стандартной переменной и выявляют воздействие или характеристики участников относительно результата (группа случаев) в сравнении
Медицинское образование и профессиональное развитие №4 (14) 2013
с соответствующими им участниками из группы контроля. Таким образом, стандартная переменная определяет группы. Например, показателем могут быть дисциплинарные действия администрации медицинского учреждения, а прогностическим фактором — уровень профессионализма в вузе (Papadakis и соавт., 2004). В этом отдельном исследовании группа случаев включала врачей, по отношению к которым предпринимались дисциплинарные меры, тогда как в контрольную группу вошли те, к кому подобные меры не применялись. Группы соответствовали друг другу по вузу, году окончания и специальности. Для каждой группы анализировались и сравнивались данные о профессионализме во время обучения в медицинском вузе. В данном случае исследование установило такую связь (Papadakis и соавт., 2004).
На рис. 4 изображено когортное исследование, проведенное Norman и со-авт. и проведенное Papadakis и соавт. исследование типа «случай—контроль». В когортном исследовании не было продемонстрировано связи между учебой в вузе с ПОО и последующей отличной или сомнительной (неудовлетворительной) оценкой. Было получено одинаковое процентное соотношение субъектов, получивших отличные и неудовлетворительные оценки в каждой когорте. Исследование «случай—контроль» продемонстрировало двукратное преобладание прогностических сомнений относительно профессионального поведения в медицинском вузе в группе случаев в сравнении с группой контроля, указав на связь между прогностическим фактором и показателем, т. е. дисциплинарными воздействиями медицинского совета больницы.
Исследования «случай—контроль» и ретроспективные когортные исследования проводятся в более короткие сроки, чем проспективные когортные исследования с каким-либо периодом наблюдения. Исследования «случай—контроль» особенно удобны, когда стандартная переменная категорична (категориальная) (да/нет, присутствие/отсутствие), результат редко достигается или существует задержка во времени появления результата. Тем не менее, исследования типа «случай-контроль» считаются менее значимыми по сравнению с когортными в предоставлении (обеспечении) свидетельства причинно-следственных взаимосвязей. Тем не менее, исследование «случай—контроль» может быть хорошим началом для раскрытия связей между набором переменных и прогностических параметров, которые могут быть затем более тщательно рассмотрены в исследованиях с более строгим дизайном.
Ассоциативные исследования
В ассоциативных исследованиях сравнивать группы не обязательно. Пример — кросс-секционные исследования, в которых фиксируется мгновенное состояние определенных переменных у множества людей и устанавливается их связь (рис. 5).
Прогностическим параметром может быть клинический опыт, вычисляемый как количество лет работы, а переменной может быть качество выполнения манипуляций, измеренное при помощи теста. В теоретическом примере в левом блоке на рисунке 5 коэффициент корреляции, равный 0,86, указывает на сильную взаимосвязь. При абсолютной корреляции он был бы равен 1,00. Ассоциативные исследования могут быть противопоставлены экс-
КАДРОВОЕ РАЗВИТИЕ
а т С
Ассоциативное исследование
Исследование непохожих людей
О/ /
/о
.о
/
/о
/о
'о
О / /О
/
о
/-=0,86
Прогностический параметр (прогностическая переменная)
Экспериентальное исследование
Исследование похожих людей
✓ о ' о
В-группа
p=0,001
К-группа
8*
о о
!
1
Независимая переменная
#
Рис. 5. Различие между ассоциативными и экспериментальным исследованиями. 1-дгоир - группа вмешательства и С-дгоир - группа контроля. Независимая переменная - причина/вмешательство, зависимая переменная - эффект/результат.
периментальным исследованиям. В ассоциативных исследованиях анализируются разные участники, в них нет групп. Исследуемые переменные — предиктор и нормативная переменная. В экспериментальных исследованиях основной заботой исследователей является набор участников, максимально похожих друг на друга. Затем они распределяются на 2 группы: получающие воздействие (В-группа, группа воздействия) или выполняющие роль контрольной группы (К-группа), не получающей воздействия. В конце измеряются результаты. Переменные называются независимая (причина) и зависимая (эффект или результат).
Считается, что реальный эффект воздействия имеет место, если разница между группами демонстрируется значением
уровня значимости (p-критерия), отражающего вероятность возникновения различий.
В наблюдательных исследованиях чаще всего присутствует более одного прогностического фактора, поэтому требуются более изощренные методы анализа вклада каждого из них в результат, т.е. многомерный регрессионный анализ. Когортные исследования и исследования типа «случай—контроль» в этой связи часто сопровождаются ассоциативными анализами вариативности (Teherani и соавт., 2005; Norman и соавт., 2008; Cadieux и соавт., 2011). Это выходит за рамки данного вводного руководства, но последующие Руководства AMEE, посвященные исследованиям в медицинском образовании, будут более широко рассматривать эти исследовательские подходы.
Проблема
Проблема наблюдательных исследований в том, что исследователь не может контролировать систематическую погрешность из-за смешения переменных. Другая проблема — выбор методов для анализа и интерпретации данных (СоШуег и соавт., 2007). Вследствие этого исследователям, как только они начинают разрабатывать дизайн исследования, настоятельно рекомендуется консультироваться со специалистом по статистике. Наконец даже если в наблюдательных исследованиях был обнаружен какой-либо тип взаимосвязи, он может интерпретироваться лишь как показатель, но не явное свидетельство причинно-следственной взаимосвязи, отчасти из-за того, что многие известные и неизвестные факторы могут оказывать влияние на результат. Исследователям следует тщательно, основываясь на теоретических предпосылках, объяснять, почему ожидается взаимосвязь, и иметь в виду, что всесторонние знания об обработке и интерпретации данных — ключевое необходимое условие проведения данного типа исследования. В то же время следует отметить, что наблюдаемые взаимосвязи, хотя и не принимаются в качестве прямого доказательства, могут служить для указания в дальнейших исследованиях на потенциальные причинно-следственные связи и проведения РКИ или других контролируемых экспериментальных исследований. Наконец, тип данных для установления взаимосвязи между образовательным процессом, результатами и качеством медицинской помощи требует наличия обширных баз данных, содержащих как клинические данные, так и данные об образовании, полученном специалистами. Отсутствие таких данных вынудило обратиться к образовательным базам дан-
ных, которые в течение долгого времени проспективно собирают информацию об обучении среди многих учебных заведений с целью проведения наблюдательных исследований (Cook et al., 2010).
Прикладные исследования
Прикладное исследование — концепция, возникшая в области биомедицинских наук из-за опасений, что научные открытия не смогут быть внедрены в клиническую практику, где они могли бы принести пользу пациентам и обществу (Zerhouni, 2005). Путь от лаборатории фундаментальной науки к клинической практике долог и включает 3 основных шага. Первый — перенос открытий фундаментальной науки в клинические исследования, ориентированные на пациента. Второй — синтез знаний из эмпирических клинических исследований и клинических руководств. Эта часть также называется трансформацией знаний (Graham и соавт., 2006). Третий шаг — внедрение нового знания в клиническую практику и оценка того, работает ли оно, а также как и почему оно работает в сложных жизненных условиях, т.е. исследование эффективности. Тем не менее трансформация знаний представляет не однонаправленный (односторонний) процесс от исследования до пациента, а в данном случае все большее внимание уделяется циклической или многонаправленной взаимосвязи переноса знаний и исследований между фундаментальной и прикладной клинической наукой (Ward и соавт., 2009a; Rubio и соавт., 2010).
Прикладные исследования актуальны для медицинского образования по нескольким причинам. Во-первых, исследование может проверить, как образовательная практика помогает внедрению принципов прикладного исследования, так же как это делается в меди-
#
цине. Этого можно достичь путем включения соответствующих разделов в официальные медицинские вузовские и послевузовские учебные планы. Другая причина связана с разработкой или внедрением клинических руководств с наилучшей доказательной базой. Исследования в области непрерывного медицинского образования и профессионального развития практикующих специалистов могут внести весомый вклад, и выявить принципы поиска и усвоения новых знаний, что в конечном итоге может быть использовано для изменения профессионального поведения и практики (Slotnick, 1999; Davis и соавт., 2008). В-третьих, прикладное исследование в области медицинского образования может быть интерпретировано как исследование, выясняющее, каким образом аудиторные занятия или обучение в смоделированных условиях (искусственных условиях) переводятся в практические умения, которые в итоге приводят к улучшению показателей у пациентов (McGaghie, 2010). И наконец прикладное исследование в медицинском образовании может рассматриваться как исследование, объясняющее, как принципы фундаментальной и прикладной науки обучения и преподавания могут быть перенесены на ежедневную практику медицинского образования.
Прикладные исследования в медицинском образовании более подробно обсуждаются ниже, см.: создание знания, внедрение знания и исследование эффективности.
Создание знания (обзоры)
Исследования по созданию знания — это выявление уже имеющихся работ, или обзоров. Наиболее исчерпывающие примеры включают систематические обзоры,
практические обзоры и обзоры BEME (Best Evidence Medical Education, доказательное медицинское образование).
Как и любой другой метод исследования, систематический обзор должен соответствовать концептуальной теоретической схеме, начинаться с вопроса (-ов) исследования, использовать систематический подход к сбору данных и применять четко определенные критерии отбора испытуемых, а также систематический подход к анализу и интерпретации данных.
Для систематических обзоров характерна количественная направленность и сбор свидетельств об эффекте определенного воздействия с целью создания краткого резюме о величине эффекта. Есть довольно много систематических обзоров в области медицинского образования, опубликованных как в журналах по медицинскому образованию, так и в биомедицинских журналах. Однако количественные обзоры сложны из-за того, что в исследованиях различаются элементы SPICOT, описанные в разделе об экспериментальных исследованиях. Если не обращать внимания на различия между исследованиями, исследование может привести к сравнению работ с противоположными результатами. Например, выбор точек измерения, имеющих ключевое значение для результата. Задача принять во внимание эту проблему сложна для обозревателя, так как элементы SPICOT плохо описаны во многих экспериментальных исследованиях. Поэтому неудивительно, что многие систематические количественные анализы демонстрируют малый размер общего эффекта или неубедительны.
Тем не менее систематические обзоры бесценны для отдельно взятого исследователя, который планирует исследование определенной темы, потому что они пред-
лагают хорошее описание уже проведенных работ и массу полезных ссылок.
Проблемы систематических количественных обзоров отчасти обусловлены недостаточным вниманием к концептуальной теоретической схеме. Это - центр практических обзоров, опирающихся на количественные эмпирические доказательства, помещенные в рамки концептуальной теоретической схемы. Обзоры этого типа посвящены поиску теорий, объясняющих различия в эмпирических результатах исследований (Pawson и соавт., 2005; McGaghie, 2010; Wong и соавт., 2010).
Обзоры BEME — смесь систематических количественных и практических обзоров. Часто они концентрируются (фокусируются) на практике и дают представление о наилучших доступных доказательствах и том, насколько это полезно для практики медицинского образования. Менее исчерпывающими являются критические, описательные обзоры, которые вместо претензии на всеобъемлющее описание стараются определить суть уже проведенных исследований и выделить проблемы, которые нуждаются в дальнейшем изучении. Проведение описательного обзора типично в начале исследовательского проекта и используется для создания основы для работы и описания концептуальной теоретической схемы (Eva, 2008).
Внедрение знания
В начале раздела о прикладных исследованиях указывалось, что внедрение клинических руководств и введение медицинской практики, основанной на доказательствах, наиболее актуальные темы в биомедицине. Клинические руководства основываются на систематических обзорах и считаются ключевым инструментом для внедрения зна-
ний в медицине. Соответствующие понятия в медицинском образовании не столь просты, как кажется, отчасти из-за отсутствия руководств, базирующихся на принципах доказательности, а отчасти вследствие того, что многие деятели в области обучения далеки от знания современных работ по медицинскому образованию. Руководство АМЕЕ отражает прагматичную точку зрения и побуждает к критическим размышлениям и рефлексии, давая практические советы и поддержку. Кто-то может сказать, что они скорее не основаны на доказательствах, а включают доказательства. Обзоры BEME более соответствуют формату клинических руководств. Тем не менее сложность медицинского образования и взаимодействие множества факторов (рис. 1) предполагает, что фактически невозможно создать общее руководство, соответствующее любой контекстной (условной) обстановке, с предоставлением огромного спектра вариантов локальных (частных) характеристик, возможностей и ограничений (Regehr, 2010).
Многие деятели в области образования испытывают разочарование по поводу превалирования традиционных моделей преподавания в их учреждениях и много трудятся для внедрения и установления инновационных образовательных практик. Одним из способов распространения знаний о доказательном медицинском образовании может стать проведение специальных курсов, мастер-классов и семинаров. Это — широко распространенная стратегия, но несмотря на существующие свидетельства положительного эффекта курсов и инициатив по профессиональному развитию профессорско-преподавательского состава, мало сведений о том, почему и как эта стратегия работает и почему она работает не во всех случаях. (Mann, 2004; Steinert и соавт., 2006; Steinert и соавт., 2009). Другой путь, способствую-
#
щий переменам, — присоединиться к организаторам и тем, кто заинтересован в разработке руководств больше, чем в распространении директивного подхода в образовании (Grol, Grimshaw, 2003). Вовлечение в процесс новых заинтересованных лиц — один из недавно утвержденных показателей качества при разработке и внедрении клинических руководств (Brouwers и соавт., 2010). Значительная часть таких показателей может использоваться в разработке руководств по медицинскому образованию. Кроме того, подготовка теоретической концептуальной схемы, связанной с распространением знания, также применима к прикладным исследованиям (Estabrooks и соавт., 2006; Ward и соавт., 2009a). Наконец внедрение образовательных инноваций в проект исследования может стать другой многообещающей стратегией в медицинском мире (Grant, Gale, 1989). Причина этого — открытость, о которой сигнализирует вопрос исследования, и вовлечение заинтересованных лиц в новые инициативы. Об этой проблеме будет сказано больше в следующем разделе.
Исследование эффективности
В то время как экспериментальные исследования посвящены вопросам, работают ли медицинские воздействия в контролируемых условиях, исследования эффективности ищут ответы на вопросы, что, как и для кого работает в условиях реальной жизни. В биомедицине появляется все больше сведений о множестве факторов влияющих на внедрение знаний фундаментальной науки в практику, а также о необходимости подхода к оценке воздействия с различных позиций (Craig и соавт., 2008; Ward и соавт., 2009b). Эти феномены относятся к области иссле-
дований эффективности, которая более сфокусирована на изучении комплексных вмешательств, нежели простых или однотипных воздействий. Сложность связана со множеством компонентов и гибкостью воздействия, различными поведенческими реакциями, требуемыми от пользователей, количеством групп или организационных уровней, вовлеченных и изменяющих результаты (Craig и соавт., 2008). Обычно исследования эффективности очень практичны в перспективе, ищут ответы на вопросы, значимые для ключевых заинтересованных лиц и релевантны в плане принятия решений (Tunis и соавт., 2010). Эти исследования включают множество результатов и измерений, позволяющих оценить воздействие на людей, системы и организации, включая экономическую эффективность. В медицинском образовании концепция многоуровневой оценки эффектов, т.е. на уровне реакции, обучения, поведения и организации, широко известна как модель Киркпатрика (Kirkpatrick, 1998). Тем не менее новая тенденция в исследованиях эффективности — расширение перспектив исследований от простой оценки к аспектам разработки, возможности и внедрения. Разработка включает определение доказательств, основополагающую теорию, моделирование процессов и изучение результатов. Возможности включают пилотные исследования, подбор (и удержание) кадров, определение величины эффекта основного крупного исследования. Внедрение включает распространение, надзор, проверку и долговременное наблюдение. Проведение 4 частей исследования эффективности: разработка, осуществимость, внедрение и оценка, — является скорее повторяющимся процессом «вопрос—ответ», нежели устойчивой моделью (Craig и соавт., 2008). Детали этой
схемы можно найти на веб-сайте Совета по медицинским исследованиям -^^гетгс. ac.uk/complexinterventionsguidance.
Разработка и оценка комплексных вмешательств в медицинском образовании могли бы быть похожи на таковые в биомедицине, но во многих областях неминуемо несоответствие исследовательских подходов рекомендациям Совета по медицинским исследованиям. Однако рекомендуемые принципы и точность касаются и медицинского образования, а такие области, как, например, экономическая эффективность, заслуживают большего внимания при изучении медицинского образования. Некоторые концепции исследований эффективности аналогичны таковым в исследованиях с разработанным дизайном, где ключевыми компонентами являются «дизайн, утверждение, внедрение и оценка». Оба эти типа исследований могут быть довольно содержательными в своей области. Эти подходы похожи вовлечением в исследование множества площадок (баз), подразумевающим участие большого числа людей в работе. Часть результатов помогает понять, что, как и для кого работает или не работает (и почему), и может быть опубликовано в отдельных изданиях. Как было сказано ранее во введении к этому руководству, концептуальная теоретическая схема, вопросы исследования и строгость в подходе — вот характеристики, отличающие исследование эффективности от простой оценки, аттестации или проверки. Однако до сих пор в литературе встречается больше рекомендаций по планированию исследований эффективности, нежели актуальных результатов таких исследований.
Заключительные замечания
Данное руководство АМЕЕ должно было послужить введением в исследовательскую деятельность в медицинском образовании. Кроме выделения неких базовых принципов, оно представляет обзор разнообразных исследовательских подходов. После прочтения данной статьи не должно оставаться впечатления, что теоретическое и прикладное исследования — противоположные полюса. Скорее их следует рассматривать как переплетающиеся и взаимозависимые единицы, способствующие достижению поставленной цели расширения знаний и понимания медицинского образования. Будущие руководства АМЕЕ более детально раскроют различные подходы к исследованиям.
Сведения об авторах:
Charlotte Ringsted, MD, MHPE, PhD, профессор в области медицинского образования и директор Центра клинического образования, Университет Копенгагена, факультет валеологии и столичного региона Дании.
Brian Hodges, MD, PhD, профессор, ученый и руководитель центра Wilson исследований в образовании, Университет Торонто, медицинский факультет, заместитель председателя в области образования, сеть университетского здравоохранения, Канада.
Albert Scherpbier, MD, PhD, профессор в области медицинского образования, научный руководитель Института образования, факультет здоровья, медицины и жизни и заместитель декана Университета Maastricht, Нидерланды.
Список литературы опубликован на сайте www.medobr.ru
