Методическое руководство Beme № 4: эффективное обучение с использованием высокореалистичных медицинских симуляторов: систематизированный обзор, выполненный экспертами движения Beme Текст научной статьи по специальности «Науки о здоровье»

С.Б. Айзенберг, У.С. МакГэги, Э.Р. Петруса, Д.Л. Гордон, Р.Ж. Скалезе

Методическое руководство ВЕМЕ № 4: Эффективное обучение с использованием высокореалистичных медицинских симуляторов: систематизированный обзор, выполненный экспертами движения ВЕМЕ

(Обзор публикаций за период от 1969 до 2003 гг., 34 года)

#

S.B. Issenberg, W.C. McGaghie, E.R. Petrusa, D.L. Gordon, R.J. Scalese (Review Date: 1969 to 2003, 34 years)

BEME Guide N 4: Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review

Background and Context: Simulations are now in

widespread use in medical education and medical personnel evaluation. Outcomes research on the use and effectiveness of simulation technology in medical education is scattered, inconsistent, and varies widely in methodological rigor and substantive focus.

Objectives: Review and synthesize existing evidence in educational science that addresses the question, "What are the features and uses of high-fidelity medical simulations that lead to most effective learning?"

Search Strategy: The search covered five literature databases (ERIC, MEDLINE, PsyclNFO, Web of Science, and Timelit) and employed 91 single search terms and concepts and their Boolean combinations. Hand searching, Internet searches, and attention to the "grey literature" were also used. The aim was to

perform the most thorough literature search possible of peer reviewed publications and reports in the unpublished literature that have been judged for academic quality.

Inclusion and Exclusion Criteria: Four screening criteria were used to reduce the initial pool of 670 journal articles to a focused set of 109 studies: (a) elimination of review articles in favor of empirical studies; (b) use of a simulator as an educational assessment or intervention with learner outcomes measured quantitatively; (c) comparative research, either experimental or quasi-experimental and (d) research that involves simulation as an educational intervention.

Data Extraction: Data were extracted systematically from the 109 eligible journal articles by independent coders. Each coder used a standardized data extraction protocol.

Data Synthesis: Qualitative data synthesis and tabular presentation of research methods and outcomes

Состояние проблемы. В настоящее время симуляторы широко используются как в базовом медицинском образовании, так и для обучения и оценки компетенций медицинских специалистов. Результаты исследований, посвященных особенностям использования и эффективности симуляционных технологий в медицинском образовании, разрозненны, не стандартизированы и сильно отличаются как по используемым методам, так и по основным исследуемым показателям. Цели исследования. Рассмотреть и обобщить опубликованные результаты педагогических исследований, чтобы ответить на вопрос: «Какие свойства/особенности высокореалистичных медицинских симуляторов обеспечивают наиболее эффективное обучение?». Стратегия поиска данных. Поиск проводился в 5 базах данных медицинской литературы (Eric, MEDLINE, PsycINFO, Web of Science и Timelit). Для поискового запроса использовался 91 термин или понятие и их логические комбинации. Применялись поисковые интернет-сайты и ручной поиск в каталогах; особое внимание уделялось так называемой «серой» литературе (некоммерческим изданиям). Основная цель — провести тщательнейший поиск доступных рецензированных материалов и сообщений в неопубликованной литературе, которые соответствовали бы академическим критериям качества публикаций. Критерии включения и исключения. На начальном этапе было выбрано 670 журнальных статей. Затем из них целенаправленно отобрали 109 публикаций на основании 4 критериев: (а) исключались обзорные статьи, предпочтение отдавалось эмпирическим исследованиям; (б) использование симулятора в качестве инструмента обучения или тестирования с количественной оценкой итоговых результатов; (в) сравнительные исследования, экспериментальные или квазиэкспериментальные; (г) исследования эффективности использования симуляторов только в качестве учебного инструмента. Извлечение данных. Из подходящих журнальных статей данные систематизировано извлекались 109 независимыми специалистами по кодированию. Каждый специалист по кодированию пользовался стандартным протоколом извлечения данных.

Обобщение данных. Использовались синтез качественных данных, табличное представление методов и результатов исследования. Обобщению данных при помощи метаанализа препятствовали такие факторы, как неоднородность схем исследования, виды образовательных меро-

were used. Heterogeneity of research designs, educational interventions, outcome measures, and timeframe precluded data synthesis using meta-analysis.

Headline Results: Coding accuracy for features of the journal articles is high. The extant quality of the published research is generally weak. The weight of the best available evidence suggests that high-fidelity medical simulations facilitate learning under the right conditions. These include the following: Providing feedback — Fifty-one (47%) of journal articles reported that educational feedback is the most important feature of simulation-based medical education

Repetitive practice — Forty-three (39%) of journal articles identified repetitive practice as a key feature involving the use of high fidelity simulations in medical education.

Curriculum integration — Twenty-seven (25%) of journal articles cited integration of simulation-based exercises into the standard medical school or postgraduate educational curriculum as an essential feature of their effective use. Range of difficulty level — Fifteen (14%) of journal articles address the importance of the range of task difficulty level as an important variable in simulation based medical education. Multiple learning strategies — Eleven (10%) of journal articles identified the adaptability of high-fidelity simulations to multiple learning strategies as an important factor in their educational effectiveness. Capture clinical variation — Eleven (10%) of journal articles cited simulators that capture a wide variety of clinical conditions as more useful than those with a narrow range.

Controlled environment — Ten (9%) of journal articles emphasized the importance of using high-fidelity simulations in a controlled environment where learners can make, detect and correct errors without adverse consequences.

Individualized learning — Ten (9%) of journal articles highlighted the importance of having reproducible, standardized, educational experiences where learners are active participants, not passive bystanders.

Defined outcomes — Seven (6%) of journal articles cited the importance of having clearly stated goals with tangible outcome measures that will more likely lead to learners' mastering skills. .Simulator validity — Four (3%) of journal articles provided evidence for the direct correlation of simulation validity with effective learning. Conclusions: While research in this field needs improvement in terms of rigor and quality, high-fidelity medical simulations are educationally effective and simulation-based education complements medical education in patient care settings

Key words

• medical

• simulation

• high-fidelity

• learning

приятии в исследованиях, полученных результатов, различное время (различные сроки) при использовании метода метаанализа Ключевые результаты. Основные выводы журнальных статей кодировались с достаточной точностью, хотя доступные опубликованные исследования, как правило, не отличались высоким качеством. Получены убедительные доказательства того, что медицинские симуляторы с высокой степенью реалистичности облегчают процесс обучения при соблюдении определенных условий. К ним относятся: Наличие обратной связи — в 51 (47%) статье сообщалось, что обучающая обратная связь является наиболее важной особенностью медицинского образования с использованием симуляторов. Повторные упражнения — в 43 (39%) журнальных статьях отмечалось, что повторная практика является ключевой особенностью симулято-ров с высокой степенью реалистичности, используемых в медицинском образовании.

Интеграция в учебную программу — в 27 (25%) журнальных статьях указывалось, что важнейшим условием эффективного использования тренировок на симуляторе является их оптимальная интеграция в стандартную учебную программу медицинского вуза или последипломного обучения.

Диапазон уровней сложности — в 15 (14%) журнальных статьях отмечалось, что важным фактором учебной эффективности медицинского образования с использованием симуляторов является оптимальный диапазон сложности заданий.

Разнообразные образовательные стратегии — в 11 (10%) журнальных статьях указывалось, что важным фактором учебной эффективности симуляторов с высокой степенью реалистичности является возможность их адаптации к различным образовательным стратегиям. Охват клинических ситуаций — в 11 (10%) журнальных статьях отмечалось, что симуляторы, характеризующиеся широким охватом различных ситуаций, более удобны по сравнению с тренажерами с узким клиническим диапазоном.

Контролируемые условия — в 10 (9%) журнальных статьях подчеркивалась важность использования симуляторов с высокой степенью реалистичности в контролируемой среде, в условиях которой учащиеся могут совершать, выявлять и исправлять ошибки без нежелательных последствий.

Индивидуализированное обучение — в 10 (9%) журнальных статьях отмечалась важность активного участия учащихся (в отличие от пассивного наблюдения) в получении воспроизводимого и стандартизованного учебного опыта.

Четко определенные результаты — в 7 (6%) журнальных статьях отмечалась важность постановки четких целей с поддающимися оценке результатами обучения, что существенно повышает эффективность освоения различных навыков.

Реалистичность симулятора — в 4 (3%) журнальных статьях приводились доказательства непосредственной взаимосвязи между реалистичностью симуляции и эффективностью обучения. Выводы. В то время как исследования в этой области нуждаются в качественном улучшении, особенно с точки зрения стандартизации и качества результатов, симуляторы с высокой степенью реалистичности доказали свою эффективность, тренажеры успешно дополняют различные образовательные технологии в медицинских учреждениях.

Ключевые слова

• медицинский

• симуляция

• высокореалистичный

• обучение

Ссылка для цитирования: Issenberg S.B., McGaghie W.C., Petrusa E.R., Gordon D.L., Scalese R.J. Features and uses oof high-fidelity medical simulations that lead to effective learning: a BEME systematic review//Medical Teacher. - 2005. - Vol. 27, N1. - P. 10-28.

#

Симуляционные технологии в профессиональном образовании

В настоящее время симуляции широко используются как в базовом медицинском образовании, так и при обучении и оценке компетенций персонала(аттестации специалистов, кадровых сотрудников). Использование симуляции подразумевает не только симуляционное оборудование, но и квалифицированный персонал, а также использование экранных симуляторов и виртуальной реальности, различных социальных ситуаций, которые имитируют типичные задачи, события или условия, возникающие в повседневной профессиональной практике. По степени реалистичности симуляции варьируют от наиболее совершенных виртуальных моделей кабины воздушного судна для подготовки пилотов или космонавтов до простейших мешков с песком, используемых для тренировки боксеров-олимпийцев [49]. Вот несколько примеров [38]: • В апреле 1997 г. экс-президент США Джордж Буш добровольно в безопасных условиях прыгнул с парашютом из самолета, пролетавшего над ари-зонской пустыней на высоте 3800 м. Это в точности повторяло реальный эпизод, произошедший 50 лет назад, когда во время Второй мировой войны пилот ВМС Буш был вынужден срочно покидать самолет, поскольку его торпедоносец был сбит. Комментируя повторный прыжок, 70-летний Буш заявил: «Я как заново родился. Иду домой очень воодушевленный» [51]. Это событие не было случайным. В 1997 г. Буш прошел обучение с использованием тренажера, имитирующего виртуальный прыжок с парашютом. Данный симулятор был раз-

работан для тренировок пожарных, парашютирующихся для борьбы с лесными пожарами [3].

• В Мичиганском университете студенты-медики учатся проводить консультации о прекращения курения с инструкторами, симулирующими типичных пациентов (СП). Инструкторы изображают здоровых, но постоянно курящих, пациентов. СП предоставляют студентам подробную обратную связь о сути и стиле состоявшегося разговора про прекращение курения, а также строго оценивают результативность учащихся [20].

• Центры аттестации персонала широко используются как в бизнесе, так и в промышленности, чтобы обучать или тестировать менеджеров и высшее руководство предприятия. Тем не менее Спенсер и Спенсер [52] опубликовали информацию о том, что один из Центров оценки (аттестации) персонала использовался для тестирования способности сотрудников разведки противостоять стрессовым нагрузкам в опасных ситуациях.

«...В одном хорошо известном Центре оценки (аттестации) персонала, в котором отбирали разведчиков для работы в тылу врага, кандидатов запирали в небольшой комнате с одной лампочкой без плафона. Затем под дверь подсовывали записку, в которой сообщалось, что их обнаружили ночью в штабе противника за фотографированием секретных документов. Через несколько минут дверь выламывали мужчины, одетые в форму вражеских солдат, которые затем начинали грубо допрашивать испытуемых. Это пример заданий для тестирования навыков самоконтроля и способности к убеждению в условиях чрезмерного стресса (с. 251)».

Что такое симуляция? Есть ли у этого термина общепринятое определение? Как указывается в других источниках [38]: «В широком понимании, простыми словами симуляция — это человек, устройство или набор условий, которые пытаются достоверно представить ситуация для (обучения и/или) оценки выполнения какой-либо задачи. Студент или стажер обязаны реагировать на задания в той манере, которая соответствует их поведению в обычных условиях. Зачастую учащийся получает обратную связь о результатах своих действий в таком же формате, как и в реальной ситуации. Симуляционные процедуры оценки и для обучения имеют ряд общих характеристик:

• Учащиеся видят условия задания, подсказки и последствия принятия решений в формате, максимально приближенном к реальным условиям.

• Учащиеся могут оказаться в сложной ситуации.

• Учащиеся действуют таким же образом, как и в реальных условиях.

• В настоящее время реалистичность (точность дублирования реальности) симуляции не может претендовать на полное сходство с моделируемой реальностью. И причины здесь очевидны: стоимость, пределы инженерных технологий, избегание возможных опасностей, этические принципы, психометрические требования и ограничения по времени.

• Симуляции могут иметь разные формы. Они могут быть статическими как в анатомической модели. При помощи современнных компьютерных технологий симуляции можно автоматизировать. Некоторые симуляции предназначены для персонального обучения при решении индивидуальных задач,

в то время как другие являются интерактивными, требующими участия различных групп людей. Симуляции могут быть в игровой форме или чрезвычайно серьезными. В подразделениях для тестирования персонала симуляции могут использоваться могут использоваться на различных ступенях обучения и повышения квалификации Вышеупомянутое определение си-муляционных заданий практически во всех отношениях согласуется с формулировкой Торнтон и Мюллер-Хансон [54], которую они приводят в своей книге «Developing Organizational Simulations: A Guide for Practitioners and Students» и обращают особое внимание на важность привлечения «...хорошо подготовленных экспертов, наблюдающих за поведением, классифицирующих решения учащихся в соответствии с принятыми критериями оценки и формулирующих итоговые заключения об уровне мастерства отдельных участников по каждому оценивающемуся показателю». Результаты других исследований продемонстрировали, что опора на подготовленных экспертов, наблюдающих за учебным процессом и оценивающих результаты обучения на основе рейтинговых оценок, является потенциальным источником для появления разных предвзятых оценок [56]. Оценка компетенции в ходе симуляционного тестирования, основанная на решениях и действиях учащихся, а не на рейтингах наблюдающих экспертов, позволяет получить высоконадежные и достоверные данные о результатах обучения [28, 42, 46, 50].

Симуляционные технологии уже давно используются в самых различных областях знаний и профессиях. Например, тренажеры для летчиков и космонавтов, военные игры и учения для военных специалистов,

#

управленческие игры для руководителей корпораций, технические тренинги для персонала атомных электростанций (АЭС, [27, 38]. Появляется все больше доказательств, что в указанных областях симуля-ционные технологии являются безопасным и эффективным инструментом обучения или тестирования специалистов [53].

Симуляции в медицинском образовании

За последние два десятилетия роль си-муляционных технологий в медицинском образовании существенно возросла, что ускорило обучение и позволило увеличить объем знаний учащихся, предоставило управляемую и безопасную альтернативу реальным практическим занятиям, а также позволило управлять приобретением новых клинических умений и навыков [21, 22, 30]. Интеллектуальное и техническое усовершенствование симуляцион-ных методик основано на типологии (т.е. на базовой структуре), которая упорядочивает и организует все множество их компонентов.

Впервые типология симуляторов, использующихся в медицинском образовании, была опубликована Меллером [40]. (Данный термин отличается от более широкого понятия «симуляция», представленного выше.) Типология Меллера позволяет классифицировать различные элементы медицинских тренажеров. По его мнению: «Имеются следующие элементы:

Р1 = пациент и/или заболевание;

Р2 = процедура, диагностический тест или используемое оборудование;

Р3 = врач или медработник со средним специальным образованием;

Р4 = профессор или практикующий эксперт;

р = пассивный элемент; а = активный элемент; г = интерактивный элемент». Меллер продолжает: «Каждый элемент симулятора может быть пассивным, активным или интерактивным. Пассивный элемент, как правило, предназначен для повышения реализма симулятора. В процессе симуляции активные элементы изменяются по запрограммированному алгоритму. Эти элементы улучшают качество симуляции и могут использоваться для провоцирования ответных действий учащегося. Интерактивные элементы реагируют на действия учащегося или на какие-либо изменения других компонентов тренажера. Любой имитируемый элемент может быть заменен реальным аналогом. В большинстве симуляций элементом Р3 является реальное лицо (как правило, учащийся). Наличие 4 типов элементов «Р» позволяют разработчику (тренажера) заранее оценить, насколько реалистичной должна быть симуляция, чтобы полноценно реализовать учебные задачи» (с. 194).

В настоящее время в медицинском образовании применяются различные формы симуляционных технологий, и их количество продолжает расти. Симуляции становятся неотъемлемой частью медицинского образования на всех его уровнях [22, 30]. По крайней мере, 5 факторов способствуют увеличению использования симуляций в медицинском образовании:

1) проблемы клинического обучения;

2) новые технологии для диагностики и лечения заболеваний; 3) оценка профессиональной компетентности; 4) медицинские ошибки, безопасность пациентов и командное обучение; 5) роль осмысленной учебной практики.

Проблемы клинического обучения

Изменения в оказании медицинской помощи привели к крупным сдвигам в методах медицинского образования. Например, в Соединенных Штатах, под давлением менеджмента медицинской помощи существенно изменлись формат и частота госпитализаций, в результате чего возросла доля больных с острыми заболеваниями и сократились сроки пребывания в стационарах. Это привело к тому, что у студентов-медиков сузились возможности для обследования пациентов с широким спектром заболеваний и различными физикальными симптомами. Несмотря на увеличение экономической эффективности амбулаторной помощи, сокращение размера денежных компенсаций для врачей и снижение финансирования существенно ограничивают то время, которое врач может потратить на обучение в клинической среде. Поэтому врачам на всех уровнях образования все сложнее оттачивать те навыки и умения, которые требуются в повседневной практике.

Эти проблемы непосредственно влияют на качество клинической профессиональной подготовки, например, при обучении навыкам осмотра кардиологических пациентов. Несмотря на имеющиеся убедительные доказательства того, что тщательное клиническое обследование пациентов с сердечными симптомами является экономически эффективным диагностическим мероприятием [48], непосредственное обучение у постели больного проводится все реже и реже. В результате у врачей снижается качество навыков физикального осмотра, что сокращает возможности для оказания высококачественной и экономически выгодной медицинской помощи. Об угрозе утраты

клинического мышления свидетельствуют результаты другого исследования, продемонстрировавшие, что семейные врачи испытывают определенные трудности при выявлении типичных сердечных симптомов. Результаты данного исследования подчеркивают необходимость разработки структурированных вспомогательных стратегий для улучшения клинического обучения, включая и применение симуляторов [36].

Новые технологии для диагностики и лечения заболеваний

Появление новых медицинских технологий произвело революцию в диагностике, лечении и уходе за пациентами. За последние 30 лет мы стали свидетелями развития гибкой ректороманоскопии и бронхоскопии; минимально инвазивной хирургии, включая лапароскопию; хирургической робототехники. Основные преимущества этих инновационных методов включают: а) уменьшение послеоперационной боли, б) укорочение сроков госпитализации и раннее возвращение к нормальной деятельности и в) значительную экономию средств.

Тем не менее психомоторные и перцептивные навыки, необходимые для освоения новых технологий, отличаются от традиционных. Результаты исследований свидетельствуют о том, что на начальном этапе внедрения этих инновационных методик может чаще наблюдаться развитие осложнений по сравнению с традиционными подходами [14]. Новые технологии создали препятствие для традиционных методик обучения, которые основаны на практическом опыте. Например, при выполнении эндоскопии требуется управлять своими

действиями в трехмерной среде, смотря на двумерный экран; при этом оператор компенсирует утрату бинокулярных маркеров глубины, ориентируясь на другие визуальные подсказки. Симуляционная технология начала внедряться в качестве инструмента подготовки и тестирования специалистов в этих новых лечебно-диагностических методах. Результаты недавнего опроса руководителей учебных программ подчеркнули важное значение виртуальной реальности и компьютерных симуляций в рамках клинического образования [24].

Оценка профессиональной компетентности

ставление) — удерживание в памяти фактов, принципов и теорий; б) знает как (компетентность) — способность решать задачи и описывать процедуры; в) показывает как (исполнение) — демонстрирование навыков в контролируемых условиях; г) выполняет (действие) — профессиональное поведение в повседневной реальной практике.

Симуляционная технология все чаще используется для оценивания первых трех уровней обучения, так как позволяет а) программировать и выбирать индивидуальные задания, условия и учебные сценарии; б) проводить стандартизированное обучение всех учащихся и в) организовать итоговое тестирование с надежными результатами оценки [29].

#

Эксперты Аккредитационного совета по последипломному медицинскому образованию определили 6 областей клинических медицинских компетенций [2]. Их перечень составлялся исходя из того, что профессиональная компетентность должна определяться и оцениваться комплексно, включая все основные разделы медицинских знаний. Вот эти 6 областей:

1. Оказание медицинской помощи пациентам.

2. Медицинские знания.

3. Обучение и развитие, основанное на практике.

4. Навыки межличностных отношений и коммуникативные навыки.

5. Профессионализм.

6. Системный аспект практической деятельности (с учетом системы здравоохранения всей страны).

Ранее для каждой области клинических знаний [41] предложил универсальную базовую структуру, в соответствии с которой студент-медик должен оцениваться по четырем уровням (см. рис. 1): а) знает (пред-

Медицинские ошибки, безопасность пациентов и командное обучение

Недавние исследования и доклады, например, публикация Института медицины США (U.S. Institute of Medicine) «Ошибаться — в природе человека» (To Err i Human, [34]), а также последующее эмпирическое исследование, результаты которого опубликованы в журнале «Journal of the American Médical Association» [59], заставляют обратить пристальное внимание на риски, связанные с системами здравоохранения по всему миру [4, 9]. Эти доклады подчеркнули нарастающую напряженность между необходимостью надзора и стремлениями к улучшению, между потребностями отдельных пациентов и общественной выгодой, между финансовыми показателями и безопасностью пациентов.

Большинство медицинских ошибок связаны с системными проблемами здравоохранения, а не с просчетами отдельных лиц [7]. Традиционно медицинское обуче-

ние было сосредоточено на индивидуальной подготовке специалистов оказанию помощи отдельным пациентам. Медицинское образование пренебрегало важностью командной работы и игнорировало необходимость разработки безопасных систем [26]. Знания, умения, навыки и отношение к работе, необходимые для безопасной практики, не преподаются комплексно и не являются неотъемлемой частью медицинского образования. На протяжении более 20 лет в таких немедицинских отраслях, как коммерческая авиация, космонавтика и военное дело, уделялось должное внимание командному (групповому) обучению специалистов, чтобы максимально снизить вероятность развития чрезвычайных ситуаций [8]. Кроме того, в докладе Института медицины США утверждается, что «...медицинские организации должны разработать программы командного обучения сотрудников отделений интенсивной терапии и реанимации, а также специалистов, оказывающих неотложную медицинскую помощь в отделениях интенсивной терапии. используя такие проверенные инструменты, как методики управления командными ресурсами, используемые в авиации, в том числе при помощи симуляции» [34].

Осмысленная практика

Результаты научно-методических исследований продемонстрировали, что приобретение знаний в клинической медицине и других областях (например, профессиональном спорте, авиации, шахматах, музыке, академической деятельности) регулируется простым набором принципов [17—19]. Эти принципы касаются вовлечения обучаемого в процесс осмысленного

Рис. 1. Базовая структура Миллера для оценки клинических знаний, навыков и умений. Приводится с разрешением издательства Academic Medicine

достижения желаемых результатов обучения. Осмысленная практика включает повторное выполнение целевых познавательных или психомоторных навыков в отдельной узкой области в сочетании с их строгой оценкой, предоставляющей учащимся конкретную, информативную обратную связь, которая позволяет неуклонно улучшать навыки в контролируемых условиях. Результаты научных исследований, касающихся приобретения профессиональных знаний, неизменно демонстрируют важность интенсивной осмысленной практики в определенной области, в отличие от так называемых врожденных способностей (например, оценки интеллекта), для приобретения, демонстрации и поддержания безупречного мастерства [16].

Результаты недавно опубликованного когортного исследования, проводившегося в 5 академических медицинских центрах (Duke, Emory, Miami, Mt. Sinai, Northwestern) проиллюстрировали эффек-

#

тивность методики осмысленной учебной практики и в рамках медицинского образования [31]. Медицинские студенты 4-го года обучения, выбравшие 4-недельной факультативный курс кардиологии, готовились либо по 2-недельной мультимедийной учебной программе с последующими 2 неделями палатной практики, либо по традиционной 4-недельной программе палатной работы (т.е. клинические обходы, осмотр пациентов и т.д.). На мультимедийных занятиях студенты принимали участие в осмысленной практике по усвоению навыков осмотра кардиологических пациентов, используя 10 компьютерных учебных модулей, связанных с симулятором кардиологического пациента «Harvey (Харви)» [30]. Обе группы студентов проходили объективное мультимедийное компьютерное предварительное тестирование и итоговый тест, специально разработанные для надежной оценки полученных навыков осмотра кардиологических пациентов [28]. Результаты исследования продемонстрировали, что по истечении 2 нед осмысленной учебной практики исполнительские показатели в экспериментальной группе увеличились с 47 до 80%, а в группе сравнения аналогичные показатели возросли лишь с 41 до 46% после 4 нед клинической работы с пациентами, причем во 2-й группе студенты контактировали с большим количеством больных, чем в экспериментальной группе. Студенты-медики в экспериментальной группе, обучавшиеся в соответствии с принципами осмысленной практики, без помощи преподавателя или с его минимальным участием освоили примерно в 2 раза быстрее и в 2 раза больше ключевых навыков, чем студенты в контрольной группе. Это исследование повторили с участием врачей-стажеров и получили практически идентичные результаты [29].

В другом рандомизированном исследовании внедрения осмысленной практики у врачей-стажеров оценивалось приобретение специальных навыков по стимулированию сердечной деятельности с помощью высокореалистичного симулятора человека). В роли контрольной группы выступали врачи из списка ожидания указанного курса. Результаты объективной оценки продемонстрировали, что стажеры, прошедшие дополнительное обучение, владеют клиническими навыками на 38% лучше, чем врачи в контрольной группе. После было проведено обучение контрольной группы с помощью метода осмысленной практики, Стажеры из этой группы превзошли по клинической результативности врачей из 1-й экспериментальной группы [55]. Осмысленная практика, а не просто клинический опыт и затраченное на учебу время, является ключевым фактором развития медицинской компетентности.

Качество исследований в области медицинского образования

Параллельно с расширением использования симуляционных технологий в медицинском образовании нарастает потребность в повышении качества научных исследований. Такие призывы звучат с разных сторон. Одна из которых — редакторы влиятельных медицинских журналов. Например, Стивен Лурье (Stephen J. Lurie), бывший главный редактор «Journal of the American Médical Association» («Журнала Американской медицинской ассоциации»), недавно опубликовал эссе под названием «Повышение качества исследований в области медицинского образования [35]. Лурье перечисляет многие

недостатки исследований медицинского образования и призывает к разработке общепринятой системы показателей качества, повышению стандартизации образовательных мероприятий, лучшему методическому (функциональному) определению различных переменных, и, по сути, к более строгому подходу к количественным показателям. Призыву Лурье вторит Джерри А. Колливер [12], редактор «Teaching and Learning in Medicine: An International Journal» («Преподавание и обучение в медицине: международный журнал»).

За повышение качества научных исследований медицинского образования выступает и Объединенный совет экспертов [32] журнала «Academic Medicine» («Академическая медицина») и Рабочей группы GEA-RIME (Group on Educational Affairs — Research in Medical Education, Группа по образовательным вопросам и научным исследованиям в медицинском образовании) Ассоциации американских медицинских колледжей. Отчет этого Объединенного совета экспертов, озаглавленный «Обзор критериев для оценки научно-исследовательских рукописей», предоставляет подробные технические предложения о том, как улучшить научные исследования в области медицинского образования и, как следствие, научные публикации.

Третий источник находится в пределах самого научно-исследовательского сообщества. Для примера, группа исследователей под эгидой Campbell Collaboration (международная некоммерческая организация Кэмпбелловское сотрудничество) недавно попытались выполнить систематизированный обзор научных данных об эффективности проблемно-ориентированного обучения (ПОО) в медицинском образовании [44]. Тем не менее они не смогли завершить систематизированный обзор

в запланированном виде в связи с обилием некачественных исследований, неоднородности опубликованных результатов и разногласий по поводу основных научно-исследовательских терминов. Таким образом, несмотря на широкое использование ПОО в медицинском образовании во всем мире, в настоящее время доступно немного систематизированных, надежных эмпирических данных, подтверждающих эффективность этой методики в качестве образовательного инструмента. (Конечно, то же самое можно сказать и об эффективности лекций по любой теме в области фундаментальных наук и клинических дисциплин как источника приобретения знаний, особенно по сравнению с самостоятельным чтением медицинской литературы.)

Медицинское образование на доказательной основе (BEME)

Движение за развитие медицинского образования на доказательной основе (BEME, Best Evidence Medical Education Collaboration) [25] объединяет международную группу специалистов, университетов и организаций [например, AMEE (An International Association For Medical Education, Международная ассоциация специалистов в области медицинского образования), AAMC (Association of American Medical Colleges, Ассоциация американских медицинских колледжей)], считающих, что развитие медицинской профессии должно двигаться от обучения, основанного на субъективном мнении, к обучению на доказательной основе. Основная цель — обеспечить медицинских преподавателей и администраторов учебных учреждений новейшими результатами научно обоснованных педагогических исследований. Это

#

позволит преподавателям и администраторам принимать взвешенные решения о видах образовательных мероприятий с доказанной эффективностью, обеспечивающих повышение когнитивных, мотивационных и клинических показателей учащегося. BEME отвергает те традиции медицинского образования, которые в процессе принятия решений не опираются на весомые доказательства, вместо этого полагаясь на псевдонаучные методы, отдельные случаи и ошибочные группы сравнения. Философия BEME утверждает, что ни в одной другой научной области личный опыт не является достоверным критерием для выбора той или иной принципиальной позиции и что ни в какой другой области научно-исследовательская база не выглядит такой недостаточно убедительной. Научный подход BEME «...предполагает профессиональное суждение учителя (или администратора) о его/ее преподавании, принимая во внимание ряд факторов, объединяемых аббревиатурой QUESTS: Quality (качество) имеющихся научно-исследовательских данных — насколько надежны доказательства? Utility (применимость) доказательств — можно ли перенять и внедрить данные методы без их существенной модификации? Extent (степень) доказательств, или доказательная сила. Target (цель), или оценка результатов — насколько достоверны доказательства? И Setting (условия), или контекст — насколько уместны данные доказательства?» ([25], с. 553).

Международное движение BEME ставит перед собой 3 основные цели. Во-первых, проводить систематические обзоры исследований в области медицинского образования, которые охватывали бы наиболее, качественные доступные экспериментальные данные и также соответствовали образовательным потребностям. Во-вторых, распространять

всему миру информацию, дающую возможность принимать совместные решения относительно медицинского образования на основании наилучших доступных экспериментальных данных. В-третьих, внедрить (создать) культуру доказательного медицинского образования (медицинского образования, основанного на достоверных экспериментальных данных) среди преподавателей, администраторов, внутри образовательных учреждений, а также на уровне национальных и международных организаций.

О данной публикации

Данный отчет BEME является результатом проекта, который начался в феврале 2001 г. с приглашения к сотрудничеству, отправленного Исполнительным комитетом BEME в Исследовательский центр медицинского образования (Center for Research in Medical Education, CRME) при Медицинской школе в Университете Майами (США). Сотрудники CRME согласились на предложение рассмотреть и обобщить доступные доказательства в области образования для ответа на вопрос: «Каковы характерные особенности и основные способы использования высокореалистичных медицинских симуляторов, которые обеспечивают эффективное обучение?». В данном отчете представлены методологические принципы и детали проекта, его основные результаты и обсуждение тех выводов, которые окажут влияние на доказательное медицинское образование уже сегодня и завтра. Ниже представлены 3 раздела. В первом разделе («Методы») рассказывается о 2 этапах исследования: в описании предварительного этапа представлен ряд шагов, предпринимавшихся до проведения обзора; описание исследовательского этапа включает отдель-

ные детали стратегии библиометрического поиска, проведения обзора и синтеза данных. Во втором разделе («Результаты») подробно представлены полученные данные, в том числе описательные результаты научных работ, включенных в систематизированный обзор и перечень 10 ключевых особенностей высокореалистичных медицинских симу-ляторов, которые, как доказано, повышают эффективности обучения. В третьем разделе («Выводы»): интерпретируются наши основные результаты, т.е. «Что означают полученные результаты?»; определяются пределы (не ошибки) данного и других обзоров ВЕМЕ; критикуется качество и состояние современных научных исследований в области использования высокореалистичных симуляций в медицинском образовании; и звучат призывы к разработке более смелых, более строгих программ научных исследований в этой и других областях медицинского образования на международном уровне.

Методы 8 шагов предварительного этапа

Для проведения качественного систематизированного научно-исследовательского обзора потребовался предварительный этап подготовки, состоящий из 8 шагов. Предварительный этап был специально продуман так, чтобы выявить и устранить возможные исследовательские проблемы еще до начала проведения масштабного обзора.

Шаг 1. Приглашение BEME. Исполнительный комитет ВЕМЕ (председатель Рональд Харден) в феврале 2001 г. предложил специалистам Научно -исследовательско -го центра медицинского образования (СЯМЕ) при Медицинской школе в Уни-

верситете Майами провести систематизированный обзор под эгидой BEME, отвечающий на один конкретный вопрос: «Какие свойства/особенности высокореалистичных медицинских симуляторов обеспечивают наиболее эффективное обучение?». Приглашение было направлено в CRME в Майами по двум причинам: данный научный центр известен своим экспертным потенциалом (основанным на результатах исследовательской деятельности и квалификации персонала) в области применения симуляторов в медицинском образовании, и есть перечень успешно завершенных в CRME многоцентровых исследований, сходных с планировавшейся моделью обзора BEME. С.Б. Айзенберг, директор по научной работе CRME, согласился руководить исследовательским проектом.

Шаг 2. Формирование предварительной Группы разработки тем обзора (ГРТО). Второй шаг заключался в организации междисциплинарной группы из ученых-экспертов и врачей для планирования предварительного этапа проведения систематизированного обзора. Участники ГРТО отбирались по 3 критериям: международное представительство, т.е. необходимость привлечения экспертов из различных стран; лица, имеющие опыт работы с различными медицинскими симуляторами, например, симулятором кардиологического пациента «Harvey», и другими тренажерами, применяемыми в анестезиологии и хирургии, а также с компьютерными симуляторами виртуальной реальности; и специалисты с соответствующими знаниями методов исследования, принципов оценки образовательных результатов, а также знакомые с процессом проведения систематизированных обзоров научных публикаций.

#

На предварительном этапе в ГРТО включили представителей из 8 медицинских научных учреждений:

1. Медицинского центра Университета Дьюка (США).

2. Медицинской школы Университета Эмори (США).

3. Медицинской школы Файнберга Северо-Западного университета (США).

4. Медицинской школы Пицкера Университета Чикаго (США).

5. Медицинского факультета Университета Данди (Великобритания).

6. Медицинского колледжа Университета Флориды (США).

7. Медицинской школы Университета Майами (США).

8. Университета Тель-Авива (Израиль).

Шаг 3. Решение концептуальных вопросов. В ходе подготовительного этапа деятельность ГРТО сосредоточилась на решении 2 концептуальных вопросов: каково общепринятое определение понятия «эффективное обучение»? и что можно отнести к обязательным элементам высококачественного систематизированного обзора научных публикаций?

Мы разделили понятие «эффективное обучение» на 2 части. Эффективность классифицировалась в соответствии с 4 расширенными критериями Киркпатри-ка [33]. [Критерии Киркпатрика почти идентичны 4-уровневой базовой структуре Миллера [41], использующейся для оценки учащихся в медицинских учебных учреждениях и представленной выше.] Эффективность медицинского образования представлена в виде упорядоченной модели с несколькими последовательными уровнями:

• уровень 1 — участие в образовательном

мероприятии;

• уровень 2a — изменение установок;

• уровень 2b — изменение знаний и/или навыков;

• уровень 3 — изменение поведения;

• уровень 4a — изменение в профессиональной деятельности;

• уровень 4b — преимущества для пациентов.

Определение понятия «медицинское обучение» сфокусировано на оценке учебных результатов, обладающих определенной клинической ценностью для медицинской практики. Мы выбрали 9 условных и по некоторым параметрам пересекающихся категории:

клинические навыки; практические процедуры; обследование пациентов; лечение пациентов; профилактика заболеваний; коммуникация

навыки работы с информацией; обобщение знаний из базовых наук; отношение к работе (установки) и принятие решений.

Наше определение «элементов высококачественного систематизированного обзора научных публикаций» основывается на статье Фредерика Вольфа [58], опубликованной в журнале «Medical Teacher». В табл. 1 представлены 8 элементов, в диапазоне от указания цели исследования до проведения исчерпывающего обзора публикаций с представлением характеристик отдельных работ в виде таблиц, с синтезом результатов и написанием структурированного отчета. По возможности, и если это необходимо, можно применять синтез количественных данных (метаанализ). Однако не все результаты систематизированных обзоров научных публикаций поддаются количественному синтезу [44].

Таблица 1. Элементы высококачественного систематизированного обзора научных публикаций

N Элемент

1. Определите цели проведения обзора с перечислением требований к публикациям (перечень критериев вклю-

чения/исключения).

2. Составьте исчерпывающий поиск публикаций, которые могут соответствовать критериям отбора.

3. Составьте таблицу с выявленными характеристиками каждого исследования и оценкой их методологического

качества.

4. Примените критерии отбора и опишите причину каждого исключения.

5. С помощью исследователей соберите наиболее полный набор данных.

6. Проанализируйте результаты отобранных исследований. По возможности, и если это необходимо, используй-

те статистический синтез данных (мета-анализ).

7. По возможности, и если это необходимо, проведите анализ чувствительности, включая анализ в подгруппах.

8. Подготовьте структурированный доклад о результатах обзора с описанием целей, материалов и методов

исследования.

Источник: [58]. Chalmers I. The Cochrane collaboration: preparing, maintaining, and disseminating systematic reviews of the effects of health care // Ann. N. Y. Acad. Sci. — 1993. — Vol. 703. — P. 156—163; discussion 163—165. Воспроизводится с разрешения редакции журнала «Medical Teacher».

Шаг 4. Определение исследовательской гипотезы и критериев поиска. Четвертым шагом подготовительного этапа стало уточнение основного вопроса исследования и критериев поиска. Главный вопрос исследования, который эксперты ГРТО получили от Исполнительного комитета BEME: «Какие свойства/особенности высокореалистичных медицинских симуляторов обеспечивают наиболее эффективное обучение?». Данный вопрос был взят за основу при разработке перечня поисковых критериев. Эксперты ГРТО выработали критерии поиска для выявления каждого компонента исследовательского вопроса: а) features Конструктивные особенности, отличительные признаки?); б) high-fidelity simulators (высокореалистичные симулято-ры); в) effective learning (эффективное обучение).

Примеры критериев предварительного

поиска:

• Характерные особенности. Точность воспроизведения (качество, реалистичность) данного симулятора, по мнению эксперта. Какова достоверность (валидность, адекватность оценки) симулятора, т. е. можно ли по результатам тестирования на данном тренажере отличить новичка от эксперта? Есть ли в данном симуляторе встроенная система обучения и тестирования [28, 42, 46]. Как осуществляется техническое обслуживание?

• Высокореалистичные симуляторы. Существует принципиальное различие между симулятором, который изменяется, реагируя на действия пользователя, и теми моделями, которые остаются статичными, например,тренажеры для отработки строго определенных задач [40].

#

Мы выделили 3 широкие категории: 1) реалистичные, трехмерные процедурные симуляторы; 2) интерактивные тренажеры, например, реагирующие на запросы, датчики, и процедуры; и 3) симуляторы виртуальной реальности. • Эффективное обучение. Примеры включают документально подтвержденные улучшения в любой из 9 представленных выше клинических категориях (например, клинические навыки, профилактика заболеваний, обобщенные знаний из базовых наук), которые охватывают (отражают) ключевые результаты медицинского образования. Основные результаты обучения классифицировались в соответствии с модифицированными (упорядоченными) критериями Киркпатрика [33] (например, участие, изменение отношения, изменение поведения, преимущества для пациентов).

Шаг 5. Поиск публикаций. Следующим шагом предварительного этапа был поиск научных публикаций. Эксперты ГРТО согласились с тем, что предварительное исследование должно включать от 30 до 40 исследовательских отчетов по поиску в базах данных без жестких ограничений относительно типа статьи (например, рандомизированное или когортное исследование) или контингента учащихся (например, студенты или врачи-стажеры), чтобы получить широкую и репрезентативную выборку публикаций. В ходе предварительного поиска публикаций было найдено около 200 ссылок. При последующем отборе, основанном на выборе работ, содержащих экспериментальные данные, в отличие от эссе и прочих статей с изложением какого-либо мнения, было выявлено 32 исследования, которые эксперты ГРТО использовали для составления обзора.

Шаг 6. Предварительные рабочие встречи и проверка исследовательских методик. Ключевым шагом предварительного этапа была встреча экспертов ГРТО «Симуляция», проходившая 6—7 июня 2001 г. в Майами, штат Флорида (США), на которой эксперты ГРТО:

• Обсудили исследовательский вопрос и внесли в него изменения: «Каковы характерные особенности и основные способы использования медицинских симуляторов с высокой степенью реалистичности, которые обеспечивают эффективное обучение?». По общему мнению экспертов ГРТО способ использования симуляторов не менее важен, чем их технические характеристики.

• Определили пары исследователей-кодировщиков для командной работы на протяжении подготовительного этапа.

• Изучили краткое содержание 32 статей для определения, какие из них следует закодировать для систематизированного обзора. 16 (50%) исследований не были включены в обзор, так как 14 публикаций не соответствовали основным критериям включения (например, упоминался симулятор не с высокой степенью реалистичности или не обсуждался вопрос использования симулятора), и 2 исследования не были опубликованы на английском языке и не могли быть переведены в ближайшее время.

• Ознакомились с бланком для кодирования, представленным Исполнительным комитетом ВЕМЕ. 4 команды из 2 человек кодировали одну и ту же статью и сравнивали свои выводы. Позже ГРТО собралась в полном составе, чтобы обсудить результаты, уточнить незнакомые термины и внести предложения по изменениям в бланки кодирования.

• Продолжили кодировать оставшиеся 15 статей. Каждую статью анализировала команда из двух членов ТТГ. Каждая команда оценила (проанализировала) результаты собственного кодирования и внесла предложения по улучшению процедуры кодировки.

• Обобщили все замечания или предложения и выработали пересмотренный бланк для кодирования, более актуальный для обучения, с использованием симулято-ров. В бланк были добавлены пункты, имеющие непосредственное отношение к медицинским симуляторам с высокой реалистичностью.

После завершения встречи ГРТО ее руководитель (С. Барри Айзенберг) утвердил итоговый бланк кодирования и инструкции по его использованию. Указанные документы были высланы всем членам ГРТО. Кроме того, руководитель ГРТО подытожил выводы предварительного этапа и представил их на семинаре ВЕМЕ, проводившегося в рамках летней конференции Ассоциации по медицинскому образованию в 2001 г. в Берлине.

Шаг 7. Проблемы и их решения. В результате проведения встречи экспертов ГРТО «Симуляция» и организации пробного обзора было выявлено 5 основных проблем.

• Библиотека Университета Майами не смогла получить 2 статьи перед проведением встречи ГРТО в июне 2001 г. Некоторым членам ГРТО и администрации ВЕМЕ пришлось заказывать статьи через свои университетские библиотеки.

• До проведения встречи членам ГРТО не были предоставлены ни бланки кодирования, ни описание ключевых терминов. Это вызвало некоторое замешательство (путаницу) и отсутствие

взаимопонимания в ходе первой сессии кодирования. После того как провели пробное кодирование и договорились о терминологии, следующие раунды кодирования прошли с меньшей путаницей и гораздо лучшей межэкспертной согласованностью по каждой статье. Это было отражено в комментариях, а также в ответах в бланках кодирования. Все члены ГРТО единогласно пришли к заключению, что бланк кодирования не соответствует теме научных публикаций планируемого обзора. Кодирующие категории не соответствовали теме обзора, и члены ГРТО, отмечая пункты в бланке кодирования, позже осознали, что они не подходят к статьям обзора. Вопросы перегруппировали, чтобы помочь кодировщику сориентироваться с типом статьи (например, одним из первых вопросов стал «дизайн исследования») и сосредоточиться на соответствующих пунктах в бланке кодирования. Не было организовано действующей в сети Интернет базы данных с общим доступом для всех членов ГРТО. Это не позволило руководителю ГРТО добавлять ссылки к базе данных. Рабочая база в Интернет позволил бы членам ГРТО быстро определить, был ли уже включен очередной абстракт в обзор, были ли получены полнотекстовые образцы статьи, и были ли они закодированы.

До и после встречи ГРТО многие из участники не спешили реагировать на электронные письма, призывающие прокомментировать целый ряд вопросов. В результате руководителю ГРТО приходилось выполнять дополнительную работу, а вклад других членов был гораздо меньше.

#

Шаг 8. Что сделано? На всем протяжении предварительного этапа исследования между руководителем ГРТО и специалистом по информатике Университета Данди (Великобритания) была налажена превосходная коммуникация. Это упростило разработку критериев поиска и создание списка ссылок, планировавшихся для включения в пробное исследование. Наиболее важным аспектом пробного проекта стала совместная работа всех членов ГРТО на протяжении двух выделенных дней, которая заключалась в обсуждении вопроса исследования и поисковых критериев. Также на протяжении рабочей встречи удалось познакомить членов ГРТО с бланком кодирования и попрактиковаться в кодировании статей. И наконец присутствие профессоров Яна Харта (Ian Hart) и Рональда Хардена (Ronald Harden) на встрече экспертов ГРТО «Симуляция», проходившей 6—7 июня 2001 г. в Майами, штат Флорида (США), их развернутые ответы на вопросы, изложение основных целей проекта BEME внесли определенную ясность и послужили руководством к дальнейшим действиям.

Резюме методологических аспектов (задач) на предварительном этапе

Весь предварительный этап финансировался Научно-исследовательским центром медицинского образования (CRME) при Медицинской школе в Университете Майами. (В течение проекта затраты могут значительно возрасти, особенно если будут проводиться встречи членов ГРТО.) Для обеспечения компетентности исследовательской группы мы выби-

рали экспертов, обладающих знаниями в различных областях, включая симуляцию, медицинское образование и методы научного исследования. Важным шагом до начала процесса являлась достигнутая договоренность по основному вопросу исследования и критериям поиска. Эксперты ГРТО утвердили предложенный вопрос, так как мы полагали, что он в точности отражает то, что большинство медицинских педагогов хотели бы знать о симуляции. Хотя исходный вопрос был немного изменен, наряду с характеристиками симуляторов была добавлена фраза про «основные способы использования».

Несколько членов ГРТО были обеспокоены тем, что процесс кодирования приведет к получению количественных данных, которые не смогут ответить на основной вопрос обзора. Эти опасения стали меньше когда в качестве инструмента для оценивания статей были предложены критерии QUESTS. Кроме того, эксперты ГРТО добавили несколько пунктов в конце бланка кодирования, позволяющие получить ту информацию, которая поможет лучше ответить на основной вопрос.

Важно создать в Интернете доступную базу данных, которая отражает текущее состояние тематического обзора. Несколько членов ГРТО были обеспокоены тем, что бланк кодирования не был изучен на предмет объективности и устойчивости к систематической ошибке, возникающей из-за различий в базовом опыте экспертов (знаниях экспертов). Для уменьшения предвзятости кодировщика, а также более точного совпа-

дения результатов двух независимых оценок, для объективности кодирования необходимо проводить дополнительное обучение исследователей и предоставлять возможность для практики (тренировки).

Выводы, относящиеся к предварительному этапу исследования

Все члены нашей ГРТО согласились с тем, что предварительный этап был ценным образовательным опытом, и предложили, чтобы и другие ГРТО прошли аналогичную практическую подготовку, прежде чем приступать к выполнению полномасштабного обзора BEME. Руководители тематических групп должны иметь опыт работы с бланками кодирования, также они должны быть полностью проинформированы и проинструктированы о соответствующем обучении других членов группы. Важно провести встречу членов ГРТО, чтобы сориентироваться в поисковых запросах, процессе кодирования и других особенностях проведения исследования. Если есть объективные сложности с организацией отдельной специальной встречи, можно найти другие возможности в рамках национальных или международных конференций по медицинскому образовании (например, AMEE, AAMC, ASME и Ottawa Conference).

На предварительном этапе было проанализировано недостаточное количество статей для того, чтобы ответить на основной вопрос. Однако это действительно помогло нашей ГРТО ознакомиться с процессом и оценить затраченные время и объем усилий, которые необходимы для завершения исследования. Мы полагаем, что следует отбирать те эмпирические отчеты, в которых заявляются и исследуются

объективно измеримые результаты. Довольно сложно и утомительно оценивать обзоры или описательные статьи, когда они группируются вместе с рандомизированными, когортными исследованиями, а также исследованиями методом «случай-контроль». Наша ГРТО приняла решение отделить обзорные статьи и представить их в виде списка исследуемых качественных показателей с комментариями.

Результаты предварительного этапа согласуются с рекомендациями «Двенадцать советов для проведения систематизированного обзора», которые представлены в статье, опубликованной в журнале «Medical Teacher» [47]. Будущие ГРТО, создаваемые в рамках проектов BEME, получат дополнительное преимущество, если обратят внимание на наш опыт и советы Ривза с коллегами.

6 шагов исследовательского этапа

Заключительный этап исследования, состоявший из 6 шагов, проводила специальная ГРТО по медицинским симуляторам ВЕМЕ с использованием методов систематизированного обзора. Вот перечень из 6 шагов: 1) определить окончательный состав группы специалистов по кодированию в исследовании ВЕМЕ; 2) обучение специалистов по кодированию в исследовании ВЕМЕ; 3) определение стратегии поиска научных публикаций; 4) отбор научных исследований; 5) извлечение данных и кодирование; и 6) анализ данных и синтез.

Шаг 1. Окончательный состав группы специалистов по кодированию в исследовании BEME. В итоговый состав исследовательской группы вошли авторы данной публикации (Айзенберг, МакГэги, Гордон,

#

Петруса, Скалезе) и 8 других членов Рабочей группы (Браун, Иви, Файнберг, Фел-нер, Гесснер, Миллос, Прингл, Во). Все эти специалисты участвовали в проекте на безвозмездной основе.

Шаг 2. Обучение специалистов по кодированию в исследовании ВЕМЕ. Специалисты по кодированию, участвующие в исследовании ВЕМЕ, посетили первое тренировочное занятие «Принципы построения системы отсчета», на котором разбирались процедуры служебной аттестации, описанные Воер и Хаффкатт [57]. В ходе подготовки кодировщиков учили обращать внимание на ключевые особенности научных публикаций (например, дизайн и методы исследования, анализ данных); вырабатывать единую позицию по ключевым особенностям в ходе обсуждения результатов и получения обратной связи; составлять мнение о ключевых особенностях при помощи стандартного набора качественных показателей, перечисленных в бланке кодирования. Группа исследователей-кодировщиков совместно анализировали одно типичное исследование, чтобы договориться о единой терминологии, обсудить ключевые особенности и стандарты качества. Сразу же после завершения обучения начиналось независимое кодирование публикаций, включенных в обзор.

Шаг 3. Стратегия поиска научных публикаций. Исследователи в сотрудничестве с опытными библиотекарями систематически просматривали все публикации о медицинском образовании и профессиональную литературу, в которых упоминались характерные особенности и основные способы использования высококачественных медицинских симуляторов, обеспечи-

вающих эффективное обучение. Основная цель поиска заключалась в выявлении тех исследований, в которых имелись объективные доказательства взаимосвязи между использованием высококачественных медицинских симуляторов и улучшением ключевых (основных) результатов обучения. Использовались целевые базы данных, чтобы выявить как можно больше публикаций с оригинальными исследованиями в данной области.

Временные рамки поиска охватили 34 года, начиная с июня 1969 г, когда была опубликована основополагающая статья Абрахамсона с соавторами о применении симуляции в медицинском образовании [1], и заканчивая июнем 2003 г Поиск проводился в 5 базах данных медицинской литературы (Eric, MEDLINE, PsycINFO, Web of Science и Timelit) с использованием 91 поискового запроса термина или понятия и их логических комбинации (табл. 2). Мы также вручную проводили поиск в ключевых изданиях, ориентированных на медицинское образование или публикующих статьи об использовании симуляторов в медицинском образовании. Это были такие журналы, как «Academic Medicine», «Medical Education», «Medical Teacher», «Teaching and Learning in Medicine», «Surgical Endoscopy», и «Anesthesia and Analgesia». Кроме того, мы вручную проводили поиск в материалах ежегодной конференции «Medicine Meets Virtual Reality» («Медицина и Виртуальная реальность») и проводящейся в Оттаве раз в 2 года конференции «Ottawa Conference on Medical Education and Assessment» («Оттавская конференция по медицинскому образованию и оценке»). В сборниках тезисов встречается и так называемая «серая» (малоизвестная) литература (например,

тезисы докладов на профессиональных конференциях, материалы диссертаций), в которой, как выяснили эксперты ГРТО, содержатся наиболее релевантные ссылки, связанные с темой нашего обзора. Проведено несколько базовых поисков в сети Интернет при помощи поисковой системы Google.com. Основная цель — провести тщательнейший поиск доступных рецензированных материалов и сообщений в неопубликованной литературе, которые соответствовали бы академическим критериям качества публикаций.

Все 91 поисковый термин не могли использоваться в каждой из 5 баз данных, так как у них нет единого словаря запросов. Каждая база данных характеризуется уникальным охватом и акцентированием материала. Предпринимались попытки использовать в некоторых базах аналогичные поисковые слова или комбинации слов/фразы. Таким образом, для каждого поиска основной шаблон запросов был одинаковым, но в отдельных базах данных вносились некоторые коррективы в виде использования контролируемого словарного поиска (в дополнение к типовым поисковым словам или комбинациям слов/фразам). Такой подход допускает определенную долю творчества в рамках информатики, признавая, что для эффективного поиска информации требуется профессиональное суждение в сочетании с высокими информационными технологиями [45].

Шаг 4. Отбор научных исследований. В соответствии с выбранной стратегией поиска научной литературы изначально было собрано 670 рецензированных журнальных статей или других документов (например, диссертаций, докладов с научных конференций), прошедших

строгий научный отбор. Затем при помощи 4 критериев исходное количество статей сократили до ограниченного набора наиболее содержательных публикаций: а) исключение обзорных статей в пользу эмпирических исследований; б) использование симулятора в качестве инструмента обучения или тестирования с количественной оценкой итоговых результатов; в) исследования должны быть сравнительными — экспериментальными или квази-экспериментальными и г) исследования эффективности использования симуляторов только в качестве инструмента обучения (т.е. исключая примеры использования симуляторов для тестирования учащихся). После применения 4 критериев отбора осталось 109 статей (16% от исходного количества), они составили основу для проведения систематизированного анализа (рис. 2).

Шаг 5. Извлечение данных и кодирование. На протяжении этапа исследования данные из 109 итоговых журнальных статей независимые наблюдатели систематизированно извлекали при помощи бланков для кодирования, представленных в Приложении 1. Перечень 109 журнальных статей, закодированных и проанализированных в данном исследовании, представлен в Приложении 2. Список 62 журнальных статей, исключенных из данного обзора, поскольку в них оценивается эффективность медицинских симуляторов только для тестирования учащихся, представлен в Приложении 3.

Шаг 6. Анализ данных и синтез. Использовались синтез качественных данных, представление методов и результатов исследования в табличной форме. Неодно-

родность образовательных мероприятий, дизайна и сроков исследований, а также методик оценки учебных результатов, препятствовали обобщению данных при помощи метаанализа. Эта ситуация схожа с недавно проводившимся систематизированным обзором публикаций, касающимся проблемно-ориентированного медицинского обучения. Неоднородность методов исследований не позволила провести количественный метаанализ результатов применения ПОО (Newman и Pilot Review Group, 2003).

Результаты Точность кодирования

Высокую точность кодирования содержания отдельных статей достигали двумя путями. Во-первых, шифрование тех ключевых особенностей статей, которые отражались в бланке кодирования, представленном в Приложении 1, проводили на основе консолидированного мнения.

Каждую статью прочитывали и кодировали, по крайней мере, 2 члена ГРТО.

Систематизированный обзор литературы о высококачественных медицинских симуляторах

670 статей

В статье рассматривались несколько моделей симуляторов или ряд исследований симуляторов?

#

В статье обсуждается применение симулятора в качестве инструмента для обучения и тестирования; результаты обучения оцениваются количественно?

Экспериментальное, квазиэкспериментальное или сравнительное исследование?

Да

Полное кодирование членами ГРТО

Нет

(не сравнительные

i исследования)

171 статья (сравнительные исследования)

Сравнительное исследование, в котором симуляция использовалась в качестве учебного инструмента (не только для тестирования)

Да Нет

(симулятор использовался только для тестирования)

109 статей (симулятор использовался в качестве учебного инструмента)

Рис. 2. Поиск научной литературы и отбор статей для проведения обзора

Медицинское образование и профессиональное развитие №1 (19) 2015

#

S

3

ГС К

s i * g

И

§ i 5 o

i 3

Поисковые термины / Поисковые концепты

1 Simulator (симулятор)

2 Simulation (симуляция)

3 Mannikin (манекен)

4 Human model (модель человека)

5 Virtual reality (виртуальная реальность)

6 Full body (в полный рост)

7 З-dimensional (трехмерный)

8 Internal medicine (терапия)

9 Pediatric (педиатрический)

10 Surgery (хирургия)

11 Orthopedic (ортопедический)

12 Cardiovascular (сердечнососудистый)

13 Endoscopic (эндоскопический)

14 Laparoscopic (лапароскопический)

15 Arthroscopic (артроскопи-ческий)

16 Sinus (пазуха)

17 Anesthesia (анестезия)

18 Critical care (интенсивная терапия)

19 Emergency (неотложная помощь)

20 Trauma (травма)

21 Dental (стоматологический)

22 Nursing (уход за больными)

23 Endovascular (эндоваску-лярный)

24 Colonoscopy (колоно-скопия)

25 Sigmoidoscopy (ректоро-маноскопия)

26 Intravenous (внутривенный)

27 Arterial (артериальный)

28 Gastroenterology (гастроэнтерология)

29 Multimedia (мультимедиа)

30 Minimally invasive (мало-инвазивный)

31 Suture (шов)

32 Diagnostic (диагностический)

33 Ultrasound (ультразвуковой)

34 Force feedback (обратная связь по усилиям)

35 Tactile (тактильный)

36 Haptic (осязательный)

37 Undergraduate (студент)

38 Medical school (медицинская школа)

39 Medical student (студент-медик)

40 Graduate (выпускник)

41 Resident (врач-стажер)

42 Continuing education (последипломное образование)

43 Professional (профессиональный)

44 Practitioner (практикующий врач)

45 Education (обучение)

46 Training (тренировка)

47 Curriculum (учебная программа)

48 Community (местное сообщество)

49 Core (основной)

50 Optional (дополнительный)

51 Elective (выборочный)

52 Integrated (интегрированный)

53 Outcome-based (ориентированный на результат)

54 Problem-based (проблемно-ориентированный)

55 Multi-professional (с различными профессиями)

56 Learning (учеба)

57 Independent(независимый)

58 Large group (большая группа)

59 Lecture (лекция)

60 Small group (малая группа)

61 Instructor (инструктор)

62 Computer-based (компьютерный)

63 Clinical (клинический)

64 Peer (коллега-знаток)

65 Classroom (учебный класс)

66 Hospital (больница)

67 Ambulatory (поликлиника)

68 Laboratory (лаборатория)

69 Clinical skills centre (центр оценки клинических навыков)

70 Distance learning (дистанционное обучение)

71 Assessment (оценка)

72 Testing (тестирование)

73 Evaluation (аттестация)

74 Grade (степень)

75 Certification (сертификация)

76 Validity (достоверность)

77 Reliability (надежность)

78 Feasibility (применимость)

79 Skills (навыки)

80 Procedures (процедуры)

81 Management (управление)

82 Health promotion (профилактика заболеваний)

83 Communication (коммуникация)

84 Information (информация)

85 Attitudes (отношение)

86 Behavior (поведение)

87 Decision-making (принятие решений)

88 Patient safety (безопасность пациентов)

89 Medical errors (медицинские ошибки)

90 Team (команда)

91 Development (развитие)

о ■о

g о\ В ф

m ^

а

^ и о

"О (Б В)

S 5 5,

м s TI

i и О

s<

О е

OV U

о ■о

<В О

X S

X V

о- со

^ о

s< и

и Ü)

s 1

i ° ■§3

4 и ш г

з о

s о

и

5 (I

JV»

•< -о

э

ID H

■и <

о ш

в S

а

1 3

Я* ÜI

m х

#

#

Затем варианты кодирования открыто обсуждались. Любые первоначальные разногласия, касающиеся кодирования, решались на основе группового консенсуса, так что все решения об особенностях статей были единодушными.

Во-вторых, качественные особенности итоговых 109 журнальных статей, в которых симулятор использовался как учебный инструмент, также шифровались двумя кодировщиками. Ни один из экспертов не знал о результатах кодирования, проводившегося его/ее коллегой. Каждую статью кодировали по 4 отдельным категориям: 1) дизайн исследования, 2) практическое применение, 3) анализ данных и 4) убедительность результатов. Каждая категория оценивалась в баллах по шкале от 1 (полностью не согласен) до 5 (полностью согласен); оценка 3 балла соответствовала неопределенному или нейтральному отношению.

«Согласие» по поводу результатов кодирования мы определяли либо как (а) отсутствие расхождений двумя шифровальщиками по каждому оценивавшемуся элементу (полное согласие), либо как (б) расхождение в оценках двух шифровальщиков не более 1 балла по каждому кодировавшемуся элементу. Результаты, отражающие точность кодирования, представлены в табл. 3. Результаты кодирования продемонстрировали, что в оценках

качества исследований мы достигли очень высокого уровня совпадений, намного превышавшего те значения (0,25—0,35), которые характерны для рейтингов рукописей, присылаемых в научные журналы, и для экспертизы качества исследований при рассмотрении заявок на гранты [11].

Исследование ключевых особенностей статей, включенных в обзор

На рис. 3 представлены некоторые результаты, которые были получены в ходе парного кодирования ключевых особенностей статей, включенных в итоговый обзор.

На рис. 3а продемонстрировано, что на протяжении 34-летнего периода, ограниченного рамками данного обзора, абсолютное количество журнальных

150

100

50

I 1 I 1^4-1-1-1-1-1-1-Ь

Ч—

с^ со

2000-2003 = 385 (57% от общего количества публикаций)

* прогнозируемый уровень

Рис. 3а. Ежегодное количество публикаций

0

Таблица 3. Точность кодирования

Количество совпадений оценок, %

Пункты кодирования Полное согласие Расхождение не более чем на 1 балл

1. Дизайн исследования 45% 86%

2. Практическое применение 45% 91%

3. Анализ данных 41% 83%

4. Выводы 35% 81%

статей о применении в медицинском образовании высококачественных симуляторов резко возросло. На протяжении 1970 и 1980-х гг. было опубликовано мало журнальных статей. Однако, начиная с 1990-х (это совпадает с увеличением доступности персональных компьютеров) отмечается экспоненциальный рост числа публикаций об использовании высококачественных симуляторов в медицинском образовании. За короткий период времени — с 2000 по 2003 гг. — появилось 385 таких исследований, 57% от их общего количества.

На рис. 3б показаны те области, в научных журналах, в которых публиковались статьи об использовании в медицинском образовании симуляторов с высокой степенью реалистичности. Большинство из этих статей (более 55%) появились в хирургических журналах, а также в изданиях, посвященных биомедицинским технологиям. Научные статьи также публиковались в журналах и из других дисциплин, включая анестезиологию, терапию и медицинское образование.

На рис. 3в представлено распределение журнальных статей, включенных в наш обзор, по дизайну исследования. Самая частая категория (исследования в формате «показатели до и после», без контрольной группы) составляла 35% от общего количества публикаций. Затем (в порядке убывания) — рандомизированные, когортные и одномоментные исследования.

На рис. 3г представлено количество участников (традиционно называемых испытуемыми) в исследованиях, включенных в обзор. Большинство из выбранных исследований относительно малы: чаще всего, в них участвовало менее 30 лиц.

35

30-125 т 20 15 10 5 0

Рис. 3б. Типы журналов по научным дисциплинам

35

30

\о 25

с

20

о 15

\о о о 10 ^ о о с

5 о

Рис. 3в. Дизайн исследований

30 25 20 15 10 5 0

Рис. 3г. Количество участников в исследованиях

0

ТЕХНОЛОГИИ ОБУЧЕНИЯ

#

50

40 —|— 30 20 10 0

^ га 1 ^

шп

ч: о =1 тт

то 2 ^ га _о с^ ° аш я Оюош

1= О [= ^

Рис. 3д. Уровень медицинской подготовки учащихся

80

/0

^ 60

\о 50

с

40 -

о 30

\о о 20

о

10

С!

0

Рис. 3е. Цели обучения

■ * =

60 -50 40 30 20 10 0

15 ^

Рис. 3ж. Убедительность результатов

На рис. 3д представлен уровень медицинской подготовки участников исследований. Самыми частыми участниками были недавние выпускники медицинских вузов (врачи-стажеры), проходившие стажировку по какой-либо специальности (например, по хирургии, анестезиологии). Однако в исследованиях симуляторов высокой реалистичности также встречались студенты-медики; врачи на курсах последипломного образования; а также слушатели курсов повышения квалификации.

На рис. 3е наглядно продемонстрировано, что в большей части оригинальных исследований из отобранных для обзора публикаций, использование высокореалистичных симуляторов в медицинском образовании было ориентировано на приобретение навыков выполнения практических процедур. С гораздо меньшей частотой встречались такие цели обучения, как управленческое мастерство, клинические навыки и базовые медицинские знания.

Рис. 3ж отражает различную степень убедительности результаты результатов исследований из журнальных статей, выбранных для проведения обзора. Указанные отрецензированные статьи существенно различались по силе доказательств. Примерно в 80% исследований результаты оказались неоднозначными. Около 20% исследований завершено с очевидными и, вероятно, правдивыми результатами. Ни в одной из отрецензированных статей нашим исследователям не удалось обнаружить неоспоримых результатов.

Характеристики симуляторов, их использование и эффективное обучение

В соответствии с нашими критериями мы выбрали те исследования, в которых симулятор использовался в качестве учебного инструмента, и объективно оценивали результаты обучения, в том числе

участников, отношение, знания и навыки. Таким образом, все исследования, которые были отобраны (закодированы), соответствовали одному или нескольким критериям Киркпатрика, использующимся для оценки эффективности обучения. В табл. 4 представлены результаты проведенного нами качественного анализа тех характерных особенностей и способов использования высококачественных медицинских симуляторов, которые приводят к эффективному обучению. Мы определили 10 особенностей и способов использования медицинских симуляторов в качестве инструментов обучения и представляем их в том порядке, в котором они шифровались в бланке для кодирования (Приложение 1, п. 10). Мы также провели усредненную оценку убедительности результатов исследований, связанных с каждой отдельной особенностью применения медицинских симуляторов.

1. Обратная связь, знание о результатах своих действий, является для медицинского образования с использованием си-муляторов самой важной особенностью, способствующей эффективному обучению. Кроме того, обучающая обратная связь замедляет утрату ранее приобретенных навыков, позволяет учащимся проводить самостоятельную оценку и следить за учебными результатами на этапе приобретения или совершенствования каких-либо навыков. Источники обратной связи могут быть:

• встроены в тренажер;

• представлены в виде непосредственных замечаний инструктора в режиме реального времени во время учебных занятий;

• могут предоставляться постфактум, например, в виде видеозаписи выполнения учебного задания на симуляторе

Тип источника обратной связи менее важен, чем его принципиальное наличие. В 51 (47%) из 109 журнальных статей, выбранных на заключительном этапе данного обзора, особо подчеркивалось, что обучающая обратная связь, предоставляемая учащимся, является основной отличительной особенностью медицинского образования с использованием симуляторов.

2. Повторные упражнения. Возможность выполнять целенаправленные, повторные упражнения, причем не из праздного интереса, а для совершенствования навыков, — одна из основных учебных отличительных особенностей высококачественных медицинских симуляторов. Практика повторных упражнений или тренировок заключается в интенсивном повторяющемся привлечении учащегося к осознанному выполнению контролируемых учебных заданий. Повторение навыка на тренировочных занятиях позволяет учащимся исправлять ошибки, оттачивать мастерство, демонстрировать осваиваемые навыки без лишних усилий и доводить требуемые действия до автоматизма. Итогом серии тренировок является ускоренное приобретение навыков по сравнению с традиционной работой в палатах, а также более эффективный перенос освоенных навыков из тренажерного кабинета в повседневную практику. Для удобства проведения повторных упражнений время доступа к медицинским тренажерам и процедурам моделирования, конечно же, должно быть регламентировано (например, при помощи расписания учебных занятий), а сами тренажеры должны быть максимально доступны для учащихся (например, недалеко от клинических баз). Результаты недавно завершившегося исследования подчеркивают важную роль тренировок в процессе приобретения клинических навыков и их дальнейшем совершенствова-

#

нии [16]. В 43 (39%) журнальных статьях отмечалось, что повторная практика является одной из ключевых особенностей учебного использования высококачественных медицинских симуляторов.

3. Интеграция в учебную программу. В 27

(25%) из 109 журнальных статей, выбранных на итоговом этапе проведения данного систематизированного отчета, указывалось, что важнейшим условием эффективного использования тренировок на симуляторе является их оптимальная интеграция в стандартную учебную программу медицинского вуза или последипломного обучения. Симуляционное обучение не должно быть некой дополнительной деятельностью; оно должно встраиваться в обычную учебную программу и основываться на традиционных подходах к оценке эффективности обучения. Помимо опыта непосредственного общения с пациентами, эффективное медицинское обучение начинается с вовлечения учащегося в осмысленную практику при помощи клинических заданий и различных устройств в тренажерных классах. Медицинское обучение при помощи симуляторов должно быть обязательным компонентом стандартного учебного плана. Факультативные занятия вызывают гораздо меньший интерес у учащихся.

4. Диапазон уровней сложности. Эффективность обучения повышается и в тех случаях, когда учащиеся имеют возможность тренировать свои практические умения и навыки в широком диапазоне уровней сложности. Учащиеся начинают занятия на соответствующем исходном уровне сложности, демонстрируют усвоение материала в требуемом объеме относительно объективно установленных стандартов, а затем приступают к выполнению заданий с прогрессивно увеличивающимся уровнем

сложности. У каждого учащегося будет своя «траектория обучения» в отношении объема знаний и скорости их накопления, хотя долгосрочные объективные результаты обучения должны быть одинаковыми. В 15 (14%) из 109 журнальных статьях, проанализированных в данном обзоре, отмечалось, что важным фактором учебной эффективности медицинского образования с использованием симуляторов является вариативный диапазон сложности заданий.

5. Множественные образовательные стратегии. Адаптацию высокореалистичных медицинских симуляторов к различным образовательным стратегиям можно рассматривать и как отличительную особенность, и как способ использования учебного оборудования. Такая возможность отмечалась в 11 (10%) из 109 научных журнальных статей. К разнообразным образовательным стратегиям, помимо традиционного инструктор-ориентированного образования, относятся следующие типы обучения: а) в больших коллективах (например, лекции) или б) в небольших группах (например, практические занятия); (с) в небольших группах без инструктора (групповое самостоятельное обучение) и (г) индивидуальное самостоятельное обучение. Конечно же, оптимальное использование высококачественных симуляторов в таких различных учебных ситуациях зависит от решаемых образовательных задач, а также от уровня исходной подготовки учащихся. Согласно общему правилу образовательные инструменты должны соответствовать задачам обучения, поэтому использование тех высокореалистичных медицинских симуляторов, которые можно с легкостью адаптировать к различным обучающим стратегиям, оптимально.

6. Охват клинических ситуаций. Высокореалистичные медицинские симулято-ры, способные смоделировать или отобразить целый ряд симптомов и клинических состояний, более удобны по сравнению с теми симуляторами, которые представляют ограниченный диапазон патологических состояний. Симуляторы, отображающие широкий диапазон демографических особенностей пациентов, патологических состояний и реакций на лечение, помогут учащимся встретиться с большим количеством разнообразных виртуальных больных. Это помогает стандартизировать клиническую учебную программу в различных образовательных учреждениях, уравнивая возможности небольших учебных центров, часто расположенных в отдаленных районах, где диапазон реальных пациентов может быть ограничен. Такие симуляторы позволяют учащимся ознакомиться и попрактиковаться с редкими, угрожающими жизни заболеваниями, когда частота развития патологии ничтожно мала, но ее исходы чрезвычайно серьезны. В 11 (10%) из 109 журнальных статьях отмечалось, что широкий клинический охват является одной из основных особенностей медицинских симуляторов.

7. Контролируемые условия. В контролируемой клинической среде учащиеся могут совершать, выявлять и исправлять ошибки в лечении пациентов без негативных последствий, в то время как преподаватели могут сосредоточиться на учащихся, а не на пациентах. Высокореалистичные симулято-ры идеально подходят для работы в контролируемых и прощающих ошибки условиях, в отличие от «неконтролируемого» обучения в большинстве клинических отделений. Образование в контролируемой среде позволяет инструкторам и учащимся сосредото-

читься на отдельных деталях обучения, не отвлекаясь на прочие моменты, и в полной мере использовать возможности для обучения. Это также соответствует тем принципам клинической и образовательной культуры, на которых основано этическое партнерство учащихся и пациентов. Польза от обучения в контролируемых условиях с использованием высокореалистичных медицинских симуляторов была отмечена в 10 (9%) из 109 журнальных статей.

8. Индивидуализированное обучение.

Важная особенность использования высокореалистичных медицинских симуля-торов — возможность активного участия учащихся (в отличие от пассивного наблюдения) в получении воспроизводимо -го и стандартизованного учебного опыта. Это означает, что учебные события можно индивидуализировать, адаптируя их к конкретным потребностям каждого отдельного ученика. Симуляторы позволяют учащимся разделять сложные клинические задачи на составные части и осваивать их последовательно с произвольной скоростью. Учащиеся могут взять на себя ответственность за собственный образовательный прогресс в рамках стандартной учебной программы. При помощи индивидуализированного обучения с использованием высокореалистичных медицинских симуляторов можно достичь итоговой цели в виде получения единых образовательных результатов, несмотря на различные темпы обучения. Эта особенность была отмечена в 10 (9%) из 109 журнальных статей.

9. Точность оценивания результатов.

Помимо индивидуализированного обучения в контролируемой образовательной среде, еще одной особенностью высокореалистичных медицинских симуляторов

#

являются четко определенные итоговые оценки или ориентиры для промежуточных достижений учащихся. Это понятные цели с ощутимыми, объективными показателями. Учащиеся имеют больше шансов освоить ключевые навыки, если итоговые оценки четко определены и соответствуют их уровню подготовки. В качестве примеров можно привести методику определения количественных показателей в системах виртуальной реальности, разработанной Галлахером и Сатава [23], и эндоскопические показатели, описанные Ньюманом и его коллегами [43]. Эта особенность высокореалистичных медицинских симуляторов отмечалась в 7 (6%) из 109 журнальных статей.

10. Валидность симуляторов. Существует множество типов образовательной валид-ности как в отношении учебных материалов или мероприятий, так и при измерении результатов обучения. В данном случае ва-лидность означает степень реализма или качество воспроизведения реальности, представляемой в виде условных комплексных клинических ситуаций, принципов или заданий. Высокая валидность симулятора особенно помогает учащимся улучшать навыки зрительно -пространственного восприятия и оттачивать свои действия в неотложных ситуациях. Учащиеся клинических курсов предпочитают виртуальный реализм (внешняя валидность) с возможностью получения практического опыта. Под конкурентной валидностью часто подразумевают возможность обобщения обучения на тренажерах и реальной клинической практики. Доказательства непосредственной взаимосвязи между валидностью симуляции и эффективностью обучения обсуждались в 4 (3%) из 109 журнальных статей, проанализированных в нашем обзоре.

Обсуждение

Что означают полученные результаты?

Результаты исследования наглядно продемонстрировали, что высокореалистичные медицинские симуляторы облегчают процесс обучения, если соблюдаются правильные условия их применения. Эти условия перечислены в табл. 4, начиная с обеспечения обучающей обратной связи и предоставления возможностей для тренировки и заканчивая интеграцией с учебной программой, индивидуализированным обучением и достаточной достоверностью симуляции. Эти 10 условий представляют собой идеальную образовательную среду для использования медицинских симуля-торов и редко полностью выполняются во всех учебных учреждениях. Тем не менее эти условия, представляют собой набор целей для разработки таких образовательных программ, в которых будут максимально использоваться возможности симуляцион-ных технологий.

Кроме того результаты исследования продемонстрировали, что обучение с использованием симуляторов дополняет, а не дублирует обучение с участием реальных пациентов в клинических отделениях. Си-муляционное обучение лучше всего использовать для подготовки учащихся к реальным контактам с пациентами. Это позволяет им практиковаться и приобретать клинические навыки в управляемой, безопасной и прощающей ошибки среде. Освоение навыков в ходе виртуальной практики и обратная связь также повышают у учащегося уверенность в себе, настойчивость и эмоциональную самооценку, которые дополняют клиническую компетентность.

Все вопросы, касающиеся рентабельности симуляторов, стимулов для развития

технологий и их усовершенствования, выходят за рамки данного обзора. Рентабельность симуляционного обучения исследовалась во многих других научных работах [22, 29, 30], в которых часто приводятся веские аргументы о стоимости «неиспользования» симуляционных технологий в медицинском образовании. Стимулы для дальнейшего развития и совершенствования медицинских симуляционных технологий — это прерогатива производителей, как правило, из коммерческого сектора. Эти стимулы будут увеличиваться по мере наращивания научно-исследовательских результатов, подтверждающих эффективность медицинских симуляционных технологий.

Ограничения, связанные с результатами первичных исследований, не позволили провести формализованный метаанализ, как и в исследовании Ньюмана [44], который пытался проанализировать публикации на тему проблемно-ориентированного обучения. Неоднородность дизайна и качества исследований, не стандартизованные методики оценки результатов обучения и другие существенные различия в журнальных статьях (например, многие авторы не указывали средние значения, стандартные отклонения и коэффициенты достоверности) не позволили провести количественный синтез полученных данных.

Ограничения данного обзора

Все научные тексты имеют ограничения (в редких случаях неудачные результаты), и данный обзор не стал исключением. Основным ограничением послужил тот факт, что качество и достоверность полученных результатов непосредственно зависели от качества первичных исследований, которые отбирались для анализа на заключительном этапе. На рис. 3ж мы продемонстрировали, что результаты примерно 80% научных исследований в лучшем случае оказались неодно -значными. И только 20% результатов всех публикаций, включенных в отчет, оказались очевидными и, вероятно, достоверными. Следовательно, состояние научной доказательной базы, касающейся симуляционно-го обучения, не позволяет сформулировать убедительные выводы и обобщенные замечания о какой-либо эффективности. Однако направление доказательств совершенно очевидно — высокотехнологичные симуляции работают при соблюдении определенных условий.

Актуальные исследовательские задачи

Отсутствие однозначных результатов в большей части исследований применения симуляционного обучения явно требует проведения более качественных научных исследований в данном секторе медицинского образования. Ответственность лежит не только на тех ученых, которые планируют и выполняют научные исследования, но и на тех редакторах журналов и редакционных коллегий, которые должны оценивать присылаемые им рукописи и устанавливать стандарты качества публикаций. Исследованиям со слабым дизайном, небольшой выборкой, невниманием к психометрическим свойствам показателей и дефектным анализом не хватает строгого редакционного контроля; такие работы не развивают педагогику. Те журнальные статьи, в которых нет уточняющих сведений о полученных данных и используемых методах, препятствуют четкой интерпретации результатов и их последующему использованию. Как отметили Колливер [12], Лурье [35] и члены

Таблица 4. Характерные особенности и основные способы использования медицинских симуля-торов с высокой достоверностью воспроизведения, которые обеспечивают эффективное обучение (Номер исследования соответствует порядковому номеру в перечне из Приложения 2)

#

Характерные особен- Коли- Убедитель- Номер исследования Комментарии ности и основные спо- чество ность резуль-собы использования иссле- татов дований

На протяжении обучения предоставлялась обратная связь 51 3,5 1, 2, 6, 10, 11, 12, 13, 16, 21, 23, 24, 28, 31, 32, 35, 38, 41, 42, 46, 47, 50, 51, 52, 58, 59, 61, 62, 63, 64, 70, 71, 72, 73, 75, 78, 79, 80, 81, 87, 88, 91, 92, 93, 94, 99, 100, 101, 103, 104, 105, 107 Замедляет утрату ранее приобретенных навыков; самостоятельная оценка результатов позволяет учащимся следить за прогрессом обучения; может быть встроена в тренажер, либо -в виде замечаний инструктора во время учебных занятий или позже, либо - в виде краткого разбора видеозаписи.

Привлечение уча- 43 3,2 1, 2, 5, 12, 16, 19, 26, 28, Основной фактор эффектив-щихся к повторному 32, 33, 34, 38, 39, 40, 41, ности обучения в исследованиях, выполнению упраж- 42, 43, 46, 47, 50, 51, 53, изучавших перенос приобретен-нений 54, 55, 59, 69, 70, 73, 75, ных навыков в реальную клини- 80, 81, 83, 86, 90, 91, 92, ческую практику; укорачивает 94, 97, 98, 101, 105, 106, учебные траектории и приводит 108 к ускорению автоматизма; симу-лятор должен быть доступным -удобное расположение, встраивание в учебную программу.

Занятия на симулято-ре встроены в общую учебную программу 27 3,2 4, 14, 15, 16, 19, 21, 22, 24, 30, 31, 37, 39, 41, 44, 52, 56, 57, 61, 62, 63, 64, 67, 72, 75, 88, 93, 95 Занятия на симуляторе полностью встроены в общую учебную программу, например, ACLS, ATLS, CRM, базовый курс хирургии.

Учащиеся выполняют 15 3,0 7, 17, 22, 28, 32, 33, 34, 35, Последовательно возрастающие задания с возрас- 47, 48, 51, 54, 73, 99, 100 уровни сложности повышают тающими уровнями мастерство владения навыком. сложности

Адаптация к различным образовательным стратегиям 11 3,2 21, 24, 25, 26, 39, 44, 46, 72, 74, 95, 107 Симулятор использовался в больших и малых группах с преподавателем; в больших и малых группах без преподавателя; в виде индивидуальных самостоятельных занятий.

#

(продолжение табл. 4)

#

Характерные особен- Коли- Убедитель- Номер исследования Комментарии

ности и основные спо- чество ность резуль-

собы использования иссле- татов

дований

Широкий клинический 11 3,1 4, 9, 20, 26, 27, 81, 84, 95, Поможет учащимся встретиться

охват 96, 99, 100 с большим количеством вир-

туальных больных;уравнивает

возможности небольших учеб-

ных центров; позволяют уча-

щимся и попрактиковаться

в дифференциации и лечении

редких заболеваний.

Контролируемые 10 3,2 2, 19, 20, 26, 46, 75, 82, Учащиеся могут совершать

условия 85, 95, 96 и выявлять ошибки без нега-

тивных последствий; препода-

ватели могут сосредоточиться

на учащихся и на отдельных

деталях обучения; отражает

те принципы образовательной

культуры, на которых основано

этическое партнерство учащих-

ся и пациентов.

Индивидуали- 10 3,3 1, 16, 21, 26, 31, 46, 52, 72, Обеспечивает получение вос-

зированное обучение 88, 109 производимого и стандартизо-

ванного учебного опыта всеми

учащимися; ученик является

активным участником процесса

обучения, ответственным за

собственный результат.

Четко обозначенные 7 3,1 1, 29, 31, 62, 63, 64, 90 Учащиеся имеют больше шан-

результаты или про- сов освоить ключевые навыки,

межуточные резуль- если итоговые результаты четко

таты определены и соответствуют их

уровню подготовки.

Достоверность симу- 4 2,9 8, 18, 22, 99 Внешняя достоверность - реа-

лятора лизм симулятора формирует

контекст для понимания

сложных принципов/заданий,

повышает навыки зрительно-

пространственного восприятия;

учащиеся предпочитают вирту-

альный реализм; конкурентная

достоверность - способность

переноса навыков, основанных

на тренажере, в реальную кли-

ническую практику.

Ф

#

Объединенного совета экспертов журнала «Academic Medicine» и Рабочей группы GEA-RIME [32], исследования в области медицинского образования нуждаются в существенном улучшении, для того чтобы приумножать наши знания и информировать практикующих специалистов. Дополнительным результатом данного обзора, проводившегося под эгидой BEME, была разработка более формализованных рекомендаций для тех лиц, кто желает проводить образовательные исследования, посвященные применению симуляторов (рис. 4).

Осталась не затронута одна область исследований, которая идеально подходит для применения высокореалистичных симулято-ров в медицинском образовании, она связана с внедрением моделей обучения контролю заболевания. Если коротко, то обучение контролю заболеваний направлено на получение одинаковых учебных результатов у всех обучающихся при самых строгих учебных стандартах качества. Время, необходимое для достижения умения контроля заболевания, является одной из переменных в уравнении, характеризующем эффективность обучения. Например, если целью обучения является проведение аускультации сердца с 90% точностью, то учащимся разрешалось обдуманно практиковаться с симулятором кардиологического пациента на протяжении такого периода времени, которое требовалось для достижения заданного стандарта. При обучении мастерскому владению какими-либо знаниями или навыками учебные результаты у всех одинаковые, но время, необходимое для их достижения, варьируется [5, 6, 10]. Обучение мастерству также является ключевым компонентом образования на основе компетентности [37].

Оценка качественных показателей медицинского образования также име-

ет место в дорожной карте исследований высокореалистичных симуляторов. Мы должны знать больше о том, как создавать и поддерживать позитивную, мотивирующую атмосферу обучения в медицинских симуляционных центрах. Это будет стимулировать медицинских учащихся на всех уровнях к поиску симуляционного обучения, что поможет им стать превосходными врачами. Образовательная эффективность медицинского симуляционного центра практически разрушается в тот самый момент, когда он начинает восприниматься как тир, предназначенный для решения проблем учащихся и выявления их недостатков, а не для улучшения навыков. Данный феномен объясняет широко рас про -страненную среди медицинских учащихся боязнь тестирования [13, 39]; его влияние необходимо снижать.

Заслуживает упоминания одно дополнительное наблюдение, полученное при проведении данного исследования. Мы отметили в ретроспективном анализе, но не проводили проспективный обзор, тот факт, что лишь немногие авторы исследований цитировали публикации за пределами своей области. Как правило, анестезиологи цитировали анестезиологические издания; хирурги упоминали исследования, опубликованные в хирургических изданиях; компьютерные специалисты и инженеры также цитировали соответствующие публикации. Всего в нескольких журнальных статьях о высокореалистичных медицинских симуляторах цитировались публикации, посвященные общим вопросам медицинского образования; еще меньше было цитат из торгово-промышленных статей, авиации и военного дела. По-видимому, в этой области исследований мало внимания уделяется сущности педагогической науки, а также ее методологической глу-

#

Соответствие дизайна исследования его целям и задачам

1. Четкое формулирование исследовательского вопроса.

2. Осведомленность о современных представлениях в данной области (литература).

3. Четкая характеристика:

а)популяции;

б)выборки из популяции.

4. Описание эксперимента:

а)частота;

б)длительность.

5. Проспективное или ретроспективное?

6. Случайный выбор участников или целенаправленный отбор?

7. Доказательства эквивалентности ключевых параметров во всех группах до начала проведения исследования?

8. Соответствует ли формат итоговых результатов целям и задачам исследования?

9. Информация об объективных показателях, характеризующих конечные точки исследования:

а)надежность;

б)достоверность.

10. Измерения показателей до начала исследования: да / нет.

11. Последующие измерения результатов (оценка поддержания эффекта после завершения основной фазы исследования): да / нет.

Надлежащее проведение исследования

12. Небольшая убыль участников (либо без убывания) или значительная убыль: сколько?

13. Характеристики симулятора

а)надежность (согласованное функционирование модели);

б)достоверность (например, различие результатов у новичка и эксперта).

Соответствующий анализ данных

14. Корректные аналитические подходы: да / нет

15. Большая величина эффекта или меньшая величина эффекта?

16. Статистическая значимость: да / нет.

17. Описание целевого стандарта итоговой практической деятельности (результата обучения): да / нет.

18. Результаты обучения соответствуют или превосходят запланированный стандарт: да / нет.

19. Доказательства того, что результаты обучения можно перенести в клиническую практику: да / нет

Качество выводов и рекомендаций

20. Выводы и рекомендации выполнены на основании результатов исследования и не противоречат им.

Ф

Рис. 4. Рекомендации для проведения педагогических научных исследований, касающихся использования симуляторов

Медицинское образование и профессиональное развитие №1 (19) 2015 I 55

#

бине и ширине. Мы пришли к выводу, что исследователи должны быть лучше информированы, если симуляционное обучение в медицине будет развиваться как отдельная дисциплина.

Выводы

Данный отчет BEME представляет собой первый систематизированный обзор научных данных об использовании высокореалистичных медицинских симулято-ров, которое лежит в основе эффективного обучения. Нашей целью был всесторонний охват научных публикаций с проведением детального и строгого анализа. Задача состояла в том, чтобы нарисовать объективный портрет современного состояния знаний про использование высокореалистичных симуляторов с в медицинском образовании и определить перспективы дальнейших научных исследований в данной области. Мы считаем успехом уже то, что наши читатели теперь лучше информированы об этой новой технологии медицинского обучения и мотивированы на продвижение медицинских симуляцион-ных учебных технологий при помощи общественной поддержки, обучения и дальнейших исследований.

Отчет начинается с широкого и глубокого введения в 34-летнюю историю и современное использование высокореалистичных симуляторов в медицинском образовании. Научный подход, который мы использовали для проведения систематизированного обзора, подробно описан в разделе «Методы». Наши результаты представлены в трех подразделах: 1) точность кодирования, 2) исследование ключевых особенностей статей, включенных в обзор и 3) характерные особенности

симуляторов, способы их использования и эффективное обучение. После обсуждения результатов мы представляем наши выводы по трем категориям: что означают полученные результаты, ограничения данного обзора и актуальные исследовательские задачи.

Цель нашего проекта — на основании данных из доступной научной литературы выявить убедительные доказательства эффективного использования высокореалистичных симуляторов в медицинском образовании. Мы не оценивали, являются ли симуляторы более или менее эффективным инструментом, чем традиционные или альтернативные методы. Скорее всего, мы пришли бы к тем же выводам, что и другие исследователи, сравнивавшие различные виды образовательных вмешательств [15, 44]. Вместо этого мы намеренно выбрали те статьи, в которых продемонстрировано эффективное обучение с помощью симуляторов, по крайней мере, на уровне участия и, в большинстве случаев, улучшение знаний, навыков и отношения. Это позволило нам рассмотреть и оценить доступные научные данные, выделить несколько важных особенностей и способов использования симуля-торов, которые приведут к эффективному обучению:

• Обеспечение обратной связи на протяжении всего процесса обучения на симуляторах.

• Многократная отработка учащимися навыков на симуляторах.

• Интеграция симуляций в общую учебную программу.

• Выполнение учащимися упражнений с увеличением уровня сложности (если возможно).

• Адаптация симулятора для различных стратегий обучения.

Предоставление симулятором различных клинических ситуаций (если возможно).

Обучение на симуляторе должно проводиться в контролируемой среде. Обеспечение проведения индивидуального (помимо командного) обучения на симуляторе.

Четкое определение итоговых и промежуточных результатов, которые учащиеся должны достичь с помощью симулятора. Симулятор или тренажер должны быть достоверным средством обучения.

Финансирование/поддержка

Данный проект проводился при поддержке Департамента образования штата Флорида; добровольческой общественной организации «Friends for Life» («Друзья на всю жизнь»), г Майами, Флорида; Благотворительного семейного фонда Этель и У. Дж. Кеннеди, г. Корал Гэйблс, Флорида; Фонда Хтюготон, г Нью-Йорк, Нью-Йорк; компании Madeline and Bernard Sternlight Estate, г. Майами, Флорида; и организации Shepherd Broad Foundation, Inc., г. Майами, Флорида.

Благодарности

Майкл С. Гордон, Рональд М. Хар-ден, Ян Р. Харт, Пэт Лилли, и Алекс Хэйг внесли существенный административный или интеллектуальный вклад в проект. Мы также признательны административному и техническому персоналу Научно-исследовательского центра медицинского образования при Медицинской школе в Университете Майами за их постоянную поддержку нашей исследовательской работы.

Информация об авторах

С. Барри Айзенберг, доктор медицины, адъюнкт-профессор медицины, заместитель декана по исследованиям в области медицинского образования; директор по научной работе Центра исследований в области медицинского образования в Медицинской школе Университета Майами. Основная область его научных интересов — применение симуляционных технологий в медицинском образовании.

Уилльям МакГэги, доктор наук, профессор медицинского образования и профилактической медицины в Медицинской школе Файнберга Северо-западного университета, г. Чикаго. Около 30 лет занимается научными исследованиями в области медицинского образования.

Эмил Петруса, доктор наук, адъюнкт-профессор медицинского образования на кафедре хирургии; заместитель декана по оценке учебных программ в Медицинском центре Университета Дьюка. Основная область его научных интересов — использование симуляторов в медицинском образовании и оценка результатов обучения.

Дэйвид Ли Гордон, доктор медицины, профессор неврологии и медицины; руководитель неврологического обучения и заместитель директора Центра исследований в области медицинского образования в Медицинской школе Университета Майами. Основная область его научных интересов — обучение студентов-медиков и врачей-стажеров особенностям ухода за неврологическими пациентами.

Росс Скалезе, доктор медицины, ассистент-профессор медицины и заместитель директора по научной работе Центра исследований в области медицинского образования в Медицинской школе Университета Майами. Основная область научных интересов — использование инновационных симуляторов в медицинском образовании.

Вклад авторов

Концепция и дизайн исследования: Айзенберг, МакГэги, Петруса, Гордон, Скалезе Сбор данных: Айзенберг

Анализ и интерпретация данных: Айзенберг, МэкГаги, Петруса, Гордон, Скалезе Первый вариант текста обзора: МакГэги

Научное редактирование текста обзора:Айзенберг, Петруса, Гордон, Скалезе Статистическая экспертиза: МакГэги, Петруса Поиск финансирования: Айзенберг, Гордон Руководитель исследования: Айзенберг

Члены тематических экспертных групп, участвовавших в разработке обзора

Лица, участвовавшие в исследовательской работе на различных этапах проекта: Пол Барак (Paul Barach), MD, MPH,* Дональд Браун (Donald D. Brown), MD,f Гордон Иви (Gordon Ewy), MD,f Лорин Файнберг (Loryn Feinberg), MD,f Джоел Фелнер (Joel M. Feiner), MD,f* Ира Гесснер (Ira Gessner), MD, f* Дэйвид Гордон (David Lee Gordon), MD,*f С. Барри Иссенберг (S. Barry Issenberg), MD,*f Уиллиам МакГаги (William C McGaghie), PhD,*f Росанна Миллос (Rosanna Millos), MD, f Эмил Петруса (Emil R. Petrusa), PhD,*f Стюарт Прингл (Stewart Pringle), MD, f Росс Скалезе (Ross J. Scalese), MD,f Стивен Смолл (Stephen D. Small), MD,* Роберт Во (Robert A. Waugh), MD,f и Эми-тай Зив (Amitai Ziv), MD*. * пилотная фаза f фаза исследования

Специалист по информатике BEME: Алекс Хэйг (Alex Haig). Консультант BEME: Мэрлин Хэммик (Marilyn Hammick).

Литература

1. Abrahamson S., Denson J.S., Wolf R.M. Effectiveness of a simulator in training anesthesiology residents // J. Med. Educ. - 1969. - Vol. 44. - P. 515-519.

2. ACGME Outcomes Project. Accreditation Council for Graduate Medical Education website. Available at http:// www.acgme.org.2000. Accessed 2 August 2003.

3. Aviation Wfeek and Space Technology. Simulator trained Bush for a voluntary jump // Aviat. Week Space Technol. -1997. - 28 April. - Vol. 146. - P. 62.

4. Barach P., Moss F. Delivering safe health care: safety is a patient's right and the obligation of all health professionals // Qual. Health Care. - 2002. - Vol. 10. - P. 199-203.

5. Bloom B.S. Time and learning // Am. Psychol. - 1974. - Vol. 29. - P. 682-688.

6. Bloom B.S. Human Characteristics and School Learning. - New York: McGraw-Hill, 1976.

7. BognerM.S. (ed). Human Error in Medicine. - Hillsdale, N.J.: Lawrence Erlbaum Associates, 1994.

8. Brannick M.T., Salas E., Prince C. Team Performance Assessment and Measurement: Theory, Methods, and Applications. - Mahwah, N.J.: Lawrence Erlbaum Associates, 1997.

9. Brennan T.A., Leape L.L., Laird N.M. et al. Incidence of adverse events and negligence in hospitalized patients: results of the Harvard Medical Practice Study // N. Engl. J. Med. - 1991. - Vol. 324. - P. 370-376.

10. Carroll J.B. A model of school learning // Teachers College Record. - 1963. - Vol. 64. - P. 723-733.

11. Cicchetti D.V. The reliability of peer review for manuscript and grant submissions: a cross-disciplinary investigation // Behav. Brain Sci. - 1991. - Vol. 14. - P. 119-186.

12. Colliver J.A. The research enterprise in medical education // Teach. Learn. Med. - 2003. - Vol. 15. - P. 154-155.

13. Del Vecchio Good M.J. American Medicine: The Quest for Competence. - Berkeley, California: University of California Press, 1995.

14. Deziel D.J., Millikan K.W., Economou S.G. et al. Complications oflaparoscopic cholecystectomy: a national survey of 4,292 hospitals and an analysis of 77,604 cases // Am. J. Surg. - 1993. - Vol. 165. - P. 9-14.

15. Dolmans D. The effectiveness of PBL: the debate continues. Is meta-analysis helpful? // Med. Educ. - 2003. -Vol. 37. - P. 1129-1130.

16. Ericsson K.A. Deliberate practice and the acquisition and maintenance of expert performance in medicine and related domains // Acad. Med. - 2004. - Vol. 79, N 10. - Suppl. - P. 570-581.

17. Ericsson K.A., Charness N. Expert performance: its structure and acquisition // Am. Psychol. - 1994. -Vol. 49. - P. 725-747.

18. Ericsson K.A., Lehmann A.C. Expert and exceptional performance: evidence of maximal adaptation to task constraints // Annu. Rev. Psychol. - 1996. - Vol. 47. - P. 273-305.

19. Ericsson K.A., KrampeR.T, Tesch-RmerC. The role of deliberate practice in the acquisition of expert performance // Psychol. Rev. - 1993. - Vol. 100. - P. 363-406.

20. Eyler A.E., Dicken L.L., Fitzgerald J.T. et al. Teaching smoking-cessation counseling to medical students using simulated patients // Am. J. Prev. Med. - 1997. - Vol. 13. - P. 153-158.

21. Fincher R.M.E., Lewis L.A. Simulations used to teach clinical skills // International Handbook of Research in Medical Education. Part One / Eds G.R. Norman, C.P.M. van der Vleuten, D.I. Newble. - Dordrecht, the Netherlands: Kluwer Academic Publishers, 2002.

22. Gaba D. Human work environment and simulators // Anesthesia. 5th ed. / Ed. R.D. Miller. - Philadelphia: Churchill Livingstone, 2000.

23. Gallagher K.A., Satava R.M. Virtual reality as a metric for the assessment of laparoscopic psychomotor skills. Learning curves and reliability measures // Surg. Endosc. - 2002. - Vol. 16, N 12. - P. 1746-1752.

24. HaluckR.S., MarshallR.L., Krummel T.M., Melkonian M.G. Are surgery training programs ready for virtual reality? A survey of program directors in general surgery // J. Am. Coll. Surg. - 2001. - Vol. 193. - P. 660-665.

25. Harden R.M., Grant J., Buckley E.G., Hart I.R. BEME guide no. 1: Best Evidence Medical Education // Med. Teach. - 1999. - Vol. 21. - P. 553-562.

26. HelmreichR.L., SchaeferH.-G. Team performance in the operating room // Human Error in Medicine / Ed. M.S. Bogner. - Hillsdale, N.J.: Lawrence Erlbaum Associates, 1994.

27. IssenbergS.B., Gordon M.S., Gordon D.L. et al. Simulation and new learning technologies // Med. Teach. - 2001. -Vol. 16. - P. 16-23.

28. Issenberg S.B., Mcgaghie W.C., Brown D.D. et al. Development of multimedia computer-based measures of clinical skills in bedside cardiology // The Eighth International Ottawa Conference on Medical Education and Assessment Proceedings. Evolving Assessment: Protecting the Human Dimension / Ed. D.E. Melnick. - Philadelphia: National Board of Medical Examiners, 2000.

29. Issenberg S.B., Mcgaghie W.C., Gordon D.L. et al. Effectiveness of a cardiology review course for internal medicine residents using simulation technology and deliberate practice // Teach. Learn. Med. - 2002. - Vol. 14. -P. 223-228.

Медицинское образование и профессиональное развитие №1 (19) 2015 I 59

30. Issenberg S.B., Mcgaghie W.C., Hart I.R. et al. Simulation technology for health care professional skills training and assessment // JAMA. - 1999a. - Vol. 282. - P. 861-866.

31. Issenberg S.B., Petrusa E.R., Mcgaghie W.C. et al. Effectiveness of a computer-based system to teach bedside cardiology // Acad. Med. - 1999b. - Vol. 74, N 10. - Suppl. - P. S93-S95.

32. Joint Task Force of Academic Medicine and the GEA-RIME Committee. Review criteria for research manuscripts // Acad. Med. - 2001. - Vol. 76. - P. 898-978.

33. Kirkpatrick D.I. Evaluating Training Programs: The Four Levels. 2nd ed. - San Francisco: Berrett-Koehler Publishers, 1998.

34. Kohn L., Corrigan J., Donaldson M. To Err is Human: Building a Safer Health System. - Washington, DC: National Academy Press, 1999.

35. Lurie S.J. Raising the passing grade for studies of medical education // JAMA. - 2003. - Vol. 290. - P. 1210-1212.

36. Mangione S, Nieman L.Z. Cardiac auscultatory skills of internal medicine and family practice trainees: a comparison of diagnostic proficiency // JAMA. - 1997. - P. 278. - P. 717-722.

37. Mcgaghie W.C., Miller G.E., Sajid A., Telder T.V. Competency-Based Curriculum Development in Medical Education. Public Health Paper No. 68. - Geneva, Switzerland: World Health Organization, 1978.

38. McGaghie W.C. Simulation in professional competence assessment: basic considerations // Innovative Simulations for Assessing Professional Competence / Eds A. Tekian, C.H. McGuire, W.C. McGaghie. - Chicago: Department of Medical Education, University of Illinois at Chicago, 1999.

39. McGaghie W.C., Downing S.M., Kubilius R. What is the impact of commercial test preparation courses on medical examination performance? // Teach. Learn. Med. - 2004. - Vol. 16. - P. 202-211.

40. Meller G. A typology of simulators for medical education // J. Digit. Imaging. - 1997. - Vol. 10, N 3. - Suppl. 1, August. - P. 194-196.

41. Miller G.E. The assessment of clinical skills/ competence/performance // Acad. Med. - 1990. - Vol. 65, suppl. 9. - P. S63-S67.

42. Millos R.T., Gordon D.L., Issenberg S.B. et al. (2003). Development of a reliable multimedia computer-based measure of clinical skills in bedside neurology // Acad. Med. - 78, N 10. - Suppl. - P. S52-S54.

43. Neumann M, Siebert T, Rausch J. et al. Scorecard endoscopy: a pilot study to assess basic skills in trainees for upper gastrointestinal endoscopy // Langenbecks Arch. Surg. - 2003. - Vol. 387, N 9-10. - P. 386-391.

44. Newman M. and the Pilot Review Group. (2003) A pilot systematic review and meta-analysis on the effectiveness {^t- of problem based learning. Newcastle: Learning and Teaching Subject Network for Medicine, Dentistry

ad Veterinary Medicine. http://www.ltsn01.ac.uk/resources/ features/pbl.

45. Ojala M. Information professionals as technologists // Online. - 2002. - Vol. 26. - P. 5.

46. Pugh C.M., Youngblood P. Development and validation of assessment measures for a newly developed physical examination simulator // J. Am. Med. Inform. Assoc. - 2002. - Vol. 9. - P. 448-460.

47. Reeves S., Koppel I., Barr H. et al. Twelve tips for undertaking a systematic review // Med. Teach. - 2002. -Vol. 24. - P. 358-363.

48. Roldan C.A., Shivley B.K., Crawford M.H. Value of the cardiovascular physical examination for detecting valvular heart disease in asymptomatic subjects // Am. J. Cardiol. - 1996. - Vol. 77. - P. 1327-1331.

49. Rolfe J.M., Staples K.J. Flight Simulation. - Cambridge: Cambridge University Press, 1986.

50. Schaefer J.J., Dongilli T., Gonzalez R.M. Results of systematic psychomotor difficult airway training of residents using the ASA difficult airway algorithm and dynamic simulation // Anesthesiology. - 1998. - Vol. 89, N 3A. -Suppl. - P. A60.

51. Seligman J. Presidential high: more than 50 years after a tragic wartime jump, George Bush has a happier landing // Newsweek. - 1997, 7 April. - Vol. 129. - P. 68.

52. Spencer L.M., Spencer S.M. Competence at Work: Models for Superior Performance. - New York: John Wiley and Sons, 1993.

53. Tekian A., Mcguire C.G., Mcgaghie W.C. (eds). Innovative Simulations for Assessing Professional Competence. -Chicago: Department of Medical Education, University of Illinois at Chicago, 1999.

54. Thornton G.C., Mueller-Hanson R.A. Developing Organizational Simulations: A Guide for Practitioners and Students. - Mahwah, NJ: Lawrence Erlbaum Associates, 2004.

55. Wayne D.B., Butter J., Siddall V. et al. Simulation-based training of internal medicine residents in advanced cardiac life support protocols: a randomized trial // Teach. Learn. Med. - 2005. - Vol. 17, N 3. - P. 210-216.

56. Williams R.G., Klamen D.A., Mcgaghie W.C. Cognitive, social and environmental sources of bias in clinical competence ratings // Teach. Learn. Med. - 2003. - Vol. 15. - P. 270-292.

57. Woehr D.J., Huffcutt A.I. Rater training for performance appraisal: a quantitative review // J. Occup. Organ. Psychol. - 1994. - Vol. 67. - P. 189-205.

58. Wolf F.M. Lessons to be learned from evidence- based medicine: practice and promise of evidence-based education // Med. Teach. - 2000. - Vol. 22. - P. 251-259.

59. Zahn C., Miller M.R. Excess length of stay, charges, and mortality attributable to medical injuries during hospitalization // JAMA. - 2003. - Vol. 290. - P. 1868-1874.

Приложение 1.

Бланк кодирования ВЕМЕ

1. Административный раздел

Регистрационный номер:_

Тип источника:

Исследователь:

I I Книга

I | Комментарий

I I Материалы конференций/тезисы

] Редакционная статья

| | Рекомендации

|—| Интервью

|—| Журнальная статья

|—| Лекция

Информация об источнике: Авторы _

Название Издание _

I I Письмо I I Новости

I I Не рецензированная статья I I Официальная публикация ] Сообщение ] Статистические данные ] Тест(ы) ] Автореферат

Том, номер, страницы_

Метод поиска:

□ Электронный поиск

СИ Ручной поиск □ «Серая» литература НИ Рекомендация

2. Методы оценки

а. Дизайн исследования (отметьте все подходящие варианты) Несравнительные исследования

Предположение Утверждение

Предположение Утверждение

Аудит □ □ Историческое □ □

Описание действий □ □ Презентация случая □ □

Серия случаев □ □ Наблюдение □ □

Мнение эксперта □ □ Опрос □ □

Фокус-группа □ □

Если была отмечена какая-либо из перечисленных выше категорий, то далее определите более детальный подход:

Цитирование доказательных данных НИ Описательное □

Концептуальное Современное

□ □

Сравнительные исследования

Предположение

Одномоментное

□

Утверждение Предположение Утверждение

Случай-контроль Ц

#

Исследования с 1 группой Предположение Утверждение

Перед и после завершения исследования □

Временной ряд □ □

Когортные исследования

Проспективные □ □

Ретроспективные □ □

Исследования

Нерандомизированные □ □

Рандомизированные □ □

Обзор

Если была отмечена какая-либо из перечисленных выше категорий, то далее определите более детальный подход:

Цитирование доказательных данных Описательное

Метаанализ

б. Методы сбора данных

] Интервью ] Клинические исходы I | Наблюдение □ Вопросник

□ □ □

Концептуальное Современное

□ □

I I Мнение

I I Данные полученны при помощи симулятора / симуляции □ Тестирование с заданиями на выбор правильного ответа

из нескольких возможных

3. Ожидаемые результаты обучения (отметьте все подходящие варианты)

Данный раздел относится к предполагаемым или ожидаемым результатам образовательного

вмешательства или подхода. Это отличается от результатов исследования (раздел 6).

Предположение

Утверждение

Клинические навыки □ □

Практические процедуры □ □

Обследование пациента □ □

Лечение пациента □ □

Профилактика □ □

Коммуникация □ □

Соответствующие информационные навыки □ □

Понимание базовых/клинических научных дисциплин □ □

Соответствующее отношение □ □

Принятие соответствующих решений □ □

Роль медицинского работника □ □

Личностный рост □ □

Безопасность пациентов/уменьшение количества ошибок □ □

Пожалуйста, укажите отдельные навыки (например, кардиологическое обследование, интубация, пункция вены и т.д.) _

4. Контекст (целевая популяция), если это возможно

Количество участников / размер группы_

Страна / место проведения исследования_

Продолжительность экспозиции

I I < 10 часов П 10—100 часов Ц 100 и более часов Ц другое значение

Частота экспозиции (количество случаев / эпизодов применения симулятора)

] < 2 раз Ц от 2 до 5 раз Ц 6—10 раз Ц > 10 раз

Уровень / ступень образования

НИ До поступления в колледж

□ Учащийся колледжа

□ Медицинская школа

I I Резидентура (интернатура)

I I Аспирантура

] Последипломное образование/

] повышение квалификации

И Другое высшее образование, кроме медицинского

I I Первые курсы другого высшего образования, кроме медицинского ] Последние курсы другого высшего образования, кроме медицинского ] Подготовительные курсы / базовое образование по специальности

Профессия

□ Немедицинские науки

□ Медико-санитарные дисциплины НИ Первичная врачебная помощь

(терапия, семейная медицина, педиатрия, акушерство и гинекология)

□ Медицинские специальности (кардиолог, гастроэнтеролог, пульмонолог) 1—1 Хирургия

^ Анестезиология 5 Стоматология

□ (Сестринское дело

I I Близкие к медицине профессии

□ Ветеринария

Пожалуйста, укажите отдельные специальности (например, кардиология, неотложная медицина, анестезиология и т.д.)_

Сертификация

I I Высшая сертификация (лицензирование, профессиональная сертификация);

требуются для перехода к следующему уровню обучения. □ Менее значимые сертификаты (требуются для прохождения курса,

компонент комплексной оценки и т.д.) I I Неопределенная значимость/неприменимо к данному случаю

5. Заявленная цель исследования

Цель/задача исследования Предполагалась Утверждалась

6. Значение изучавшегося образовательного мероприятия

Закодируйте уровень влияния того образовательного мероприятия, которое изучалось в данном исследовании; подытожьте любые результаты обучения на соответствующем уровне. Замечание: это относится и к преднамеренным, и к непреднамеренным результатам.

Модель Киркпатрика

Уровень 1 Участие — охватывает взгляды обучающихся на опыт обучения, его проведение, содержание, методы обучения, а также другие аспекты организации учебы, материалов и качества обучения.

Уровень 2а Изменение отношения/восприятия — результаты связаны с изменениями взаимных отношений (или восприятия) между участниками обучения по отношению к учебному мероприятию / симуляции.

Ф _ Ф

Уровень 2Ь Изменение знаний и/или навыков — что касается знаний, то к данному уровню относятся: усвоение новых концепций, процедур и принципов; для умений — усвоение навыков мышления / решения проблем, психомоторных и социальных навыков

Уровень 3 Изменение поведения — формализует передачу результатов обучения на рабочее место или готовность учащихся применять новые знания и навыки.

Уровень 4a Изменение профессиональной деятельности — более широкие изменения в организации оказания медицинской помощи, связанные с результатами образовательной программой.

Уровень 4Ь Преимущества для пациентов — любое улучшение здоровья и благополучия пациентов, непосредственно связанные с результатами образовательной программы.

Медицинское образование и профессиональное развитие №1 (19) 2015

7. Оцените методы исследования

1. Актуальность дизайна исследования/обзора

2. Реализация дизайна исследования/обзора

3. Пригодность методики анализа данных

Абсолютно Абсолютно

не согласен Не согласен Не уверен Согласен согласен □ □ □ □ □

□ □

□ □

□ □

□ □

□ □

Комментарии по поводу методов исследования (если необходимо)

8. Убедительность результатов

Низкая Высокая

1 2 3 4 5

1. Невозможно прийти к однозначному заключению. □ □ □ □ □

Несущественные результаты

2. Результаты неоднозначны, но имеется тенденция □ □ □ □ □

3. На основании результатов, вероятно, □ □ □ □ □

можно сделать некоторые выводы

4. Результаты очевидны и, вероятно, неопровержимы □ □ □ □ □

5. Однозначные результаты □ □ □ □ □

9. Характеристики обучения (отметьте все подходящие варианты)

Для описания концептуальной модели исследования, пожалуйста, отметьте подходящие характеристики в каждой из 4 категорий.

Учебная программа

I I Ориентированная на местное сообщество I I Общая

I | Интегрированная, горизонтальная ] Интегрированная, вертикальная

Обучение I I Лекции I I Симуляция ] Небольшие группы ] На рабочем месте

Условия □

□ □

] Лаборатория Оценка результатов

Учебный кабинет Клиническая больница Поликлиника

I I Охватывающая несколько профессий ] Факультатив/отдельный учебный модуль

Ориентированная на результат ] Проблемно-ориентированная

I I Клиническое I | Компьютерное ] Групповое ] Самостоятельное

I I Тренировочный центр ] Клинические условия

Дистанционное обучение □ Другое

□ Обратная связь

□ Образцы работ

□ Практическая работа I I Письменно

#

10. Характерные образовательные особенности и способы применения симуляторов (отметьте все подходящие варианты) Предполагалось Утверждалось

Внедрено в соответствии с достоверной потребностью учебной программы

Интегрировано в учебную программу

Ученик четко представляет результаты обучения

Подлинность и реализм (реалистичность) симуляции

Возможность управления учебной средой

Удобно для ученика

Удобно для инструктора

Наличие обратной связи

Позволяет самостоятельное обучение

Возможность изменить уровень сложности

Позволяет инструктор-ориентированное обучения

Высокий / низкий уровень технического обслуживания

Потребность в помощи преподавателей и других сотрудников

Способ документирования производительности учащегося

Используется на различных уровнях обучения

Используйте для различных медицинских специальностей

Возможность моделирования различных клинических ситуаций

Пригодность для индивидуального обучения

Пригодность для обучения в небольших группах

Пригодность для обучения в больших группах

Роль преподавателя четко определена

Сертификат об участии

Сертификат об уровне владения навыком

Возможность повторной практики

Дополнительные особенности/способы использования

(лицензирование/сертификация и т.д.)_

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

□ □

11. Характеристики симулятора

Тип/модель симулятора_

Производитель _

12. Документированное улучшение обучения/успеваемости

Если в статье приводятся документированные примеры улучшения обучения / успеваемости то отметьте соответствующие пункты: Когнитивное знание

I I Симулятор

Практические психомоторные навыки Навыки принятия управленческих решений Высокоуровневая коммуникация

Навыки

(продемонстрированные в следующих условиях):

Реальная

клиническая

практика

Отношение (где уместно) Другое _

13. Общее впечатление о статье

Пожалуйста, оставьте какие-либо дополнительные комментарии по поводу общих сильных и слабых сторон данной статьи.

Медицинское образование и профессиональное развитие №1 (19) 2015

Приложение 2.

1. Abrahamson S., Denson J.S., Wolf R.M. Effectiveness of a simulator in training anesthesiology residents // J. Med. Educ. - 1969. - Vol. 44, N 6. - P. 515-519.

2. Agazio J.B., Pavlides C.C., Lasome C.E. et al. Evaluation of a virtual reality simulator in sustainment training // Mil. Med. - 2002. - Vol. 167, N 11. - P. 893-897.

3. Ahlberg G., Heikkinen T., Iselius L. et al. Does training in a virtual reality simulator improve surgical performance? // Surg. Endosc. - 2002. - Vol. 16. - P. 126-129.

4. Ali J., Gana T.J., Howard M. Trauma mannequin assessment of management skills of surgical residents after advanced trauma life support training // J. Surg. Res. - 2000. - Vol. 93, N 1. -P. 197-200.

5. Ali M.R., Mowery Y., Kaplan B., Demaria E.J. Training the novice in laparoscopy. More challenge is better // Surg. Endosc. - 2002. - Vol. 16, N 12. - P. 1732-1736.

6. Ashurst N., Rout C.C., Rocke D.A., Gouws E. Use of a mechanical simulator for training in applying cricoid pressure // Br. J. Anaesth. - 1996. - Vol. 77, N 4. - P. 468-472.

7. Begamaschi R., Dicko A. Instruction versus passive observation: a randomized educational research study on laparoscopic suture skills // Surg. Laparosc. Endosc. Percutan. Tech. - 2000. - Vol. 10, N 5. - P. 319-322.

8. Brehmer M., Tolley D. Validation of a bench model for endoscopic surgery in the upper urinary tract // Eur. Urol. - 2002. - Vol. 42, N 2. - P. 175-179, discussion p. 180.

9. Burdea G., Patounakis G., Popescu V., Weiss R.E. Virtual reality-based training for the diagnosis of prostate cancer // IEEE Trans. Biomed. Eng. - 1999. - Vol. 46, N 10. - P. 1253-1260.

10. Byrne A.J., Sellen A.J., Jones J.G. et al. Effect of videotape feedback on anaesthetists' performance ■ф while managing simulated anaesthetic crises: a multicentre study // Anaesthesia. - 2002. - Vol. 57,

N 2. - P. 176-179.

11. Chang K.K., Chung J.W., Wong T.K. Learning intravenous cannulation: a comparison of the conventional method and the CathSim Intravenous Training System // J. Clin. Nurs. - 2002. -Vol. 11, N 1. - P. 73-78.

12. Chaudhry A., Sutton C., Wood J. et al. Learning rate for laparoscopic surgical skills on MIST VR, a virtual reality simulator: quality of human-computer interface // Ann. R. Coll. Surg. Engl. -1999. - Vol. 81. - P. 281-286.

13. Chopra V., Gesink B.J., De Jong J. et al. Does training on an anaesthesia simulator lead to improvement in performance? // Br. J. Anaesth. - 1994. - Vol. 73, N 3. - P. 293-297.

14. Chung J.Y., Sackier J.M. A method of objectively evaluating improvements in laparoscopic skills // Surg. Endosc. - 1998. - Vol. 12. - P. 1111-1116.

15. Clancy J.M., Lindquist T.J., Palik J.F., Johnson L.A. A comparison of student performance in a simulation clinic and a traditional laboratory environment: three-year results // J. Dent. Educ. -2002. - Vol. 66, N 12. - P. 1331-1337.

16. ColtH.G., CrawfordS.W., Galbraith O. 3rd. Virtual reality bronchoscopy simulation: a revolution in procedural training // Chest. - 2001. - Vol. 120, N 4. - P. 1333-1339.

17. Crossan A., Brewster S., ReidS., Mellor, D. Comparison of simulated ovary training over six different skill levels // Proceedings of Eurohaptics 2001. - Birmingham, UK, 2002. - P. 17-21. [www.dcs. gla.ac.uk/~stephen/papers/Eurohaptics2001_crossan.pdf, accessed 20 August 2003].

18. Derosis A.M., Fried G.M., Abrahamowicz M. et al. Development of a model for training and evaluation of laparoscopic skills // Am. J. Surg. - 1998. - Vol. 175. - P. 482-487.

19. Derosis A.M., Bothwell J., Sigman H.H., Fried G.M. The effect of practice on performance in a laparoscopic simulator // Surg. Endosc. - 1998. - Vol. 12. - P. 1117-1120.

20. Dobson H.D., Pearl R.K., Orsay C.P. et al. Virtual reality: new method of teaching anorectal and pelvic floor anatomy // Dis. Colon Rectum. - 2003. - Vol. 46, N 3. - P. 349-352.

21. Done M.L., ParrM. Teaching basic life support skills using self-directed learning, a self-instructional video, access to practice manikins and learning in pairs // Resuscitation. — 2002. — Vol. 52, N 3. — P. 287-291.

22. EdmondC.V. Jr. Impact of the endoscopic sinus surgical simulator on operating room performance // Laryngoscope. - 2002. - Vol. 112, N 7. - Pt 1. - P. 1148-1158.

23. Engum S.A., Jeffries P., Fisher L. Intravenous catheter training system: computer-based education versus traditional learning methods // Am. J. Surg. - 2003. - Vol. 186, N 1. - P. 67-74.

24. Euliano T.Y. Small group teaching: clinical correlation with a human patient simulator // Adv. Physiol. Educ. - 2001. - Vol. 25, N 1-4. - P. 36-43.

25. Euliano T.Y. Teaching respiratory physiology: clinical correlation with a human patient simulator // J. Clin. Monit. Comput. - 2000. - Vol. 16, N 5-6. - P. 465-470.

26. Ewy G.A., Felner J.M., Juul D. et al. Test of a cardiology patient simulator with students in fourth-year electives // J. Med. Educ. - 1987. - Vol. 62, N 9. - P. 738-743.

27. Farnsworth S.T., Tarmage D., Egan T.D. et al. Teaching sedation and analgesia with simulation // J. Clin. Monit. Comput. - 2000. - Vol. 16, N 4. - P. 273-285.

28. Ferlitsch A., Glauninger P., Gupper A. et al. Evaluation of a virtual endoscopy simulator for training in gastrointestinal endoscopy // Endoscopy. - 2002. - Vol. 34, N 9. - P. 698-702.

29. Forrest F.C., Taylor M.A., Postlethwaite K., Aspinall R. Use of a high-fidelity simulator to develop testing of the technical performance of novice anaesthetists // Br. J. Anaesth. - 2002. - Vol. 88, N 3. - P. 338-344.

30. Fried G.M., Derosis A.M., Bothwell J., Sigman H.H. Comparison of laparoscopic performance in vivo with performance measured in a laparoscopic simulator // Surg. Endosc. - 1999. -Vol. 13. - P. 1077-1081.

31. From R.P., Pearson K.S., Albanese M.A. et al. Assessment of an interactive learning system with «sensorized» manikin head for airway management instruction // Anesth. Analg. - 1994. - Vol. 79, N 1. - P. 136-142.

32. Gallagher A.G., Satava R.M. Virtual reality as a metric for the assessment of laparoscopic psychomotor skills. Learning curves and reliability measures // Surg. Endosc. - 2002. - Vol. 16, N 12. - P. 1746-1752.

33. Gallagher A.G., Hughes C., Mcclure N., Mcguigan J. A case-control comparison of traditional and virtual reality training in laparoscopic psychomotor performance // Minim. Invasive Ther. Allied Technol. - 2000. - Vol. 9. - P. 347-352.

34. Gallagher A.G., Reinhardt-Rutland A.H., Mcguigan J. et al. Virtual reality training in laparoscopic surgery: a preliminary assessment of minimally invasive surgical trainer virtual reality (MIST VR) // Endoscopy. - 1999. - Vol. 31, N 4. - P. 310-313.

35. Gass D.A., Curry L. Physicians' and nurses' retention of knowledge and skill after training in cardiopulmonary resuscitation // Can. Med. Assoc. J. - 1983. - Vol. 128, N 5. - P. 550-551.

36. Gerson L.B., Van Dam J. A prospective randomized trial comparing a virtual reality simulator to bedside teaching for training in sigmoidoscopy // Endoscopy. - 2003. - Vol. 35, N 7. - P. 569-575.

37. Gilbart M.K., Hutchison C.R., Cusimano M.D., Regehr G. A computer-based trauma simulator for teaching trauma management skills // Am. J. Surg. - 2000. - Vol. 179, N 3. - P. 223-228.

38. Gor M., Mccloy R., Stone R., Smith A. Virtual reality laparoscopic simulator for assessment in gynaecology // Br. J. Obstet. Gynaecol. - 2003. - Vol. 110, N 2. - P. 181-187.

39. Gordon M.S., Ewy G.A., Deleon A.C. Jr. et al. «Harvey», the cardiology patient simulator: pilot studies on teaching effectiveness // Am. J. Cardiol. - 1980. - Vol. 45, N 4. - P. 791-796.

40. Grantcharov T.P., Bardram L., Funch-Jensen P., Rosenberg J. Learning curves and impact of previous operative experience on performance on a virtual reality simulator to test laparoscopic surgical skills // Am. J. Surg. - 2003. - Vol. 185, N 2. - P. 146-149.

41. Hamilton E.C., Scott D.J., Fleming J.B. et al. Comparison ofvideo trainer and virtual reality training systems on acquisition of laparoscopic skills // Surg. Endosc. - 2002. - Vol. 16. - P. 406-411.

#

42. Hamilton E.C., Scott D.J., Kapoor A. et al. Improving operative performance using a laparoscopic hernia simulator // Am. J. Surg. - 2001. - Vol. 182, N 6. - P. 725-728.

43. Hasson H.M., Kumari N.V.A., Eekhout J. Training simulator for developing laparoscopic skills // J. Soc. Laparoendosc. Surg. - 2001. - Vol. 5. - P. 255-265.

44. Hosking E.J. Does practicing intubation on a manikin improve both understanding and clinical performance of the task by medical students // Anesth. Points West. - 1998. - Vol. 31, N 2. -P. 25-28.

45. Hyltander A., Liljegren E., Rhodin P.H., Lonroth H. The transfer of basic skills learned in a laparoscopic simulator to the operating room // Surg. Endosc. - 2002. - Vol. 16, N 9. -P. 1324-1328.

46. Issenberg S.B., Mcgaghie W.C., Gordon D.L. et al. Effectiveness of a cardiology review course for internal medicine residents using simulation technology and deliberate practice // Teach. Learn. Med. - 2002. - Vol. 14, N 4. - P. 223-228.

47. Jordan J.A., GallagherA.G., Mcguigan J., McclureN. Virtual reality training leads to faster adaptation to the novel psychomotor restrictions encountered by laparoscopic surgeons // Surg. Endosc. -2001. - Vol. 15. - P. 1080-1084.

48. Jordan J.A., Gallagher A.G., Mcguigan J. et al. A comparison between randomly alternating imaging, normal laparoscopic imaging, and virtual reality training in laparoscopic psychomotor skill acquisition // Am. J. Surg. - 2000. - Vol. 180, N 3. - P. 208-211.

49. Kaczorowski J., Levitt C., Hammond M. et al. Retention of neonatal resuscitation skills and knowledge: a randomized controlled trial // Fam. Med. - 1998. - Vol. 30, N 10. - P. 705-711.

50. Katz R., Nadu A., Olsson L.E. et al. A simplified 5-step model for training laparoscopic urethrovesical anastomosis // J. Urol. - 2003. - Vol. 169, N 6. - P. 2041-2044.

51. Kothari S.N., Kaplan B.J., Demaria E.J. et al. Training in laparoscopic suturing skills using a new computer-based virtual reality simulator (MIST-VR) provides results comparable to those with an established pelvic trainer system // J. Laparoendosc. Adv. Surg. Tech. - 2002. - Vol. 12, N 3. -P. 167-173.

52. Kovacs G., Bullock G., Ackroyd-Stolarz S. et al. A randomized controlled trial on the effect of educational interventions in promoting airway management skill maintenance // Ann. Emerg. Med. - 2000. - Vol. 36, N 4. - P. 301-309.

53. Mackay S., Morgan P., Datta V. et al. Practice distribution in procedural skills training: A randomized controlled trial // Surg. Endosc. - 2002. - Vol. 16, N 6. - P. 957-961.

54. Macdonald J., WilliamsR.G., RogersD.A. Self-assessment in simulation-based surgical skills training // Am. J. Surg. - 2003. - Vol. 185, N 4. - P. 319-322.

55. Macmillan A.I.M., CuschieriA. Assessment of innate ability and skills for endoscopic manipulations by the advanced Dundee endoscopic psychomotor tester: predictive and concurrent validity // Am. J. Surg. - 1999. - Vol. 177, N 3. - P. 274-277.

56. Marshall R.L., Smith J.S., Gorman P.J. et al. Use of a human patient simulator in the development of resident trauma management skills // J. Trauma: Injury, Infection and Critical Care. - 2001. -Vol. 51, N 1. - P. 17-21.

57. Modell J.H., Cantwell S., Hardcastle J. et al. Using the human patient simulator to educate students of veterinary medicine // J. Vet. Med. Educ. - 2002. - Vol. 29, N 2. - P. 111-116.

58. Monsky W.L., Levine D, Mehta T.S. et al. Using a sonographic simulator to assess residents before overnight call // AJR Am. J. Roentgenol. - 2002. - Vol. 178, N 1. - P. 35-39.

59. Moorthy K., Smith S., Brown T. et al. Evaluation of virtual reality bronchoscopy as a learning and assessment tool // Respiration. - 2003. - Vol. 70, N 2. - P. 195-199.

60. Morgan P.J., Cleave-Hogg D., Mcilroy J., Devitt J.H. A comparison of experiential and visual learning for undergraduate medical students // Anesthesiology. - 2002. - Vol. 96, N 1. - P. 10-16.

61. Nadel F.M., Lavelle J.M., Fein J.A. et al. Teaching resuscitation to pediatric residents: the effects of an intervention // Arch. Pediatr. Adolesc. Med. - 2000. - Vol. 154, N 10. - P. 1049-1054.

62. Neumann M., Hahn C., Horbach T. et al. Score card endoscopy: a multicenter study to evaluate learning curves in 1-week courses using the Erlangen Endo-Trainer // Endoscopy. — 2003. — Vol. 35, N 6. - P. 515-520.

63. Neumann M., Stangl T., Auenhammer G. et al. Laparoscopic cholecystectomy. Training on a biosimulation model with learning success documented using score-cards // Chirurg. — 2003. — Vol. 74, N 3. — P. 208—213.

64. Neumann M., Siebert T., Rausch J. et al. Scorecard endoscopy: a pilot study to assess basic skills in trainees for upper gastrointestinal endoscopy // Langenbecks Arch. Surg. — 2003. — Vol. 387, N 9—10. — P. 386—391.

65. Noordergraaf G.J., Van Gelder J.M., Van Kesteren R.G. et al. Learning cardiopulmonary resuscitation skills: does the type of mannequin make a difference? // Eur. J. Emerg. Med. — 1997. — Vol. 4, N 4. — P. 204—209.

66. Nyssen A.S., Larbuisson R., Janssens M. et al. A comparison of the training value of two types of anesthesia simulators: computer screen-based and mannequin-based simulators // Anesth. Analg. — 2002. — Vol. 94, N 6. — P. 1560—1565.

67. Oddone E.Z., Waugh R.A., Samsa G. et al. Teaching cardiovascular examination skills: results from a randomized controlled trial // Am. J. Med. — 1993. — Vol. 95, N 4. — P. 389—396.

68. OlympioM.A., WhelanR., FordR.P., SaundersI.C. Failure ofsimulation training to change residents' management of oesophageal intubation // Br. J. Anaesth. — 2003. — Vol. 91, N 3. — P. 312—318.

69. Ost D., Derosiers A., Britt E.J. et al. Assessment of a bronchoscopy simulator // Am. J. Respir. Crit. Care Med. — 2001. — Vol. 164, N 12. — P. 2248—2255.

70. O'toole R.V., Playter R.R., Krummel T.M. et al. Measuring and developing suturing technique with a virtual reality surgical simulator // J. Am. Coll. Surg. — 1999. — Vol. 189, N 1. — P. 114—128.

71. Ovassapian A., Yelich S.J., Dykes M.H., Golman M.E. Learning fiberoptic intubation: use of simulators v. traditional teaching // Br. J. Anaesth. — 1988. — Vol. 61, N 2. — P. 217—220.

72. Owen H., Plummer J.L. Improving learning of a clinical skill: the first year's experience of teaching endotracheal intubation in a clinical simulation facility // Med. Educ. — 2002. — Vol. 36, N 7. — P. 635—642.

73. Pearson A.M., Gallagher A.G., Rosser J.C., Satava R.M. Evaluation of structured and quantitative training methods for teaching intracorporeal knot tying // Surg. Endosc. — 2002. — Vol. 16. — P. 130—137.

74. Peugnet F., Dubois P., Rouland J.F. Virtual reality versus conventional training in retinal photocoagulation: a first clinical assessment // Comput. Aided Surg. — 1998. — Vol. 3, N 1. — P. 20-26.

75. Pittini R., Oepkes D., Macrury K. et al. Teaching invasive perinatal procedures: assessment of a high fidelity simulator-based curriculum // Ultrasound Obstet. Gynecol. — 2002. — Vol. 19, N 5. — P. 478—483.

76. Powers T.W., Murayama K.M., Toyama et al. Housestaff performance is improved by participation in a laparoscopic skills curriculum // Am. J. Surg. — 2002. — Vol. 184, N 6. — P. 626—629, discussion 629—630.

77. Prystowsky J.B., Regehr G., Rogers D.A. et al. A virtual reality module for intravenous catheter placement // Am. J. Surg. — 1999. — Vol. 177, N 2. — P. 171—175.

78. Pugh C.M., Srivastava S., Shavelson R. et al. The effect of simulator use on learning and self-assessment: the case of Stanford University's E-Pelvis simulator // Stud. Health Technol. Inform. — 2001. — Vol. 81. —P. 396—400.

79. Risucci D., Cohen J.A., Garbus J.E. et al. The effects of practice and instruction on speed and accuracy during resident acquisition of simulated laparoscopic skills // Curr. Surg. — 2001. — Vol. 58, N 2. — P. 230—235.

80. Risucci D., Geiss A., Gellman L. et al. Experience and visual perception in resident acquisition of laparoscopic skills // Curr. Surg. — 2000. — Vol. 57, N 4. — P. 368—372.

81. Rowe R., Cohen R.A. An evaluation of a virtual reality airway simulator // Anesth. Analg. — 2002. — Vol. 95, N 1. - P. 62-66.

82. Salen P., O'connor R., Passarello B. et al. Fast education: a comparison of teaching models for trauma sonography // J. Emerg. Med. - 2001. - Vol. 20, N 4. - P. 421-425.

83. Salvendy G., Root C.M., Schiff A.J. et al. A second generation training simulator for acquisition of psychomotor skills in cavity preparation // J. Dent. Educ. - 1975. - Vol. 39, N 7. - P. 466-471.

84. Scherer Y.K., Bruce S.A., Graves B.T., Erdley W.S. Acute care nurse practitioner education: enhancing performance through the use of clinical simulation // American Association of Critical Care Nurses Clinical Issues. - 2003. - Vol. 14, N 3. - P. 331-341.

85. Schwid H.A., Rooke G.A., Carline J. et al. Anesthesia Simulator Research Consortium. Evaluation of anesthesia residents using mannequin-based simulation: a multiinstitutional study// Anesthesiology. - 2002. - Vol. 97, N 6. - P. 1434-1444.

86. Scott D.J., Young W.N., Tesfay S.T. et al. Laparosopic skills training // Am. J. Surg. - 2001. -Vol. 182. - P. 137-142.

87. Scott D.J., Rege R.V., Bergen et al. Measuring operative performance after laparoscopic skills training: edited videotape versus direct observation // J. Laparoendosc. Adv. Surg. Tech. - 2000. -Vol. 10, N 4. - P. 183-190.

88. Scott D.J., Bergen P.C., Rege R.V. et al. Laparoscopic training on bench models: better and more cost effective than operating room experience? // J. Am. Coll. Surg. - 2000. - Vol. 191. - P. 272-283.

89. Sedlack R., Petersen B., Binmoeller K., Kolars J. A direct comparison of ERCP teaching models // Gastrointest. Endosc. - 2003. - Vol. 57, N 7. - P. 886-890.

90. Seymour N.E., Gallagher A.G., Roman S.A. et al. Virtual reality training improves operating room performance: results of a randomized, double-blinded study // Ann. Surg. - 2002. - Vol. 236, N 4. - P. 458-463.

91. Shah J., Montgomery B., Langley S., DarziA. Validation of a flexible cystoscopy course // Br. J. Urol. Int. - 2002. - Vol. 90, N 9. - P. 833-835.

92. Shah J., Darzi A. Virtual reality flexible cystoscopy: a validation study // Br. J. Urol. Int. - 2002. -Vol. 90, N 9. - P. 828-832.

93. Stratton S.J., Kane G., Gunter C.S. et al. Prospective study of manikin-only versus manikin and human subject endotracheal intubation training of paramedics // Ann. Emerg. Med. - 1991. -Vol. 20, N 12. - P. 1314-1318.

94. Strom P., Kjellin A., Hedman L. et al. Validation and learning in the Procedicus KSA virtual reality surgical simulator // Surg. Endosc. - 2003. - Vol. 17, N 2. - P. 227-231.

95. Tan G.M., Ti L.K., Suresh S. et al. Teaching first-year medical students physiology: does the human patient simulator allow for more effective teaching? // Singapore Med. J. - 2002. - Vol. 43, N 5. - P. 238-242.

96. Treloar D., Hawayek J., Montgomery J.R., Russell W.: Medical Readiness Trainer Team. On-site and distance education of emergency medicine personnel with a human patient simulator // Mil. Med. - 2001. - Vol. 166, N 11. - P. 1003-1006.

97. Torkington J., Smith S.G.T., Rees B.I., Darzi A. The role of the basic surgical course in the acquisition and retention of laparoscopic skill // Surg. Endosc. - 2001. - Vol. 15. - P. 1071-1075.

98. Torkington J., Smith S.G.T., Rees B.I., Darzi A. Skill transfer from virtual reality to a real laparoscopic task // Surg. Endosc. - 2001. - Vol. 15. - P. 1076-1079.

99. TuggyM.L. Virtual reality flexible sigmoidoscopy simulator training: impact on resident performance // J. Am. Board Fam. Pract. - 1998. - Vol. 11, N 6. - P. 426-433.

100. Watterson J.D., Beiko D.T., Kuan J.K., Denstedt J.D. Randomized prospective blinded study validating acquisition of ureteroscopy skills using computer based virtual reality endourological simulator // J. Urol. - 2002. - Vol. 168, N 5. - P. 1928-1932.

101. Weghorst S., Airola C., Oppenheimer P. et al. Validation of the Madigan ESS simulator // Stud. Health Technol. Inform. - 1998. - Vol. 50. - P. 399-405.

102. Wik L., Dorph E, Auestad B., Steen P.A. Evaluation of a defibrillator-basic cardiopulmonary resuscitation programme for non medical personnel // Resuscitation. — 2003. — Vol. 56, N 2. — P. 167-172.

103. Wik L., Myklebust H., Auestad B.H., Steen P.A. Retention of basic life support skills 6 months after training with an automated voice advisory manikin system without instructor involvement // Resuscitation. - 2002. - Vol. 52, N 3. - P. 273-279.

104. Wik L., Thowsen J., Steen P.A. An automated voice advisory manikin system for training in basic life support without an instructor. A novel approach to CPR training // Resuscitation. - 2001. -Vol. 50, N 2. - P. 167-172.

105. Wilhelm D.M., Ogan K., Roehrborn C.G. et al. Assessment of basic endoscopic performance using a virtual reality simulator // J. Am. Coll. Surg. - 2002. - Vol. 195, N 5. - P. 675-681.

106. Wong D.T., Prabhu A.J., Coloma M. et al. What is the minimum training required for successful cricothyroidotomy?: a study in mannequins // Anesthesiology. - 2003. - Vol. 98, N 2. - P. 349353.

107. Woolliscroft J.O., Calhoun J.G., Tenhaken J.D., Judge R.D. Harvey: the impact of a cardiovascular teaching simulator on student skill acquisition // Med. Teach. - 1987. - Vol. 9, N 1. - P. 53-57.

108. Yoshii C., Anzai T, Yatera K. et al. A new medical education using a lung sound auscultation simulator called «Mr. Lung» // J. UOEH. - 2002. - Vol. 24, N 3. - P. 249-255.

109. Young T.J., Hayek R., Philipson, S.A. A cervical manikin procedure for chiropractic skills development // J. Manipulative Physiol. Ther. - 1998. - Vol. 21, N 4. - P. 241-245.

#

Приложение 3

1. Bucx M.J., Van Geel R.T., Wegener J.T. et al. Does experience influence the forces exerted on maxillary incisors during laryngoscopy? A manikin study using the Macintosh laryngoscope // Can. J. Anaesth. - 1995. - Vol. 42, N 2. - P. 144-149.

2. ByrneA.J., Jones J.G. Responses to simulated anaesthetic emergencies by anaesthetists with different durations of clinical experience // Br. J. Anaesth. - 1997. - Vol. 78, N 5. - P. 553-536.

3. Datta V., Mandalia M., Mackay S., Darzi A. The PreOp flexible sigmoidoscopy trainer. Validation and early evaluation of a virtual reality based system // Surg. Endosc. - 2002. - Vol. 16, N 10. -P. 1459-1463.

4. Deanda A., Gaba D.M. Role of experience in the response to simulated critical incidents // Anesth. Analg. - 1991. - Vol. 72, N 3. - P. 308-315.

5. Derosis A.M., Antoniuk M., Fried G.M. Evaluation of laparoscopic skills: a 2-year follow-up during residency training // Can. J. Surg. - 1999. - Vol. 42, N 4. - P. 293-296.

6. Devitt J.H., Kurrek M.M., Cohen M.M., Cleave-Hogg D. The validity of performance assessments using simulation // Anesthesiology. - 2001. - Vol. 95, N 1. - P. 36-42.

7. Dorafshar A.H., O'boyle D.J., Mccloy R.F. Effects of a moderate dose of alcohol on simulated laparoscopic surgical performance // Surg. Endosc. - 2002. - Vol. 16, N 12. - P. 1753-1758.

8. Eastridge B.J., Hamilton E.C., O'keefe G.E. et al. Effect of sleep deprivation on the performance of simulated laparoscopic surgical kill // Am. J. Surg. - 2003. - Vol. 186, N 2. - P. 169-174.

9. Emam T.A., Hanna G.B., Kimber C., Cuschieri A. Differences between experts and trainees in the motion pattern of the dominant upper limb during intracorporeal endoscopic knotting // Dig. Surg. -2000. - Vol. 17. - P. 120-125.

10. Francis N.K., Hanna G.B., Cuschieri A. The performance of master surgeons on the advanced Dundee endoscopic psychomotor tester: contrast validity study // Arch. Surg. - 2002. - Vol. 137, N 7. - P. 841-844.

11. Fraser S.A., Klassen D.R., Feldman L.S. et al. Evaluating laparoscopic skills // Surg. Endosc. -2003. - Vol. 17, N 6. - P. 964-947.

12. Gaba D.M., Deanda A. The response of anesthesia trainees to simulated critical incidents // Anesth. Analg. - 1989. - Vol. 68, N 4. - P. 444-451.

13. Gallagher A.G., Richie K., Mcclure N., Mcguigan J. Objective psychomotor skills assessment of experienced, junior, and novice laparoscopists with virtual reality // World J. Surg. - 2001. -Vol. 25, N 11. - P. 1478-1483.

14. Gallagher H.J., Allan J.D., Tolley D.A. Spatial awareness in urologists: are they different? // Br. J. Urol. Int. - 2001. - Vol. 88. - P. 666-670.

15. Grantcharov T.P., Bardram L., Funch-Jensen P., Rosenberg J. Impact of hand dominance, gender, and experience with computer games on performance in virtual reality laparoscopy // Surg. Endosc. -2003. - Vol. 17, N 7. - P. 1082-1085.

16. Grantcharov T.P., Bardman L., Funch-Jensen P., Rosenberg, J. Laparoscopic performance after one night on call in a surgical department: prospective study // Br. Med. J. - 2001. - Vol. 323. -P. 1222-1223.

17. Haluck R.S., Webster R.W., Snyder A.J. et al. A virtual reality surgical trainer for navigation in laparoscopic surgery // Stud. Health Technol. Inform. - 2001. - Vol. 81. - P. 171-177.

18. Hanna G.B., Cresswell A.B., Cuschieri A. Shadow depth cues and endoscopic task performance // Arch. Surg. - 2002. - Vol. 137. - P. 1166-1169.

19. Holcomb J.B., Dumire R.D., Crommett J.W. et al. Evaluation of trauma team performance using an advanced human patient simulator for resuscitation training // J. Trauma: Injury, Infection and Critical Care. - 2002. - Vol. 52, N 6. - P. 1078-1085.

20. Hotchkiss M.A., Biddle C., Fallacaro M. Assessing the authenticity of the human simulation experience in anesthesiology // American Association of Nurse Anesthetists (AANA) J. - 2002. -Vol. 70, N 6. - P. 470-473.

21. Howard S.K., Gaba D.M., Smith B.E. et al. Simulation study of rested versus sleep-deprived anesthesiologists // Anesthesiology. - 2003. - Vol. 98, N 6. - P. 1345-1355.

22. Johnston R., Bhoyrul S., Way L. et al. Assessing a virtual reality surgical skills simulator // Stud. Health Technol. Inform. - 1996. - Vol. 29. - P. 608-617.

23. Jones D.B., Brewer J.D., Soper N.J. The influence of three-dimensional video systems on laparoscopic task performance // Surg. Laparosc. Endosc. - 1996. - Vol. 6, N 3. - P. 191-197.

24. Jones J.S., Hunt S.J., Carlson S.A., Seamon J.P. Assessing bedside cardiologic examination skills using «Harvey», a cardiology patient simulator // Acad. Emerg. Med. - 1997. - Vol. 4, N 10. -P. 980-985.

25. Lampotang S. Influence of pulse oximetry and capnography on time to diagnosis of critical incidents in anesthesia: a pilot study using a full-scale patient simulator // J. Clin. Monit. Comput. - 1998. -Vol. 14, N 5. - P. 313-321.

26. Mackay S., Datta V., Chang A. et al. Multiple Objective Measures of Skill (MOMS): A new approach to the assessment of technical ability in surgical trainees // Ann. Surg. - 2003. - Vol. 238, N 2. -P. 291-300.

27. Macdonald J., Ketchum J., Williams R.G., Rogers L.Q. A lay person versus a trained endoscopist. Can the PreOp Endoscopy simulator detect a difference? // Surg. Endosc. - 2003. - Vol. 17, N 6. - P. 896-898.

28. Mahmood T., Darzi A. A study to validate the colonoscopy simulator // Surg. Endosc. - 2003. -Vol. 17, N 10. - P. 1583-1589.

29. Mccarthy A., Harley P., SmallwoodR. Virtual arthroscopy training: do the «virtual skills» developed match the real skills required? // Stud. Health Technol. Inform. - 1999. - Vol. 62. - P. 221-227.

30. Mcnatt S.S., Smith C.D. A computer-based laparoscopic skills assessment device differentiates experienced from novice laparoscopic surgeons // Surg. Endosc. - 2001. - Vol. 15. - P. 1085-1089.

31. Moorthy K., Munz Y., Dosis A. et al. The effect of stress-inducing conditions on the performance of a laparoscopic task // Surg. Endosc. - 2003. - Vol. 17, N 9. - P. 1481-1484.

32. Morgan P.J., Cleave-Hogg D. Comparison between medical students' experience, confidence and competence // Med. Educ. - 2002. - Vol. 36, N 6. - P. 534-539.

33. Morgan P.J., Cleave-Hogg D. Evaluation of medical students' performance using the anaesthesia simulator // Med. Educ. - 2000. - Vol. 34, N 1. - P. 42-45.

34. Murray D., Boulet J., Ziv A. et al. An acute care skills evaluation for graduating medical students: a pilot study using clinical simulation // Med. Educ. - 2002. - Vol. 36, N 9. - P. 833-841.

35. Nakajima K., Wasa M., Takiguchi S. et al. A modular laparoscopic training program for pediatric surgeons // J. Soc. Laparoendosc. Surg. - 2003. - Vol. 7, N 1. - P. 33-37.

36. Neumann M., Friedl S., Meining A. et al. A score card for upper GI endoscopy: evaluation of interobserver variability in examiners with various levels of experience // Z. Gastroenterol. - 2002. -Vol. 40, N 10. - P. 857-862.

37. Paisley A.M., Baldwin P.J., Paterson-Brown S. Validity of surgical simulation for the assessment of operative skill // Br. J. Surg. - 2001. - Vol. 88. - P. 1525-1532.

38. Pedowitz R.A., Esch J., Snyder S. Evaluation of a virtual reality simulator for arthroscopy skills development // Arthroscopy. - 2002. - Vol. 18, N 6. - P. E29.

39. Pichichero M.E., Poole M.D. Assessing diagnostic accuracy and tympanocentesis skills in the management of otitis media // Arch. Pediatr. Adolesc. Med. - 2001. - Vol. 155, N 10. - P. 1137-1142.

40. Pugh C.M., YoungbloodP. Development and validation of assessment measures for a newly developed physical examination simulator // J. Am. Med. Inform. Assoc. - 2002. - Vol. 9, N 5. - P. 448-460.

41. Reznek M.A., Rawn C.L., Krummel, T.M. Evaluation of the educational effectiveness of a virtual reality intravenous insertion simulator // Acad. Emerg. Med. - 2002. - Vol. 9, N 11. - P. 1319-1325.

42. Reznick R., Regehr G., Macrae H. et al. Testing technical skill via an innovative bench station examination // Am. J. Surg. - 1996. - Vol. 172. - P. 226-230.

43. Rissucci D., Geiss A., Gellman L. et al. Surgeon-specific factors in the acquisition of laparoscopic surgical skills // Am. J. Surg. - 2001. - Vol. 181, N 4. - P. 289-293.

ТЕХНОЛОГИИ ОБУЧЕНИЯ

#

44. Rogers P.L., Jacob H., Rashwan A.S., Pinsky M.R. Quantifying learning in medical students during a critical care medicine elective: a comparison of three evaluation instruments // Crit. Care Med. — 2001. - Vol. 29, N 6. - P. 1268-1273.

45. Schijven M, Jakimowicz, J. Construct validity: experts and novices performing on the Xitact LS500 laparoscopy simulator // Surg. Endosc. - 2003. - Vol. 17, N 5. - P. 803-810.

46. Schijven M, Jakimowicz J. Face-, expert and referent validity of the Xitact LS500 laparoscopy simulator // Surg. Endosc. - 2002. - Vol. 16, N 12. - P. 1764-1770.

47. Schijven M.P., Jakimowicz J., Schot C. The advanced Dundee endoscopic psychomotor tester (ADEPT) objectifying subjective psychomotor test performance // Surg. Endosc. - 2002. -Vol. 16, N 6. - P. 943-948.

48. Schwid H.A., Rooke G.A., Michalowski P., Ross B.K. Screen-based anesthesia simulation with debriefing improves performance in a mannequin-based anesthesia simulator // Teach. Learn. Med. - 2001. - Vol. 13, N 2. - P. 92-96.

49. Sedlack R.E., Kolars J.C. Validation of a computer-based colonoscopy simulator // Gastrointest. Endosc. - 2003. - Vol. 57, N 2. - P. 214-218.

50. Semple M, Cook R. Social influence and the recording of blood pressure by student nurse: an experimental study // Nurse Res. - 2001. - Vol. 8, N 3. - P. 60-71.

51. Shah J., Buckley D., Frisby J., DarziA. Depth cue reliance in surgeons and medical students // Surg. Endosc. - 2003. - Vol. 17, N 9. - P. 1472-1474.

52. Shah J., Paul I., Buckley D. et al. Can tonic accommodation predict surgical performance? // Surg. Endosc. - 2003. - Vol. 17, N 5. - P. 787-790.

53. Sherman K.P., Ward J.W., Wills D.P. et al. Surgical trainee assessment using a VE knee arthroscopy training system (VE-KATS): experimental results // Stud. Health Technol. Inform. - 2001. -Vol. 81. - P. 465-470.

54. Sorrento A., Pichichero M.E. Assessing diagnostic accuracy and tympanocentesis skills by nurse practitioners in management of otitis media // J. Am. Acad. Nurse Pract. - 2001. - Vol. 13, N 11. - P. 524-529.

55. St Clair E.W., Oddone E.Z., Waugh R.A. et al. Assessing housestaff diagnostic skills using a cardiology patient simulator // Ann. Intern. Med. - 1992. - Vol. 117, N 9. - P. 751-756.

56. Sung W.H., Fung C.P., Chen A.C. et al. The assessment of stability and reliability of a virtual reality-based laparoscopic gynecology simulation system // Eur. J. Gynaecol. Oncol. - 2003. - Vol. 24, N 2. - P. 143-146.

57. Taffinder N., Sutton C., Fishwick R.J. et al. Validation of virtual reality to teach and assess psychomotor skills in laparoscopic surgery: results from randomized controlled studies using the MIST VR laparoscopic simulator // Stud. Health Technol. Inform. - 1998. - Vol. 50. - P. 124-130.

58. Twigg S.J., Mccormick B., Cook T.M. Randomized evaluation of the performance of single-use laryngoscopes in simulated easy and difficult intubation // Br. J. Anaesth. - 2003. - Vol. 90, N 1. - P. 8-13.

59. Uchal M., Brogger J., Rukas R. et al. In-line versus pistol-grip handles in a laparoscopic simulator. A randomized controlled crossover trial // Surg. Endosc. - 2002. - Vol. 16, N 12. - P. 1771-1773.

60. Uhrich M.L., Underwood R.A., Standeven J.W. et al. Assessment of fatigue, monitor placement, and surgical experience during simulated laparoscopic surgery // Surg. Endosc. - 2002. - Vol. 16, N 4. - P. 635-639.

61. Wentink M., Breedveld P., Stassen L.P. et al. A clearly visible endoscopic instrument shaft on the monitor facilitates hand-eye coordination // Surg. Endosc. - 2002. - Vol. 16, N 11. - P. 1533-1537.

62. Westman E.C., Matchar D.B., Samsa G.P. et al. Accuracy and reliability of apical S3 gallop detection // J. Gen. Intern. Med. - 1995. - Vol. 10, N 8. - P. 455-457.

Медицинское образование и профессиональное развитие №1 (19) 2015