CC BY
18
ИССЛЕДОВАНИЕ ВАЛИДНОСТИ СИМУЛЯЦИОННОЙ МОДЕЛИ ГРУДНОЙ КЛЕТКИ ДЛЯ ОТРАБОТКИ НАВЫКА ТОРАКОЦЕНТЕЗА
Стегний К.В.1, Ожерельев А.В.1, Ожерельев Е.В.1, 2, Двойникова Е.Р.1, Крекотень А.А.1, Маслянцев Е.В.1, Гончарук Р.А.1
1 Федеральное государственное автономное образовательное учреждение высшего образования «Дальневосточный федеральный университет», 690950, г. Владивосток, Российская Федерация
2 Краевое государственное бюджетное учреждение здравоохранение «Приморская краевая клиническая больница № 1», 690091, г. Владивосток, Российская Федерация
Цель - оценить валидность симуляционной модели грудной клетки для отработки навыка торакоцентеза.
Материал и методы. Процедуру выполняли участники с разным уровнем практических навыков (студенты, ординаторы и врачи). Видеозаписи были независимо оценены опытными хирургами, которым не было известно об уровне подготовки участников. В качестве инструмента оценки применяли модифицированный чек-лист, разработанный на основе предложенного Копенгагенской академией медицинского образования и моделирования. Результаты. Все 24 участника (16 студентов, 6 ординаторов, 2 врача) выполнили по 3 процедуры торакоцентеза на исследуемой модели, было записано и оценено 72 видео. Надежность чек-листа была достаточной (а-Кронбаха 0,72). Уровень межэкспертной надежности существенный (к 0,68 при р<0,001). Между группами участников наблюдалась статистически значимая разница по количеству баллов в каждой из 3 попыток (значение Н-критерия для попытки № 1-3 - 11,3086, p=0,004; 16,1346, р<0,001; 16,4702, р<0,001 соответственно). На основе метода контрастных групп установлен минимально допустимый порог баллов для подтверждения уровня компетентности (27 и 30 баллов для студентов и ординаторов соответственно). Студенты и ординаторы показали значительно более высокие результаты по завершению 3-й попытки (х2 Фридмана 25,290, p<0,001; 9,238, p=0,01 соответственно). Студенты значительно увеличили скорость выполнения процедуры по завершению 3-й попытки (х2 Фридмана 22,875, p<0,001).
Заключение. Совокупность собранных доказательств свидетельствует в пользу валидности симуляционной модели, разработанной инициативной группой школы медицины ДВФУ.
Финансирование. Исследование не имело спонсорской поддержки. Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Стегний К.В., Ожерельев А.В., Ожерельев Е.В., Двойникова Е.Р., Крекотень А.А., Маслянцев Е.В., Гончарук Р.А. Исследование валид-ности симуляционной модели грудной клетки для отработки навыка торакоцен-теза // Медицинское образование и профессиональное развитие. 2022. Т. 13, № 1. С. 31-38. DOI: https://doi.org/10.33029/2220-8453-2022-13-1-31-38 Статья поступила в редакцию 10.12.2021. Принята в печать 06.03.2022.
Ключевые слова:
торакоцентез; обучение с использованием симуляционных технологий; симуляционная модель; обучение студентов
ESTABLISHING VALIDITY FOR A CHEST SIMULATION MODEL FOR TORACOCENTESIS TRAINING
Stegniy K.V.1, Ozherelev A.V.1, Ozherelev E.V.1, 2, Dvoinikova E.R.1, Krekoten A.A.1, Maslyantcev E.V.1, Goncharuk R.A.1
1 Far Eastern Federal University, 690950, Vladivostok, Russian Federation
2 Primorsky Regional Clinical Hospital No. 1, 690091, Vladivostok, Russian Federation
The aim - to evaluate the validity of a human chest model for simulation-based training for thoracentesis.
Material and methods. The procedure was performed by participants with different levels of practical skills (students, residents and doctors). The videos were assessed by a skilled surgeon independently. They didn't know about capacity of the participants. We used a modified checklist as an assessment tool, which was based on the checklist, proposed by the Copenhagen Academy of Medical Education and Modeling.
Results. All 24 participants (16 students, 6 residents, 2 doctors) performed 3 thoracocentesis procedures on the simulation model, the database consisted of 72 videos. The internal consistency of the checklist was sufficient (Cronbach's a 0.72). The level of inter-expert reliability was significant (k 0.68 at p<0.001). Experienced participants scored significantly higher scores on each of the three trials than students and residents (H-score for trial #1, 2, 3 - 1 1.3086, p=0.004; 16.1346, p<0.001; 16.4702, p<0.001, respectively). Based on the method of contrasting groups, the minimum acceptable threshold of points for confirming the level of competence was established (27 and 30 points for students and residents, respectively). Students and residents showed significantly better results after 3 procedures (x2 Friedman 25.290, p<0.001; 9.238, p=0.01, respectively). Also, students significantly increased their speed of the procedure after completing 3 attempts (x2 Friedman 22.875, p<0.001).
Conclusion. The totality evidence showed high-level of validation of simulation model which was developed by the initiative group of the FEFU School of Medicine.
Funding. The study had no sponsor support.
Conflict of interest. The authors declare no conflict of interest.
Keywords:
thoracocentesis; simulation training; simulation model; student training
For citation: Stegniy K.V., Ozherelev A.V., Ozherelev E.V., Dvoinikova E.R., Krekoten A.A., Maslyantcev E.V., Goncharuk R.A. Establishing validity for a chest simulation model for toracocentesis training. Meditsinskoe obrazovanie i professional'noe razvitie [Medical Education and Professional Development]. 2022; 13 (1): 31-8. DOI: https://doi.org/10.33029/2220-8453-2022-13-1-31-38 (in Russian) Received 10.1 2.2021. Accepted for publication 06.03.2022.
Хирургия - одна из основных областей медицины, где обучение с использованием симуляционных технологий позволяет повысить уровень мануальных навыков для конкретной процедуры в контролируемой среде без вреда для пациентов [1].
Торакоцентез является одной из базовых манипуляций для диагностики и лечения травм, а также заболеваний органов плевральной полости [2, 3]. Данная манипуляция входит в перечень профессионального стандарта врачей различных хирургических
Стегний К.В., Ожерельев А.В., Ожерельев Е.В., Двойникова Е.Р., Крекотень А.А.,
Маслянцев Е.В., Гончарук Р.А. Исследование валидности симуляционной модели грудной клетки
для отработки навыка торакоцентеза
специальностей и является обязательной для освоения.
На рынке симуляционного оборудования представлено множество различных моделей для отработки торакоцентеза. В то же время ни у одной из них не представлены все основные анатомические структуры и слои грудной клетки, более того, валидность этих симуляторов не изучена [4, 5]. Помимо этого, необходимо изменить подход к процедуре валидизации. Традиционный подход строится вокруг классических рамок валидности: экспертная, содержательная, конструктивная и т. д. [6]. Однако, согласно основным концепциям, валидизацию рассматривают как процесс сбора достаточного количества доказательств различного уровня, которые подтверждают предполагаемую гипотезу и требуют стандартизированного подхода в исследованиях [7].
Цель - оценить валидность симуляционной модели грудной клетки для отработки навыка торакоцентеза.
МАТЕРИАЛ И МЕТОДЫ
Дизайн исследования разработан в соответствии с концепцией валидности, предложенной S. Messick, которая включает 5 различных уровней доказательств: содержательная часть, внутренняя согласованность, процесс оценки, корреляция с другими переменными и последствия обучения [7]. Исследование проводили в смоделированных условиях при участии 3 групп с разным уровнем опыта (студенты, ординаторы и врачи). В 1-ю группу включены 16 студентов VI курса, обучающихся по специальности «Лечебное дело». 2-ю группу составили 6 ординаторов хирургических специальностей 2-го года обучения, профессиональный стандарт которых
предусматривает владение навыком торакоцентеза. Обе группы не имели практического опыта выполнения данной процедуры и никогда не изучали ее в симулированных условиях. В 3-ю группу включены 2 хирурга с практическим стажем более 10 лет и количеством выполняемых процедур не менее 50 в год. Все участники дали добровольное информированное согласие на участие в исследовании.
Участникам было предложено выполнить торакоцентез на исследуемой симуляционной модели. Модель представляет собой боковой участок грудной клетки, имитирующий плевральную полость с соблюдением основных анатомических слоев и структур (кожа, подкожная жировая клетчатка, мышечная ткань, ребра, межреберный сосудисто-нервный пучок, плевра, диафрагма). Процедура торакоцентеза выполнялась с помощью одноразового набора для плевральной пункции. Все участники прошли базовый инструктаж, включающий лекцию и видео процедуры, выполненной на исследуемой модели.
В качестве моделируемой ситуации выбран гидроторакс. Всем участникам был предоставлен рентгенологический снимок, по которому определялись тип патологии, пораженная сторона и место для выполнения пункции. Все необходимое для процедуры оборудование было размещено на заранее подготовленной станции, имитируя пациента в положении сидя. Всех участников предупредили о необходимости соблюдения правил асептики во время процедуры. Во всех попытках участвовал один и тот же наблюдатель, который выполнял только конкретные указания участника, но не комментировал происходящее и не давал обратной связи ни во время, ни после манипуляции. Процедура фиксировалась на
видеокамеру и в последующем оценивалась двумя независимыми экспертами, которые не принимали участие в предыдущих этапах исследования и не знали, к какой группе относится участник.
Статистическая обработка данных проводилась в пакете программ IBM SPSS Statistics 26.0 версии. Данные не прошли проверку на нормальность распределения, поэтому при статистическом анализе мы использовали непараметрические тесты. В качестве инструмента оценки использовался модифицированный чек-лист, разработанный на основе предложенного Копенгагенской академией медицинского образования и моделирования [8]. Модифицированный чек-лист был разделен на 2 модуля (теоретический и практический) и состоял из 20 пунктов, включая 2 глобальные шкалы, по результатам которого можно было получить максимум 38 баллов. Надежность внутренней согласованности чек-листа была исследована с помощью критерия а-Кронбаха. Внутренняя согласованность между экспертами оценивалась с помощью коэффициента к. Для сравнения результатов между группами использовался критерий Краскела-Уоллиса (Н-критерий). Минимально допустимый порог баллов для определения уровня компетентности («сдал/ не сдал») установлен с помощью модифицированного метода контрастных групп для изучения последствий оценки [9]. Потенциальный эффект от обучения был исследован с помощью критерия х2 Фридмана путем сравнения количества баллов и времени между тремя попытками в каждой из групп.
РЕЗУЛЬТАТЫ
Все 24 участника выполнили по 3 процедуры торакоцентеза на исследуемой модели, было записано 72 видео. Внутренняя согла-
Таблица 1. Сравнение результатов между группами
№ попытки Значение Н-критерия
1 11,3086 при р=0,004
2 16,1346 при р<0,001
3 16,4702 при р<0,001
Примечание. Результат считался статистически значимым при p<0,05; 95% доверительный интервал; число степеней свободы =2; п=24.
сованность используемого чек-листа была расценена как достаточная (а-Кронбаха 0,72).
Уровень межэкспертной надежности расценивается как существенный (к 0,68 при р<0,001).
По результатам оценки процедуры торакоцентеза на исследуемой модели выявлена статистически значимая разница в баллах между тремя группами после 1, 2 и 3-й попытки соответственно (табл. 1).
Минимально допустимый порог баллов для отметки «сдал» составил 27 и 30 у 1-й и 2-й группы соответственно (рис. 1 и 2).
Среднее время выполнения процедуры у 1-й группы составило: 558 с (50=101 с), 413 с 50=52 с), 377 с (50=57 с); у 2-й группы: 413 с (50=136 с), 320 с (50=80 с), 308 с (50=49 с); у 3-й группы: 283 с (50=10 с), 240 с (50=4 с), 209 с (50=36 с) для 1, 2 и 3-й попытки соответственно (рис. 3).
Оценка полезного эффекта от обучения при повторении процедуры основывалась на количестве баллов и времени, затраченном на процедуру. Получена статистически значимая разница по количеству баллов между 3 попытками для 1-й и 2-й групп и по количеству затраченного времени для 1-й группы (табл. 2).
Стегний К.В., Ожерельев А.В., Ожерельев Е.В., Двойникова Е.Р., Крекотень А.А.,
Маслянцев Е.В., Гончарук Р.А. Исследование валидности симуляционной модели грудной клетки
для отработки навыка торакоцентеза
о
10
20
30
40
50
Минимальный балл для отметки «сдал» - 27 Теоретические ложноположительные результаты - 2,9% Теоретические ложноотрицательные результаты - 3,0%
Рис. 1. Определение минимального порога отметки «сдал»
Минимальный балл для отметки «сдал» - 30 Теоретические ложноположительные результаты - 16,0% Теоретические ложноотрицательные результаты - 14,8%
Рис. 2. Определение минимального порога отметки «сдал»
ОБСУЖДЕНИЕ
Поскольку цель нашего исследования заключается в определении валидности симуляционной модели для конкретного практического навыка, мы отказались от применения общих шкал (таких как ОБАТБ и др.) и для повышения надежности содержательной части модифицировали инструмент оценки, валидность которого была доказана ранее [8]. Достаточный уровень надежности чек-листа свидетельствует в пользу достоверности полученных результатов.
Исходя из высокого уровня межэкспертной надежности следует, что инструмент оценки может использоваться в другом учреждении. Мы предполагаем, что на уровень межэкспертной надежности влияет предварительный инструктаж по применению инструмента оценки, который был дополнительно проведен для каждого эксперта. Однако эти заключения требуют дополнительных исследований.
Статистически значимая разница по количеству баллов между группами свидетельствует о том, что разработанная симуляционная модель в совокупности с достоверным инструментом оценки может различать уровень компетентности обучающихся. Мы намеренно повысили количество повторений процедуры
и исключили такой обучающий элемент, как обратная связь от инструктора [10]. При отсутствии элемента обратной связи участники могли улучшать свой навык только за счет эффекта повторений [10]. Это одна из основных задач симуляционной модели, выполнение которой, в свою очередь, подтверждает 4-й уровень валидности по Б. Меззкк.
Для получения отметки «сдал» студентам необходимо набрать 27 баллов, а ординаторам 30, что эквивалентно 73 и 81% максимума и соответствует общепринятым стандартам. Применение модифицированного метода контрастных групп позволяет скорректировать результаты при малых выборках [9]. Однако размер выборки требует осторожности при интерпретации данных результатов, несмотря на коррекцию метода, они могут иметь другие значения, если
с 600
500
400
300
200
100
0 Попытка №1 Попытка №2 Попытка №3
—•— Студенты —Ординаторы —•— Врачи
Рис. 3. Время выполнения процедуры
Таблица 2. Потенциальный полезный эффект обучения
№ группы x2 Фридмана, баллы x2 Фридмана, время
№ 1 (n=16) 25,290 при р<0,001 22,875 при р<0,001
№ 2 (n=6) 9,238 при р=0,01 4,261 при р=0,119
№ 3 (n=2) 4,000 при р=0,135 4,000 при р=0,135
Примечание. Результат считался статистически зна число степеней свободы =2.
выборка будет иметь нормальное распределение. Более масштабное многоцентровое исследование могло бы решить эту проблему.
Менее опытные участники (1-я и 2-я группы) получили более высокие оценки после 2-й и 3-й попытки, что указывает на полезный эффект от обучения. Участники 1-й группы также намного быстрее выполняли каждую последующую процедуру, что усиливает доказательство полезного эффекта. Отсутствие статистической разницы по времени и баллам у 3-й группы ожидаемо и объясняется изначально высоким уровнем практических навыков, что подтверждает полученные раннее результаты. Отсутствие статистической разницы по затраченному времени у 2-й группы можно объяснить наличием у ординаторов опыта выполнения других манипуляций, который позволил им увеличить скорость выполнения процедуры уже после 1-й попытки.
По результатам 3-й попытки только 1 студент и 2 ординатора успешно выполнили процедуру. Такое небольшое количество успешных участников объясняется отсутствием обратной связи до, во время и после выполнения процедуры. Однако даже при
мым при p<0,05; 95% доверительный интервал;
ее отсутствии мы получили статистически значимый полезный эффект от использования симуляционной модели. В будущих исследованиях планируется оценить время и количество попыток, необходимое для достижения уровня компетентности.
ЗАКЛЮЧЕНИЕ
Совокупность собранных доказательств свидетельствует в пользу валидности симуляционной модели, разработанной инициативной группой школы медицины ФГАОУ ВО ДВФУ. Следует учитывать, что стандартизированный процесс валидизации хорошо работает в моделируемых условиях, так как значительно снижает риск случайных событий, влияющих на результаты. Вопрос о том, можно ли экстраполировать опыт, полученный в смоделированных условиях, на клиническую практику, остается открытым и требует дальнейшего изучения.
Благодарности. Отдельная благодарность выражается Клышко Никите Константиновичу и Демидову Никите Григорьевичу за помощь в организации исследования.
СВЕДЕНИЯ ОБ АВТОРАХ
Стегний Кирилл Владимирович (Kirill V. Stegniy) - член-корреспондент РАН, доктор медицинских наук, профессор, директор школы медицины, заведующий центром хирургии медицинского центра ФГАОУ ВО ДВФУ, Владивосток, Российская Федерация E-mail: kstegniy0gmail.com https://orcid.org/0000-0003-0472-9504
Стегний К.В., Ожерельев А.В., Ожерельев Е.В., Двойникова Е.Р., Крекотень А.А.,
Маслянцев Е.В., Гончарук Р.А. Исследование валидности симуляционной модели грудной клетки
для отработки навыка торакоцентеза
Ожерельев Александр Викторович (Alexander V. Ozherelev)* - врач-хирург центра хирургии медицинского центра, ассистент департамента клинической медицины, школы медицины ФГАОУ ВО ДВФУ, Владивосток, Российская Федерация E-mail: s.ojer.94@inbox.ru https://orcid.org/0000-0003-0750-3017
Ожерельев Евгений Викторович (Evgeniy V. Ozherelev) - врач - сердечно-сосудистый хирург отделения сосудистой хирургии ГБУЗ Приморская ККБ № 1, Владивосток, Российская Федерация
E-mail: e.ojer.0220@gmail.com https://orcid.org/0000-0002-4650-4381
Двойникова Екатерина Романовна (Ekaterina R. Dvoinikova) - кандидат медицинских наук, заместитель директора школы медицины, врач-эндоскопист центра хирургии медицинского центра ФГАОУ ВО ДВФУ, Владивосток, Российская Федерация E-mail: katerinadw0bk.ru https://orcid.org/0000-0003-2348-934X
Крекотень Александр Анатольевич (Alexander A. Krekoten) - кандидат медицинских наук, доцент департамента клинической медицины школы медицины, врач-хирург высшей категории центра хирургии медицинского центра ФГАОУ ВО ДВФУ, Владивосток, Российская Федерация
E-mail: krekoten.aa0dvfu.ru https://orcid.org/0000-0002-5633-6633
Маслянцев Евгений Владимирович (Evgeniy V. Maslyantcev) - ассистент департамента клинической медицины школы медицины, врач-хирург центра хирургии медицинского центра ФГАОУ ВО ДВФУ, Владивосток, Российская Федерация E-mail: E.maslyancev@mail.ru https://orcid.org/0000-0002-1074-1000
Гончарук Роман Анатольевич (Roman A. Goncharuk) - кандидат медицинских наук, директор симуляционно-аккредитационного центра школы медицины, врач-хирург высшей категории центра хирургии медицинского центра ФГАОУ ВО ДВФУ, Владивосток, Российская Федерация
E-mail: goncharuk.ra@dvfu.ru https://orcid.org/0000-0002-6261-7511
ЛИТЕРАТУРА
1. Barsuk J.H., Cohen E.R., Feinglass J., Kozmic S.E., McGaghie W.C., Ganger D., Wayne D.B. Cost savings of performing paracentesis procedures at the bedside after simulation-based education // Simulation in Healthcare: Journal of the Society for Simulation in Healthcare. 2014. Vol. 9, N 5. P. 312-318.
2. Hernandez M.C., Khatib M.E., Prokop L., Zielinski M.D., Aho J.M. Complications in tube thoracostomy: Systematic review and meta-analysis // The Journal of Trauma and Acute Care Surgery. 2018. Vol. 85, N 2. P. 410-416.
3. Салимов Д.Ш., Крайнюков П.Е., Воробьев А.А., Калашников А.В., Травин Н.О. Дренирование плевральной полости при неотложных состояниях в торакальной хирургии: извлеченные уроки. Текст : электронный // Вестник Национального Медико-Хирургического Центра им. Н.И. Пирогова. 2020. Т. 15, № 1. URL: https://elibrary.ru/item.asp?id=43010742 (дата обращения: 05.1 1.2021].
*Автор для корреспонденции.
4. Berkenstadt H., Munz Y., Trodler G., Blumenfeld A., Rubin O., Ziv A. Evaluation of the Trauma-Man® Simulator for Training in Chest Drain Insertion // European Journal of Trauma. 2006. Vol. 32. P. 523-526.
5. Al-Qadhi S.A., Pirie J.R., Constas N., Corrin M.S.C., Ali M. An innovative pediatric chest tube insertion task trainer simulation: a technical report and pilot study // Simulation in Healthcare: Journal of the Society for Simulation in Healthcare. 2014. Vol. 9, N 5. P. 319-324.
6. Газимиева Б.М., Боронова В.В., Гузик А.А., Ким Е.В., Одинокова С.Н., Эдгаев Д.А., Горшков М.Д., Шубина Л.Б., Грибков Д.М., Леонтьев А.В. Валидация курса БЭСТА - базового эндохирургического симуляционного тренинга и аттестации // Виртуальные технологии в медицине. 2016. Т. 1. № 1. С. 40-44.
7. Cook D.A., Hatala R. Validation of educational assessments: a primer for simulation and beyond // Advances in Simulation (London, England). 2016. Vol. 1. P. 31.
8. Rasmussen K.M.B., Hertz P., Laursen C.B., Arshad A., Saghir Z., Clementsen P.F., Konge L. Ensuring Basic Competence in Thoracentesis // Respiration; International Review of Thoracic Diseases. 2019. Vol. 97, N 5. P. 463-471.
9. J0rgensen M., Konge L., Subhi Y. Contrasting groups' standard setting for consequences analysis in validity studies: reporting considerations // Advances in Simulation (London, England). 2018. Vol. 3. С. 5.
10. Elghoul Y., Bahri F., Trabelsi K., Chtourou H., Frikha M., Clark C.C.T., Glenn J.M., Bragazzi N., Souissi N. Optimizing Motor Learning: Difficulty Manipulation Combined with Feedback- Frequency Enhance Under-Time-Pressure Fine-Motor-Coordination Skill Acquisition and Retention // Journal of Motor Behavior. 2021. P. 1-13.
REFERENCES
1. Barsuk J.H., Cohen E.R., Feinglass J., Kozmic S.E., McGaghie W.C., Ganger D., Wayne D.B. Cost savings of performing paracentesis procedures at the bedside after simulation-based education. Simulation in Healthcare: Journal of the Society for Simulation in Healthcare. 2014; 9 (5): 312-8.
2. Hernandez M.C., Khatib M.E., Prokop L., Zielinski M.D., Aho J.M. Complications in tube thoracostomy: Systematic review and meta-analysis. The Journal of Trauma and Acute Care Surgery. 2018; 85 (2): 410-6.
3. Salimov D. Sh., Krajnyukov P.E., Vorobev A.A., Kalashnikov A.V., Travin N.O. Pleural drainage in emergencies in thoracic surgery lessons learned. Text: electronic. Vestnik Nacional'nogo mediko-hirurgicheskogo Centra im. N.I. Pirogova [Bulletin of The National Medical and Surgical Center Named after N.I. Pirogov]. 2020; 15 (1). URL: https://elibrary.ru/item. asp?id=43010742 (date of the application: 05.11.2021).
4. Berkenstadt H., Munz Y., Trodler G., Blumenfeld A., Rubin O., Ziv A. Evaluation of the Trauma-Man® Simulator for Training in Chest Drain Insertion. European Journal of Trauma. 2006; 32: 523-6.
5. Al-Qadhi S.A., Pirie J.R., Constas N., Corrin M.S.C., Ali M. An innovative pediatric chest tube insertion task trainer simulation: a technical report and pilot study. Simulation in Healthcare: Journal of the Society for Simulation in Healthcare. 2014; 9 (5): 319-24.
6. Gazimieva B.M., Boronova V.V., Guzik A.A., Kim E.V., Odinokova S.N., Edgaev D.A., Gorshkov M.D., Shubina L.B., Gribkov D.M., Leontyev A.V. Validation of the BESTA course - basic endosurgical simulation training and certification. Virtual'nye tehnologii v medicine. [Virtual technologies in medicine]. 2016; 1 (1): 40-4. (in Russian)
7. Cook D.A., Hatala R. Validation of educational assessments: a primer for simulation and beyond. Advances in Simulation (London, England). 2016; 1: 31.
8. Rasmussen K.M.B., Hertz P., Laursen C.B., Arshad A., Saghir Z., Clementsen P.F., Konge L. Ensuring Basic Competence in Thoracentesis. Respiration; International Review of Thoracic Diseases. 2019; 97 (5): 463-71.
9. J0rgensen M., Konge L., Subhi Y. Contrasting groups' standard setting for consequences analysis in validity studies: reporting considerations. Advances in Simulation (London, England). 2018; 3: 5.
10. Elghoul Y., Bahri F., Trabelsi K., Chtourou H., Frikha M., Clark C.C.T., Glenn J.M., Bragazzi N., Souissi N. Optimizing Motor Learning: Difficulty Manipulation Combined with Feedback- Frequency Enhance Under-Time-Pressure Fine-Motor-Coordination Skill Acquisition and Retention. Journal of Motor Behavior. 2021: 1-13.
