CC BY
17
Тема номеру
Cover Story
почки
НИРКИ KIDNEYS
УДК 614.23-614.251;614.252.1 DOI: 10.22141/2307-1257.6.3.2017.109028
Вороненко Ю.В., Мнцер О.П., 1ванов A.A.
Национальна медична академя п1слядипломно! освти ¡мен1 П.Л. Шупика, м. Ки!в, Укра'на
Комп'ютерний гспит та клшчне мислення: сучасний niAxiA до оцшки знань лкаря
For cite: Pochki. 2017;6:139-43. doi: 10.22141/2307-1257.6.3.2017.109028
Резюме. 1снуюча система оцнки знань л1каря в пслядипломнй освт та його безперервному професйному розвитку недосконала, вона не враховуе його особистий р1вень знань та ф1зюлопчний стан. Це призводить до недооценки практичного досвду та ускладнюе проходження ¡спиту. Нами запропонована нова ¡ндив1дуал1зована система формування питань та множинного альтернативного вибору вдповд з ваговою характеристикою вдкритого типу. Очкуеться, що И впровадження як плотного проекту дозволить гармонзувати ¡спит i пдвищити об'ективн'ють оцнки знань лкаря. Ключовi слова: пслядипломна освта в медицин'1; ндивдуальна оцнка знань; адаптивне питання; множинна за вибором вдповдь; об'екктивн'ють оцнки знань
Вступ
Проведення комп'ютерного юпиту для отри-мання лжарсько! спещальносп або шдтверджен-ня категорп е необидною процедурою верифжаци знань здобувача. На сьогодш в Укра'ш, як i в бшь-шост кра!н бвропи, для ощнки знань лiкарiв ви-користовують традицiйний вид комп'ютерних гс-питiв «питання з вибором» закритого типу, в якому пропонуеться множинний чи альтернативний ви-бiр, встановлення вiдповiдностi або послщовность Тестовi завдання вiдкритого типу, що передбачають вшьну вщповщь або доповнення до наявно! вщповь дi, на жаль, майже не використовуються в медичних юпитах.
Сучасний освiтнiй процес е надзвичайно складним. Його устх залежить вiд корекцп безлiч факторiв. Вважаеться, що в процесi проектування i функцiонування системи контролю знань необхщ-но враховувати рiзнорiднiсть груп лiкарiв iз точки зору в^, стану здоров'я, освiтнiх навикiв, рiвня сощально! захищеностi. У зв'язку з цим виникае необхщшсть в розробщ рiзнорiдних i рiзнорiвне-вих дiагностичних та контролюючих матерiалiв, тобто потрiбна iндивiдуалiзацiя формулювання питань для юпш1в [1]. Це, на наш погляд, е пер-шою невирiшеною проблемою в комп'ютерних гс-питах лiкарiв.
Другий аспект полягае в тому, що практичне мис-лення не може згенерувати лише одну абсолютно правильну вщповщь на клiнiчне питання. Набуття досвщу лiкарем спонукае його до подання двох або бiльше альтернативних шляхiв вирiшення клшчно! ситуацп. Таким чином, клшчний досвщ вступае у протирiччя iз заученим теоретично або не опрацьо-ваним достатнiм чином на практищ матерiалом.
З ще! причини, а також унаслщок розвитку зни-ження когнiтивних здiбностей успiшно пройти комп'ютерне тестування лiкарям пiсля 45—50 роюв буде важко. Актуальнiсть питання зростае iз ста-рiнням населення, серед якого частка лiтнiх лiкарiв буде збшьшуватися. Заборона використання довщ-кового матерiалу, який при незнанш питання не допоможе в обмежений юпитом час, iмовiрне збшь-шення тривалостi iспиту за прикладом европей-ського тестування значно впливають на кшцевий результат, що втрачае свою об'ектившсть iз вiком та набутою практикою лжаря.
Яке вирiшення проблеми може бути запропо-новане?
Основна частина
Згiдно з сучасною практикою [1, 2], тести для комп'ютерних гспитш розподiляються на традицш-ш i нетрадицiйнi (рис. 1).
© «Нирки», 2017 © «Kidneys», 2017
© Видавець Заславський О.Ю., 2017 © Publisher Zaslavsky O.Yu., 2017
Для кореспонденци: 1ванов Дмитро Дмитрович, доктор медичних наук, профессор, завщувач кафедри нефрологи i нирково-замкноТ терапи, Нац1ональна медична академ1я п1слядипломноТ осв™ ¡мен1 П.Л. Шупика, вул. Дорогожицька, 9, м. КиТв, 04112, Укра'ша; e-mail: ivanovdd@i.kiev.ua
For correspondence: Dmytro D. Ivanov, MD, PhD, Professor, Head of the Department of nephrology and renal replacement therapy, Shupyk National Medical Academy of Postgraduate Education, Dorohozhytska st., 9, Kyiv, 04112, Ukraine; e-mail: ivanovdd@i.kiev.ua
Традицшний тест мае змют, цшснють i структуру. Вiн включае завдання, правила !х застосування, оцiнки виконання кожного завдання i рекомендаций з штерпретаци тестових результатiв. Результат тра-дицiйного тесту залежить вiд юлькост! питань, на якi було дано правильну вщповщь. I традицiйно вш використовуеться для медичних iспитiв.
До нетрадицшних тестiв можна вiднести штегра-тивнi, адаптивнi, багатоступiнчастi i так зваш кри-терiально-орiентованi тести. Видшяють декiлька !х видiв, серед яких найчастше використовують:
— Iнтегративнi тести. 1нтегративним можна на-звати тест, до якого входить система завдань, нащ-лених на узагальнену пщсумкову дiагностику пщ-готовленостi спецiалiста. Дiагностика проводиться шляхом постановки таких завдань, правильш вщ-повiдi на яю вимагають iнтегрованих (узагальнених, явно взаемозалежних) знань двох навчальних дис-циплш i бшьше.
— Адаптивнi тести. Адаптивний тест становить собою варiант автоматизовано! системи тестування, в якш заздалегщь вiдомi параметри, рiвень склад-ностi та диференцiйованi характеристики кожного завдання, вжов^ iндивiдуальнi та iншi особливос-тi того, знання якого контролюють. Ця система створена у виглад комп'ютерного банку завдань, упорядкованих вщповщно до потрiбних характеристик завдань. Найголовшша характеристика завдань адаптивного тесту — це рiвень !х складностi, отриманий шляхом досвщу, що означае: перш н1ж потрапити в банк, кожне завдання проходить емт-ричну апробацiю на досить великому числi типових учнiв защкавленого контингенту.
Види теспв
IZ
Нетрадицмы Традицмы
lнтeгративнi, адаптивнi, багатостутнчасп, критeрiально-орieнтованi Оцшка за ваговими складовими вiдповiдi Оцiнка за кiлькicтю правильних вiдповiдeй
Рисунок 1
Види тестових завдань
Вiдкритого типу Закритого типу
(
Множинний або альтернативний вибiр. Установлення вiдповiдноcтi або поcлiдовноcтi 1нформативж питання на знання фактiв (3i структурою), на ключовi слова або розпiзнавання образу Вiльнe викладення, доповнення
Рисунок 2
Найбiльш популярна класифiкацiя тестових завдань видшяе двi групи: вiдкритого та закритого ти-niB (рис. 2) [2].
Завдання вщкритого типу включають:
— множинний вибiр: випробуваному необхщно вибрати один (One Choice Answer) або кшька пра-вильних вщповщей з наведеного списку (Multiple Choice Answer) [3—6] та враховувати стандарти акре-дитаци [7];
— альтернативний вибiр: випробуваний повинен вщповюти «так» або «ш»;
— установлення вщповщностк випробуваному пропонуеться встановити вщповщшсть елементiв двох спискiв;
— установлення послщовностк випробуваний повинен розташувати елементи списку в певшй по-слщовносп;
— установлення iнформативностi: випробуваний повинен вибрати з наданоï бiблiотеки найбшьш значущi;
— установлення комплексности випробуваний повинен вибрати правильну вщповщь iз списку наданих, включаючи дистрактори з негативним значенням.
Завдання закритого типу передбачають:
— вшьний виклад: випробуваний повинен само-стiйно сформулювати вiдповiдь; нiякi обмеження на них у завданш не накладаються, або
— доповнення: випробуваний повинен сформулювати вщповщд з урахуванням передбачених у завданш обмежень (наприклад, доповнити пропо-зищею).
Вибiр типiв тестiв визначаеться:
— особливостями шструментальних тестових програм (тестовими оболонками);
— особливостями спещальностц
— досвщом i майстернiстю експертiв.
До реш, вже маючи медичну спещальшсть, е можливiсть оцiнити, чи вщповщае вона вашим здiб-ностям [5].
Тепер проведення комп'ютерного iспиту для отримання сертифiката спецiалiста та тдтверджен-ня лжарсь^ квалiфiкацiйноï категорïï передбачае набiр визначеного вiдсотка правильних вщповщей. Кожне питання iспиту мае 5 вщповщей, з яких може бути: 1) лише одна правильна вщповщь або 2) вс вщповщ правильш, що загалом класифкуеться як за-раховане правильне питання. Ця свггова практика дозволяе украшським лжарям отримувати не лише сертифiкат спещалюта в Украш, а i за кордоном, наприклад при проходженш онлайн-юпиту для отримання сертифжата спецiалiста европейського зразка вiд Pearson VUE. Деяю системи iспитiв за кордоном ускладнеш дистракторами, що мають негативну оцiнку, тобто знижують загальну суму правильних вщповщей. Нагадаемо, що дистрактор (distracters) — це варiант вiдповiдi в тестових завданнях закрито форми, що е близькою до правильноï вiдповiдi, але не е нею. Проте з огляду на набутий практичнш до-
140 Почки, p-ISSN 2307-1257, e-ISSN 2307-1265 Том 6, № 3, 2017
свщ лжаря та його вiк ця найпростiша в пlдготовцi тесту система тестування стае недосконалою.
Особистий внесок у виршення проблеми
Розроблене технiчне завдання i рiшення, що го-товi до загального обговорення, е новими для ме-дичного тестування пщходами до оцiнки клiнiчних знань лжаря при проведеннi комп'ютерного юпи-ту. 1х основу становлять: 1) iндивiдуалiзацiя вибору питань залежно вщ особистостi, що складае iспит; 2) множинний вибiр вiдповiдi з ваговими характеристиками та вщкритий алгоритм дп на негативну вiдповiдь (рис. 3) [8].
Результати
Насамперед слщ зауважити, що прийняття рь шень при обГрунтуванш стратеги контролю знань у системi тслядипломно! медично! освгги здшсню-еться в умовах як певно! невизначеностi щодо рiвня знань слухачiв, !х сприйняття навчального матерь алу, так й вiдсутностi единих критерив устшнос-тi процесу [9]. Тому вважаемо, що контроль знань може бути валщним, якщо забезпечуеться режим постшного монiторингу. Крiм того, для системного аналiзу якостi пщготовки слщ користуватися спещ-альними математичними критершми валiдностi та оптимальностi векторного характеру.
Перший блок (рис. 3) — iндивiдуалiзацiя вибору питань шляхом iнтелектуалiзованого контролю знань — поеднують у собi методи штучного штелек-ту й штернет-технологп [7]. Вони повинш забезпе-чувати: штерактивний дiалог iз тими, знання яких перевiряються, здiйснювати контроль i пщтримку в режимi реального часу, удосконалювати стратепю тестування на основi визначеного рiвня шдивщу-альних знань, навичок i здiбностей того, кого екза-менують.
На сьогодш реалiзацiя iндивiдуального шдбору питання нами визначена за вжом слухача (до 30 рокiв, 30—45 роюв, 46—65 рокiв i старше), статтю (додатковi хвилини для жшочо! статтi), ненос1я-ми мови (додатковi хвилини), стажем спецiалiста (загальноприйнятi). Iндивiдуалiзацiя за результатами попереднього юпиту та фiзiогномiчними особливостями нинi проходить тестування (бета-версiя).
Принциповими характеристиками другого блоку (iндивiдуалiзащ! ощнки вщповщей) е:
1. Нетрадицiйний тест iз поеднанням штегра-тивних, адаптивних, багатостутнчастих, крите-рiально-орiентованих елементiв в однш клiнiчнiй задачi. Усi питання е клжчними задачами, що включають 5—20 блокiв, якi становлять собою роз-виток хвороби, й л^вання, ускладнення, катам-нез. Кожне питання передбачае вщповщь за рiзним алгоритмом [10].
Такий пiдхiд ускладнюе пщготовку тестiв уклада-чами, проте дае можливють отримання правильно!
вщповщ, якщо лжар не зрозум1в питання або алгоритм вщповщ на нього, за рахунок адаптивност! питання. Тобто, якщо вщповщь неправильна, питання подаеться в 1нш1й редакц!! з пояснениям. У раз1 повтору неправильно! вщповщ слухач дае пояснення, що анал1зуеться експертом i дозволяе йому визначи-ти логiку лжаря та глибину знання питання.
2. Проведення оцiнки за ваговими складовими вiдповiдей.
Як i ранiше, питання, що стосуються здеб!льшо-го клшчно! ситуац!!, на вщмшу вiд теоретичних за-вдань будуть мати 5 вщповщей. Це кл!н!чн! питання з алгоритмом дш (установлена в!дпов!дност! та по-сл!довност!) та множинним вибором. Ус! вщповщ правильш т!ею чи шшою м!рою. Кожна правильна вщповщь мае вагову характеристику, тобто на 100, 80, 60, 40 i 20 % правильна або в б!льш простому ва-р!ант! мае такий вигляд: «абсолютно згоден», «згоден», «може бути так», «не згоден», «абсолютно не згоден». 100 % ваги питання е абсолютно правиль-ним ршенням клтчно! задач!, i, навпаки, 20 % ваги питання може бути правильним у мало! кшькост! пащенпв за окремих умов. Загальна ощнка !спиту включатиме в!дсоток питань !з вагою понад 60, 75, 85 i 95 % для отримання сертифжата спец!ал!ста та в!дпов!дно до друго! та вищо! категор!й.
3. Використання сум!жно! системи оц!нки тесту закритого типу для формування доповнення при вибор! найнижчо! вагово! в!дпов!д! в 20 %.
При цьому такий тест автоматично переходить до ручно! ощнки експертом (групи експерпв). Якщо пояснення лжаря, що складае екзамен, будуть прийнят на основ! елеменпв доказово! медицини, тест зараховуеться.
4. В!льне користування !нформац!йними засо-бами.
Це питання щодо доброзичливост! !спиту до л!каря. Добре вщомо, що не вс! лжар! впевнено працюють з комп'ютером. З вжом у людини змен-шуеться можлив!сть швидких реакц!й, знижуеться пам'ять. Тому лигам л!карям, нав!ть самим викла-дачам, нер!дко тяжко скласти комп'ютерний !спит у в!дведений час. Тобто ми пропонуемо дозволити
lндивщуалiзацiя вибору питань
За ключовими словами (вк, стать, стаж, наявнють додаткових спе^альностей i т.п.) За результатами попереднього тестування — За фiзiогномiчними особливостями розтзнання образiв 1нтегрально
— За ваговими значеннями вщповщей
За експертними оцiнками пояснень вщповщей
Рисунок 3. Новий кп 'н 'чний спит для лкаря
Таблиця 1. Результат спиту 1
1снуюча система оцшки Нова система оцшки за вагою питання
— 100 питань: 85 х 100 % i 15 — неправильн1 — Разом 85 % — 8500 — 1спит зарахований — 50 х 100 % + 30 х 80 % + 18 х 60 % + 2 х 40 % — Разом 8560 — 1спит зарахований
Таблиця 2. Результати спиту 2
1снуюча система оцiнки Нова система оцшки за вагою питання
— 100 питань: 85 х 100 % i 15 — неправильнi — Разом 85 % — 8500 — 1спит зарахований — 45 х 100 % + 45 х 80 % + 8 % х 60 х 2 х 20 % — Разом 8620 — 1спит зарахований — 2 негативш питання зараховаш пюля оцЫки експертом пояснень курсанта
використання адаптивно! шдтримки навпаци — шдтримка того, хто складае iспит, шляхом ство-рення видимих/невидимих посилань для орiента-цГх в гiперпросторi.
Запропоновано дозволити лжарям використо-вувати вс наявнi джерела шформаци (1нтернет, мобшьш пристро!, конспект, книжка, але не думка шшого лiкаря) для формування правильно! вщпо-вiдi на юпити Обiзнаний спецiалiст в обмежений час, якщо не може пригадати правильну вщповщь, але обiзнаний в тому, де Г! шукати, зможе правильно вщповюти. Якщо знань немае, обмежений час на вщповщь не дозволить знайти правиль-не ршення. Такш пщхщ пiдвищуе доброзичли-вiсть до лiкаря, що атестуеться, та дозволяе бшьш об'ективно ощнити його практичнi навички пiд час комп'ютерного юпиту.
5. Банк даних клiнiчних задач, що використову-еться при юпип, оновлюеться (не менше 25 %, 2 гс-пити) i е вiдкритим для тренування тшьки для завдань, що були на попередшх iспитах.
Табл. 1 демонструе порiвняння iснуючого юпи-ту i ново! системи ощнки за ваговими показниками питань.
Як бачимо, в стандартнш ситуаци 50 правильних вщповщей не дають шансу скласти iспит. Проте ва-говi характеристики правильних вiдповiдей дозво-ляють продемонструвати клiнiчне мислення i досвщ лiкаря й успiшно скласти тестування.
Далi наводимо приклад, коли система при нега-тивних вiдповiдях (20 % ваги) автоматично запросила пояснення, яю в подальшому були прийнят експертами та зарахованi як правильна вщповщь (табл. 2).
Важливим е те, що впровадження тако! системи, з одного боку, дозволяе пщвищити рiвень завдань, зробити !х бшьш складними та Грунтовними, з шшо-го — «не згубити» кiлькiсть правильних рiшень вщ маючих великий досвiд лiкарiв, що складають iспит.
Цей пшотний проект розпочато кафедрою нефрологи та нирковозамюно! терапи i медично! ш-форматики в НМАПО iменi П.Л. Шупика.
При цьому загальний мехашзм запобiгання ри-зикам помилково! ощнки знань полягае в постш-ному мошторингу якостi засвоення та постшно! корекци технологiй навчання. Звертаеться увага на те, що ютинш характеристики медично! освгги (навчання) виявляються лише через певний час i здебшьшого при практичному застосуваннi шфор-мащйного матерiалу тим, хто навчаеться, у кон-кретнiй вiдповiднiй ситуацГ!. Висновки ж стосовно якосп передачi знань потрiбно робити безпосе-редньо. Тому досягти безпомилково! оцiнки знань практично неможливо [6].
Що стосуеться ризиюв, пов'язаних з якiстю на-вчального матерiалу, то можливостi запобiгання !м пов'язанi з двома моментами: чггкою системою ви-мог до розробниюв курсiв i якiсною експертизою використовуваних ресурсiв.
Висновки
1. 1снуюча система ощнки знань у тслядиплом-нш медичнiй освiтi недосконала з огляду на профе-сiйний рiвень знань лжаря та не враховуе його фь зичнi можливостi i психоемощйш характеристики, тому не е об'ективною.
2. Прийняття рiшень при обГрунтуванш стратег!! контролю знань у системi пiслядипломнiй ме-дичнiй освгги здiйснюеться в умовах певно! неви-значеностi щодо рiвня знань слухачiв, !х сприйняття навчального матерiалу, а також при вщсутносп еди-них критер1!в успiшностi процесу.
3. Потребуе додаткових дослiджень проблема оцiнки валщносп iспитiв за рiзними професiйними напрямками з шдивщуальним множинним або аль-тернативним вибором тестових завдань i вiдповiдей, що передбачають установлення вщповщносп або послiдовностi вирiшення клiнiчних задач iз ваговою системою оцiнки вщповщ та вiльним викладенням доповнень при 20% вазi вiдповiдi.
Конфлiкт штереав. Автори заявляють про вiд-сутнють конфлiкту iнтересiв при пiдготовцi дано! статти
142
ПОЧКИ, p-ISSN 2307-1257, e-ISSN 2307-1265
Том 6, № 3, 2017
References
1. Voronenko YV, Mintser OP, Ivanov DD. Promissory concept of medical education. Journal of European CME. 2015;4(1). doi: 10.3402/jecme.v4.25135.
2. Using tests in educational process. Available from: http:// testobr.narod.ru/3.htm
3. Griebenow R, Campbell C, McMahon GT, et al. Roles and Responsibilities in the Provision of Accredited Continuing Medical Education/Continuing Professional Development. Journal of European CME. 2017;6(1). doi: 10.1080/21614083.2017.1314416.
4. Medical definition of examination. Available from: http:// www.merriam-webster.com/dictionary/multiple%20choice
5. Origins and Purposes of Multiple Choice Tests, San Francisco State University. Available from: http://ctfd.sfsu.edu/teach-ing-practices/origins-and-purposes-of-multiple-choice-tests. Accessed: 2016.04.02.
6. Kehoe J. Writing multiple-choice test items Practical Assessment, Research & Evaluation. 1995;4(9). Available from: http://pareonline.net/getvn.asp?v=4&n=9
7. Types ofcomputer tests Available from: http://www.pscienc-es.net/main/sciences/computer_sciences/articles/komptesty.html
8. Medical specialty attitude test. Available from: https://www. med-ed.virginia.edu/specialties/Home.cfm
9. Schaffer M, Weisshardt I. Beyond accreditation systems — the identification of different implementation models for CME across Europe. J Eur CME. 2013;2(1):5-9. doi: 10.3109/21614083.2013.772056.
10. Mintzer OP, Krasnov VV. Voprosy sistematizacii avtoma-tizirovannyh attestacionyh sistem v medicine (metodicheskie reko-mendacii) [Systematization of attestation testing in medicine (practical recommendations)]. Ternopil: Ukrmedkniga; 2000. 56p.
OTpuMaHO 16.06.2017 ■
Вороненко Ю.В., Минцер О.П., Иванов Д.Д.
Национальная медицинская академия последипломного образования имени П.Л. Шупика, г. Киев, Украина
Компьютерный экзамен и клиническое мышление: современный подход к оценке знаний врача
Резюме. Существующая система оценки знаний врача в последипломном образовании и его непрерывном профессиональном развитии несовершенна, она не учитывает его личный уровень знаний и физиологическое состояние. Это приводит к недооценке практического опыта и затрудняет прохождение экзамена. Нами предложена новая индивидуализированная система формирования вопросов и множественного альтернативного выбора от-
вета с весовой характеристикой открытого типа. Ожидается, что ее внедрение в качестве пилотного проекта позволит гармонизировать экзамен и повысить объективность оценки знаний врача.
Ключевые слова: последипломное образование в медицине; индивидуальная оценка знаний; адаптивный вопрос; множественный по выбору ответ; объективность оценки знаний
Yu.V. Voronenko, O.P. Mintzer, D.D. Ivanov
Shupyk National Medical Academy of Postgraduate Education, Kyiv, Ukraine
Computer-based exam and clinical thinking: a modern assessment of doctor's knowledge
Abstract. The current system of medical exam in postgraduate education and continuing professional development is imperfect, it does not take into account the personal level of knowledge and doctor's physiological state. This leads to an underestimation of practical experience and makes it difficult to pass the exam for some categories, for example elderly doctors. We have proposed a new individualized system of the multiple-choice question and
multiple-choice response, which has the weight characteristics in the open type testing. It is expected that its implementation as a pilot project will allow to harmonize the exam and to increase the objectivity in the assessment of doctor's knowledge. Keywords: postgraduate medical education; individual examining; adaptive question; multiple-choice answer; objectivity of knowledge assessment
