Адаптивний алгоритм тестування для оцінювання когнітивних функцій людини Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.9:616-072.8 Б01: 10.20998/2411-0558.2017.21.12

К.С. НАВРОЦЬКА, асп., ВНТУ Вшниця,

Д.Х. ШТОФЕЛЬ, канд. техн. наук, доц., ВНТУ Вшниця,

С.В. КОСТ1ШИН, канд. техн. наук, ст. викл., ВНТУ, Вшниця,

В.1. МАКОГОН, асис., ВНТУ, Вшниця

АДАПТИВНИЙ АЛГОРИТМ ТЕСТУВАННЯ ДЛЯ

ОЦ1НЮВАННЯ КОГН1ТИВНИХ ФУНКЦ1Й ЛЮДИНИ

В статп розглянутий процес оргашзацп багатор1вневого адаптивного тестування для д1агностики стану когштивно1 сфери респондента в задачах професшного вщбору. Розвинутий тдхвд, який дозволяе оргашзувати ефективне тестування з мш1м1защею шлькосп завдань. Розроблена модель системи адаптивного тестування. Наведено приклад траекторп тестування для чотирьохр1вневого ощнювання когнггивно1 сфери людини та розроблено узагальнений алгоритм роботи системи адаптивного тестування. 1л.: 3. Б!блюгр.: 12 назв.

Ключовi слова: алгоритм; тестування; багатор1вневе адаптивне тестування; когштивна сфера; професшний в1дб1р; модель; траектор1я тестування.

Постановка проблеми. У сучасну освпу у спортивний тренувальний процес та професшний вiдбiр широко впроваджуються шформацшш технологи, що дають змогу реалiзацп iнновацiйних оцiнювальних методик [1]. Недолш класичних тестових методик - велика кшькють завдань, адже зi збшьшенням !'х числа знижуеться ефективнiсть процедури тестування через вплив втоми i нудного характеру багатьох запитань. Надмiрне зменшення кiлькостi завдань призводить до зниження дiагностичноi цiнностi методики [2].

Найбшьш ефективними на сьогоднi е методи адаптивного тестування, яю передбачають змiну послiдовностi та кiлькостi завдань залежно вщ поточних оцiнок респондента [2]. Це дозволяе тдвищити якють i скоротити час тестування.

Задачi сучасного професiйного вiдбору на вщповщальш посади або на роботу, що передбачае тдвищене психоемоцiйне навантаження вимагають контролю когштивних характеристик респондентiв, яю визначають можливостi людини швидко обробляти шформащю, яка надходить, аналiзувати обстановку i за короткий час приймати та реалiзовувати правильнi рiшення.

Система для виршення таких задач орiентована на отримання корисного результату у виглядi когнiтивного портрету людини. Враховуючи специфшу дослiдження когнiтивних функцiй, система повинна бути адаптивною, тобто передбачати можливють змши траектори тестувального процесу. Ще одним завданням системи е досягнення поставлено'!' мети за мЫмальний промiжок часу При цьому

© К.С. Навроцька, Д.Х. Штофель, С.В. Коспшш, В.1. Макогон, 2017

необхщно дослщити чотири незалежш елементи когштивно'1 сфери: увагу, пам'ять, сприйняття, психомоторну реакцш [3]. Кожний елемент характеризуеться власним набором специфiчних характеристик, якi одержуються в результатi роботи специфiчних тестових методик.

Анал1з л1тератури. У [2] описаш принципи оргашзацп комп'ютерного адаптивного тестування (КАТ). Iсторiя використання КАТ в психометричних дослщженнях описана в [4], там же визначено широку сферу застосування КАТ для рiзних задач, в тому чист вщбору та розподiлу людей за певними вимогами, дiагностування 1х властивостей, знань та умшь. Визначено можливiсть багатовимiрного КАТ, тобто одночасного оцiнювання багатьох функцш. Когнiтивне дiагностичне КАТ будують на моделях латентних класiв [4]. Сучасш тенденци в розвитку КАТ розглянул в [5], де пщтверджено важливiсть його застосування у фаховш дiяльностi та вiдзначено можливiсть проведення адаптивного комплексу теслв. У навчальному тестуванш перспективним е розвиток зворотного зв'язку до респондента iз використанням бази даних неадаптивних опитувань студенев [6] та визначення латентних знань на початку навчального курсу [7]. Значного поширення набули ймовiрнiснi моделi для вибору наступного запитання [8]. Вiдомi моделi тестування великого набору навичок на основi оцiнювання компонент знань (з використанням теори простору навчання) [9]. Багатотактовий алгоритм групового тестування студенев з елементами самонавчання запропонований у [10]. В [1] описана поетапна обробка результат, а в [11] - збiрне багатостадшне адаптивне тестування "на льоту" - пщхщ, що поеднуе переваги КАТ i багатоетапного тестування. Саме такий пщхщ до тестування найбшьше вщповщае задачам нашо1 роботи. Бачимо, що переважна бшьшють вiдомих моделей та систем КАТ орiентованi на ощнку знань в навчальному процесi, а робгг, присвячених КАТ у професшному вiдборi, обмаль. 1снуе велика кшькють адаптивних моделей для змiни траектори в межах одного тесту, однак залишаеться вiдкритим питання переходу мiж тестовими методиками [5].

Вiдомо, що легю та середнi когнiтивнi порушення можуть перешкоджати людинi виконувати певш професiйнi функц11', вiдчутно не впливаючи на 11 повсякденне життя [12]. Тому виявлення i дiагностика таких порушень (або невiдповiдностей встановленим вимогам) при профвiдборi - це важлива науково-практична задача.

Мета статт1 - розробити адаптивну модель системи для професшного вщбору на основi шдивщуального пiдходу до тестування респондентiв i виявлення професiйно важливих характеристик, ям формують дiагностичний профiль когнiтивноi сфери респондента.

Розроблення модел1 процесу тестування. Вхщними даними для процесу пщготовки i проведення тестування е загальний блок теслв та методик ВТМ i правило формування траектори тестування. Блок теслв та методик мютить множину питань для дослщження кожно'1 з когнiтивних функцш. Пщготовка тестування полягае у виборi оператором тесту або методики TM i3 множини ВТМ. В результат на монiтор респондента виводиться вщповщний тест.

Кожний тест або методика (TM) е iтеративними: на кожнш Ггерацп здiйснюеться вибiр i вщображення наступного питання (завдання), перевiрка отриманоï вiдповiдi та формування висновку тсля завершення дослiдження.

Кожна тестова методика описуеться сукупнютю даних i може бути представлена у виглядi

TMi = M [ЩТМвтд, ANSWh OPB], (1)

де M - функщя пiдрахунку результатiв; Id(TMBTMi) - щентифшатор питання, що використовуеться в певному тесл; ANSWi - вiдповiдь на питання; OPBi - оцiнка вщповщГ

Сукупнiсть шформаци про сеанс проходження конкретного тесту складае спробу проходження тесту SPT. Така спроба мае вигляд

SPT = [Id(R), Id(TM), В£>поч, TR], (2)

де Id(R) - iдентифiкатор особи респондента; Id(TMi) - iдентифiкатор тесту в блощ тестiв i методик; ВПпоч - даш до початку тестування; TRi -траекторiя проходження тесту

Встановимо чотири основш властивостi системи дослщження когштивних функцiй людини в загальному виглядь

1. Система володiе набором сенсорних даних, що надходять вщ тестових методик блоюв дослiдження окремих когштивних функцш, включених до складу системи: Т = {T1, T2, .„, Tn}, при чому кожен iз них е бальною оцiнкою параметра, що характеризуе стан когнiтивноï функцГï. Бальна оцiнка визначаеться шляхом проходження тестовоï' методики та обробки вщповщей респондента на поставлеш завдання.

2. Система мае вд6Гр доступних дГй, якГ можуть бути такими: перехщ до нового тесту W1, повторне проходження тесту W2, перехiд на новий рiвень тестування W3, завершення тестування W4, множину яких можна представити як W = {W1; W2, W3, W4}.

3. Система володiе визначеним набором лопчних правил А = {А1, А2, . Ап}, завдяки яким формуеться рiшення щодо подальшоï' траектори дослщження. Таю логГчнГ правила (закони функщонування системи) опираються на результати теслв та залежать вГд оцшок, якГ респондент отримав на попередшх етапах тестування.

4. Система будуе профшь когштивно!' сфери дослщжувано!' людини, який мае вигляд Р = {Р1, Р2, ..., Рп}, де Рi - компоненти профiлю, пiдпрофiлi кожно!' когнитивно'' функцй. Такий профшь е кшцевою метою роботи системи, вш визначае оцiнку стану розвитку психофiзiологiчноi когнитивно'' сфери особистосп респондента.

Враховуючи адаптивнiсть системи (можливють змiни траекторп проходження тестiв), й роботу можна зобразити таким чином:

<ТЬ А, Ж) ^ <72, А, Ж) ^ ... ^ <Тп, А, Ж) ^ Р. (3)

Розроблення алгоритму тестування. Тестування розпочинаеться пiсля вдентифшацп респондента. Отримавши iнформацiю щодо результату проходження тестово'' методики дослiдження когштивно'! функцп, система порiвнюе цi даш з набором логiчних правил i приймае рiшення щодо адаптивно'' змши траекторп тестування. Оскiльки дослiджуються 4 когштивш функцп, то така конструкщя складаеться з чотирьох рiвнiв, тобто блоюв тестових методик.

Траекторiя проходження тесту ТР складаеться з й елементiв ТР¿, якi мютять данi про результати попереднього тесту респондента та юторш змiни даних. ТР1 задаеться системою, а наступш елементи траекторп формуються пiсля проходження /-го тесту:

ТР+1 = [ТРг, 7М], (4)

де ТМг - результат попереднього тесту.

На рис. 1 представлена чотирьохрiвнева схема тестування.

Вх>д системы

-

увага

-

нам'я п>

-

сттрштнятгя

-

психом утор 11 а ])С№1я

У У' ... у.

111 11: - Цч

С| С; ... С,

ПМР, ПМР, ... ПМР, |

I

/¡пбудово. ярофйю Р

Рис. 1. Схема тестування для д1агностики стану когштивних функцш людини

138

Перший рiвень мютить тести на ощнку уваги (Уп), другий рiвень об'еднуе тести для дослщження пам'ятi (Пп), третш рiвень - тести для дiагностики процесiв сприйняття шформаци (Сп), четвертий рiвень -дослiдження психомоторно! реакци (ПМРп), який включае методики просто! та складно! сенсо-моторно! реакцп та 1х модифкацп. Для перевiрки результат тестiв використовуеться метод рiвневоi адаптаци.

Приклад адаптивноi траектори тестування при дослщженш когнiтивних функцiй людини наведена на рис. 2. У прикладi розглянуто систему, що мiстить два тести для ощнювання уваги (У;), три тести для ощнювання пам'ят (П), два тести для ощнювання сприйняття (С;) та одну методику для визначення ПМР. Кожна методика мае свш дiапазон можливих бальних ощнок, i для кожно! з них попередньо встановлено порогове значення ощнки, що визначае позитивний результат тесту Першою ощнюють увагу на основi методики мТаблицi Шульте" (У1 на рис. 2). Порогове значення У1 = 1. У випадку успiшного проходження цiеi методики (ощнка У1 < 1) вiдбуваеться перехщ на другий рiвень -дослщження пам'ять У випадку незадовiльних результа^в (У1 > 1) передбачено проходження додаткового (бшьш грунтовного) тесту "Коректурна проба" (У2) для уточнення дiагностики i пiдтвердження або спростування результату попереднього тесту, тсля чого вщбуваеться перехiд до наступного рiвня i т. д.

ПМР Вихк)

Рис. 2. Приклад схеми адаптивноi траекторИ тестування

Узагальнений алгоритм тестування для дослщження когштивних функцiй людини зображений на рис. 3. Сигналом для запуску алгоритму е iнiцiалiзацiя спроби проходження тестування, що мютить щентифшатор респондента М(Я). Етап "Вибiр тесту" передбачае вибiр оператором першого тесту та його запуск (за замовчуванням встановлений тест У1).

Процедура тестування за кожним тестом мае такий вигляд: тсля тдтвердження вибору певного тесту на монiторi вщображаються правила проходження тесту, а тсля тдтвердження ознайомлення з ними з'являються запитання або завдання тесту; вщповщ респондента i час, затрачений на роздуми, фжсуються. В тдсумку в кшщ кожного тесту формуеться результат та оновлюеться запис в базi даних. Якщо результати задовшьш, то вщбуваеться перехiд на наступний рiвень. Пюля завершення дослiдження на екран виводиться результат.

Рис. 3. Узагальнений алгоритм проведения багатор1вневого адаптивного

тестування

Таким чином, наукова новина роботи полягае у подальшому розвитку методiв i засобiв психофiзiологiчного тестування з метою професшного вiдбору респондентiв шляхом вдосконалення моделi та алгоритму проведення тестування за рахунок введення адаптивно! технологи, що забезпечуе гнучкiсть та оптимiзацiю процесу дослiдження iндивiдуальних функцiональних когштивних можливостей респондентiв.

Висновки. На основi комп'ютеризовано! адаптивно! багатоетапно! технологи проведення тестування розроблена модель системи дiагностування когштивних функцш людини для задач професшного

вщбору i контролю стану когштивно! психофункцюнально1' сфери респондента. Багаторiвневiсть системи забезпечуе дiагностику множини компонент когштибно! сфери (когштивних функцiй), а адаптивнiсть дозволяе сформувати оптимальну траекторш проходження тестування. Принцип функцюнування системи вiдображений в узагальненому алгоршм ii роботи. Запропонована модель забезпечуе всебiчний аналiз когштибно! сфери з мiнiмiзацiею витрат часу i ресурсiв, що дозволяе пiдвищити ефективнють процедури професiйного вiдбору на посади, пов'язаш з пiдвищеними вимогами до когштивних функцш людини.

Список л^ератури: 1. Сельський П.Р. Алгоритм статистично! обробки та анал1зу результапв тестування для оцшки якосп тесту / П. Р. Сельський // Медична освгга. -2015. - № 3. - С. 14-19. 2. Wainer H. Computerized adaptive testing: a primer / H. Wainer, N.J. Dorans, R. Flaugher and other. - London - N.Y.: Routledge, 2000. - 335 p. 3. Постемська К. С. Анал1з юнуючих методiв для ощнювання фiзичноi працездатносп / К. С. Постемська, С.М. Злепко, Д.Х. Штофель, С.А. Петрушин // Вимiрювальна та обчислювальна техшка в технолопчних процесах: XII мiжнар. наук.-техн. конференция. - Одеса-Хмельницький: ХНУ, 2013. - С. 126-127. 4. Chang H.-H. Psychometrics behind computerized adaptive testing / H.-H. Chang // Psychometrika. - 2014. - Vol. 80. - № 1. -P. 1-20. 5. New Horizons in Testing: Latent Trait Test Theory and Computerized Adaptive Testing / Ed. David J. Weiss. - N.Y.: Elsevier, 2014. - 345 p. 6. Vie J.J. A review of recent advances in adaptive assessment / J.J. Vie, F. Popineau, E. Bruillard, Y. Bourda // Learning Analytics: Fundaments, Applications, and Trends. - Cham: Springer International Publishing, 2017. - P. 113-142. 7. Lynch D. Real world usage of an adaptive testing algorithm to uncover latent knowledge / D. Lynch, C.P. Howlin // Proceedings of ICERI2014 Conference, Seville, Spain. - 2014. - P. 504-511. 8. Chen S. Computer adaptive testing using the Same-Decision Probability / S. Chen, A. Choi, A. Darwiche // Proceedings of the Twelfth UAI Conference on Bayesian Modeling Applications. - 2015. - Workshop-Volume 1565. - P. 34-43. 9. Vie J.J. A Heuristic Method for Large-Scale Cognitive-Diagnostic Computerized Adaptive Testing [Digital source] / J.J. Vie, F. Popineau, F. Tort and other // Jill-Jenn Vie. - 2017. - Access mode: http://jill-jenn.net/_static/works/a-heuristic-method-for-large-scale-cognitive-

diagnosticcompu terized-adaptive-testing.pdf (accessed 27.03.2017). 10. Бессарабов Н.А. Алгоритмическое обеспечение адаптивной системы тестирования знаний / Н.А Бессарабов, А.В.Бондаренко, Т.Н. Кондратенко, Д.С. Тимофеев // Программные продукты и системы. - 2016. - № 1 (113). - С. 68-74. 11. Zheng Y. On-the-fly assembled multistage adaptive testing / Y. Zheng, H.H. Chang // Applied Psychological Measurement. -2015. - Vol. 39 (2). - P. 104-118. 12. ЛокшинаА.Б. Современные представления о недементных когнитивных расстройствах / А.Б. Локшина // Эффективная фармакотерапия. - 2015. - № 1. - С. 36-44.

References:

1. Selskyi, P.R. (2015), "Algorithm for statistical processing and analysis of testing results for test quality evaluation", Medical education, Vol. 3, pp. 14-19.

2. Wainer, H., Dorans, N.J., Eignor, D. [et al.] (2000). Computerized adaptive testing: A primer, Routledge, London and New York, 335 p.

3. Postemska, K.S., Zlepko, S.M., Shtofel, D.Kh., and Petrushyn, S.A. (2013), "Analysis of existing methods for physical working capacity assessment", Proceedings of the 12th International Conference Measuring and Computing Devices in Technological Processes, Odesa. Ukraine, pp. 126-127.

4. Chang, Hua-Hua (2014), "Psychometrics behind computerized adaptive testing", Psychometrika, Vol. 80, No 1, pp. 1-20.

5. Weiss, David J. (ed.) (2014), New Horizons in Testing: Latent Trait Test Theory and Computerized Adaptive Testing, Elsevier, New York, 345 p.

6. Vie, J.J., Popineau, F., Bruillard, E., and Bourda, Y. (2017), "A review of recent advances in adaptive assessment", In Learning Analytics: Fundaments, Applications, and Trends, Springer International Publishing, Cham, pp. 113-142.

7. Lynch, D., and Howlin, C.P. (2014), "Real world usage of an adaptive testing algorithm to uncover latent knowledge", Proceedings of ICERI2014 Conference, Seville, Spain, pp. 504511.

8. Chen, S., Choi, A., and Darwiche, A. (2015, July), "Computer adaptive testing using the Same-Decision Probability", Proceedings of the Twelfth UAI Conference on Bayesian Modeling Applications, Workshop-Volume 1565. pp. 34-43.

9. Vie, J.J., Popineau, F., Tort, F. [et al.] (2017), "A Heuristic Method for Large-Scale Cognitive-Diagnostic Computerized Adaptive Testing", available at: http://jill-jenn.net/_static/works/a-heuristic-method-for-large-scale-cognitive-diagnostic-computerized-adaptive-testing.pdf (accessed 27 March 2017).

10. Bessarabov, N.A., Bondarenko, A.V., Kondratenko, T.N., and Timofeev, D.S. (2016), "Algorythmic software of adaptive system for knowledge testing", Software & Systems, Vol. 1 (113), pp. 68-74.

11. Zheng, Y., and Chang, H.H. (2015), "On-the-fly assembled multistage adaptive testing",

Applied Psychological Measurement, Vol. 39 (2), pp. 104-118.

12. Lokshina, A.B. (2015), "Modern notions of non-demented cognitive impairment",

Effective Pharmacotherapy, Vol. 1, pp. 36-44.

Статтю представив д-р техн. наук, проф. ВНТУ Злепко С.М.

Надшшла (received) 00.00.2017

Navrotska Ksenia, Postgraduate Vinnytsia National Technical University Str. Khmelnytske Shose 95, Vinnytsia, Ukraine, 21021 Tel.: (0432) 598-123, e-mail: ksysha33@ukr.net ORCID: 0000-0001-8373-6387

Shtofel Dmytro, Ph.D., Associate Professor Vinnytsia National Technical University Str. Khmelnytske Shose 95, Vinnytsia, Ukraine, 21021 Tel.: (0432) 598-123, e-mail: striks@ukr.net ORCID: 0000-0002-9807-5179

Kostishyn Sergiy, Ph.D., Senior Lecturer Vinnytsia National Technical University Str. Khmelnytske Shose 95, Vinnytsia, Ukraine, 21021 Tel.: (0432) 598-123, e-mail: seruykost@rambler.ru ORCID: 0000-0002-4701-8721

Makohon Vitaliy, Assistant

Vinnytsia National Technical University

Str. Khmelnytske Shose 95, Vinnytsia, Ukraine, 21021

Tel.: (0432) 598-123, e-mail: vim1986@i.ua

УДК 004.9:616-072.8

Адаптивний алгоритм тестування для ощнювання когштивних функцш людини / Навроцька К.С, Штофель Д.Х., Костшин С.В., Макогон B.L // В1сник НТУ "ХПГ. Сер1я: 1нформатика та моделювання. - Харк1в: НТУ "ХП1". - 2017. - № 21 (1243). - С. 135 - 143.

В статп розглянутий процес оргашзацп багатор1вневого адаптивного тестування для д1агностики стану когнггавно1 сфери респондента в задачах професшного вщбору. Розвинутий тдхвд, який дозволяе оргашзувати ефективне тестування з мш1м1защею шлькосп теспв. Розроблена модель системи адаптивного тестування. Наведено приклад траекторп тестування для чотирьохр1вневого ощнювання когштивно1 сфери людини та розроблено узагальнений алгоритм роботи системи адаптивного тестування. 1л.: 3. Б1блюгр.: 12 назв.

Ключовi слова: алгоритм; тестування; багатор1вневе адаптивне тестування; когштивна сфера; професшний в1дб1р; модель; траектория тестування.

УДК 004.9:616-072.8

Адаптивный алгоритм тестирования для оценивания когнитивных функций человека / Навроцкая К.С, Штофель Д.Х., Костишин С.В., Макогон В.И. // Вестник НТУ "ХПИ". Серия: Информатика и моделирование. - Харьков: НТУ "ХПИ". - 2017. -№ 21 (1243). - С. 135 - 143.

В статье рассмотрен процесс организации многоуровневого адаптивного тестирования для диагностики состояния когнитивной сферы респондента в задачах профессионального отбора. Развит подход, который позволяет организовать эффективное тестирование с минимизацией количества тестов. Разработана модель системы адаптивного тестирования. Приведен пример траектории тестирования для черырехуровневого оценивания когнитивной сферы человека и разработан обобщенный алгоритм работы системы адаптивного тестирования. Илл.: 3. Библиогр.: 12 назв.

Ключевые слова: алгоритм; тестирование; многоуровненое адаптивное тестирование; когнитивная сфера; профессиональный отбор; модель; траектория тестирования.

UDC 004.9:616-072.8

Adaptive testing algorithm for human cognitive functions assessing / Navrotska K.S., Shtofel D.Kh., Kostishyn S.V., Makohon V.I. / Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2017. - №. 21 (1243). - P. 135 - 143.

The article deals with the organizing process of multi-level adaptive testing for the respondent's cognitive sphere diagnostics in the tasks of professional selection. An approach that allows to organize effective testing with minimization of tests number is developed. A model of the adaptive testing system is developed. We gave an example of a testing trajectory for a four-level assessment of the human cognitive sphere, and a generalized algorithm of the adaptive testing system is developed. Figs.: 3. Refs.: 12 titles.

Keywords: algorithm; testing; multi-level adaptive testing; cognitive sphere; professional selection; model; testing trajectory.