CC BY
36
5. Metzler, D. Similarity measures for tracking information flow [Text] / D. Metzler, Y. Bernstein, W. B. Croft, A. Moffat, J. Zobel // Proceedings of the 14th ACM international conference on Information and knowledge management - CIKM '05, 2005. -P. 517-524. doi: 10.1145/1099554.1099695
6. Buttler, D. A Short Survey of Document Structure Similarity Algorithms [Text] / D. Buttler // The 5th International Conference on Internet Computing, 2004.
7. 1дентифшащя бiблiографiчних опиав [Електронний ресурс]. - 2015. - Режим доступу: https://uk.wikipedia.org/wiki/^eH-тифiкацiя_подiбностi_бiблюграфiчних_описiв
8. Макар, В. 1нформацшно-анал™чна система для автоматизацй тдготовки наукових звтв тдроздгтв .nbBiBCbKoi пол^ех-шки [Текст]: матер. 6-i наук.-прак. конф. / В. Макар, Р. Тушницький // 1нновацшш комп'ютерш технологи у вищш шкода. - .bBiB, 2014. - C. 177-182.
9. Федасюк Д. В. Структура шформацшно-анал™чно1' системи облiку пiдготовки наукових кадрiв унiверситету [Текст] / Д. В. Федасюк, В. М. Макар, Р. Б. Тушницький // Вюник Национального ушверситету "Львiвська пол^ехшка". Серiя "1нфор-матизацiя вищого навчального закладу". - 2013. - № 775. - C. 99-103.
10. Кушнаренко, Н. М. Наукова обробка докуменйв [Текст] / Н. М. Кушнаренко, Б. К. Удалова; 4-те вид., перероб. i доп. - К. : Знання, 2006. - 334 с.
11. Haase, P. A Bibster - A Semantics-Based Bibliographic Peer-to-Peer System [Text] / P. Haase, B. Schnizler, J. Broekstra, M. Ehrig, F. van Harmelen, M. Menken et. al. // Semantic Web and Peer-to-Peer, 2006. - P. 349-363. doi: 10.1007/3-540-28347-1_19
Розроблено тформацшну технологю, що базуеть-ся на знаннях, яка виршуе задачу автоматичног гене-раци тестових запитань з групуванням гх вiдповiдно до iерархiг понять предметног областi. В рамках розробле-ног технологИ створено тструментальний програмний заЫб. Розроблена технологiя дозволить збшьшити кшь-тсть навчальних тестiв, звшьнивши час викладача вiд рутинног роботи на користь гг творчог складовог, при цьому тдвищить ятсний рiвень освти
Ключовi слова: електронне навчання, дистанцшне
навчання, навчальний контент, онтологи, бази знань □-□
Разработана базируемая на знаниях информационная технология, которая решает задачу автоматической генерации тестовых вопросов с группированием их в соответствии с иерархией понятий предметной области. В рамках разработанной технологии создано инструментальное программное средство. Разработанная технология позволит увеличить количество учебных тестов, освободив время преподавателя от рутинной работы в пользу её творческой составляющей, при этом повысит качественный уровень образования
Ключевые слова: электронное обучение, дистанционное образование, контент, онтология, базы знаний_
УДК 004.853
|DOI: 10.15587/1729-4061.2015.513341
розробка генератора тест1в для "moodle" на баз! онтологи
С. В. Сирота
Кандидат техычних наук, доцент* E-mail: sergiy.syrot@gmail.com В. О. Л i с к i н
Астрант* E-mail: lis-580@rambler.ru *Кафедра прикладноТ математики Нацюнальний техшчний ушверситет УкраТни «КиТвський пол^ехшчний шститут» пр. Перемоги, 37, м. КиТв, УкраТна, 03056
1. Вступ
Застосування шформацшних технологш у c^TeMi освгти дозволяе удосконалювати навчальний процес шляхом впровадження нових мeтодiв i пiдходiв не пльки в навчанш, а й в контролi знань.
Стрiмкий розвиток елементно! бази та шформацшних технологш ставить завдання безперервно вдосконалювати, i тримати навчальний контент «up to date». Викладач працюе над сво1ми курсами, вико-ристовуючи 1нтернет, i редагуе матeрiали в реальному чась Завдяки цьому студенти мають можливicть цeнтралiзовано i оперативно отримувати оновлену шформащю.
На сьогоднiшнiй день тестування е однieю з най-бiльш широко використовуваних форм перевiрки знань. Одним з найяскравiших прикладiв е ЗНО для випускникiв середшх шкiл, обов'язкове для вступу у ВНЗ з 2008 року та ДПА в середнш школь
Актуальною задачею е тдвищення якост контролю знань. Аналiз методики роботи з тестовими запи-таннями показав, що у випадку невелико! юлькост банку запитань тести доцiльно використовувати лише для фшального контролю в режимi екзамену. Звiдси випливають двi полярнi задачi. З одного боку тестування мае виконувати навчальну функщю i бути максимально незалежним вщ випадковостi, а з другого - реально вщображати картину знань.
©
Використання тестування в навчальному процес дозволяе в найкоротший термiн перевiрити знання великих груп учшв, провести контроль досягнень освгг-нiх результапв, скоротити час обробки даних. Разом з тим створення ефективних i верифжованих тестiв е достатньо трудомштким процесом, який мiстить бага-то рутинно!роботи.
Тому створення у студента цШсного уявлення про предметну область формування умшь та навичок i автоматизованих засобiв його ефективного дiагносту-вання та розробка i впровадження iнформацiйноi технологи, яка дозволить зб^ьшити кiлькiсть навчаль-них теспв звiльнивши час викладача вщ рутинно! роботи на користь и творчо! складово!, максимально задовiльнить потребам викладача, при цьому тдшме яюсний рiвень освiти.
2. Аналiз лкературних даних та постановка проблеми
У лiтературi е pÍ3HÍ визначення педагопчних TecTiB. Найбiльш розгорнуте визначення можна знайти в [1], де тест визначаеться як сукупшсть питань i завдань, що пройшли попередню експериментальну пeрeвiрку i cпeцiальну процедуру для !х полiпшeння, i мають достатш характеристики свое! eфeктивноcтi.
На сьогодшшнш день в розвитку комп'ютерних на-вчальних систем можна видiлити три напрямки:
- розробка адаптивних систем [2];
- розробка тестових шаблошв i алгоритмiв автоматично! генерацп теспв на пiдcтавi формалiзованоi предметно'! обласп [3];
- оцiнювання знань учшв з використанням при-родно! мови [4].
Вихiдними даними для формування тестових завдань з конкретно! дисциплши е номенклатура титв тестових завдань закритого i вщкритого типу [5].
В робот [6] запропонована понятшно-тезова модель подання знань, на базi яко! автори планують розробити систему автоматизовано! генерацп теспв для контролю знань. Проте в нш немае iнформацii про повноту такого подання шформацп та про пов-ноту тесту, який повинен представляти знання учня усього навчального курсу. 1нший шдхщ до виршен-ня аналогiчноi задачi [7, 8] базуеться на викорис-танш аналiзу формальних понять Вiллe-Гантeра i спрямований на автоматичному формуванш понять, закономiрноcтeй i аcоцiацiй в предметнш облаcтi. У роботах [9, 10] розглядаеться поняття педагопчних тecтiв. ПедагоНчний тест - це система паралельних завдань рiвномiрно зроcтаючiй важкоcтi, як дозво-ляють вимiряти рiвeнь i ощнити cтупiнь шдготов-лeноcтi учня.
Сучасш онтологокeрованi iнформацiйнi системи призначеш для концeптуалiзацii онтологiчних катего-рш та удосконалення iерархiчних структур сутностей на вах рiвнях [11].
Сшльне використання людьми або програмними агентами загального розумшня структури шформацп е однiй з найбiльш сшльних цiлeй розробки онтологiй [12]. Останшм часом в якоcтi стандарту мови обмшу онтологiями в Ontolingua використо-вують мову OWL, запропоновану у проект Semantic Web [13]. Серед вщомих iнcтрумeнтальних заcобiв
найбiльшою популяршстю користуеться платформа Protégé - безплатний, вщкритий редактор онтологiй i фреймворк для побудови баз знань. Мае вщкриту, легко розширювану архiтектуру i шдтримуеться широким спiвтовариством, що складаеться з роз-робникiв i вчених, урядових i корпоративних ко-ристувачiв, якi використовують його для виршення завдань, пов'язаних зi знаннями, в рiзноманiтних областях. Онтологiï, побудованi в Protégé, можуть бути експортоваш у рiзнi формати, включаючи OWL i XML.
Досвщ використання Moodle [14] виявив, що за-стосування тесив з невеликим банком запитань (менше 100) доцiльне лише з метою перевiрки, а використання тесив в режимi навчання можливе при наявноси певно! кiлькостi (не менше 20) запитань, що стосуються одного i того-ж факту з рiзними фор-мулюваннями. запитань. Створення таких банюв запитань, iï верифiкацiя е дуже трудомштким про-цесом.
3. Цшь та задачi дослiдження
Метою дано! роботи е розробка iнформацiйноi технологи, яка виршуе задачу автоматично! генерацп тестових запитань з групуванням ix ввдповщно до iерарxii понять предметно! область
Для цього необхщно виршити наступнi задачi:
- дослщити iснуючi методи представлення онто-логш в OWL та доступнi шструментальш засоби створення тестiв для Moodle;
- розробити правила або рекомендацп щодо побудови онтологп предметно! областi доступними шстру-ментальними засобами з тим, щоб створена онтолопя була придатна для подальшо! обробки;
- видiлити цiльовi типи тестових запитань, як придатнi для автоматично! обробки, розробити алго-ритми !х генерацii;
- реалiзувати програмш засоби автоматизованого генерування верифiкованиx запитань iз розподiлом !х за категорiями вiдповiдно до тестованих понять, та дослщити показники !х роботи.
4. Технолопя генерацп тестових запитань з використанням онтологп
4. 1. Особливоси iснуючих програмнi засобiв для роботи з онтолопями та оргашзацп навчання
Методика автоматичного генерування тестових за-питань з використанням онтологп певного поняття та поеднанням и з мшюнтолопею тестового запитання була запропонована в [14].
В основi мови OWL лежить представлення предметно! обласп в моделi концеппв «об'ект - власти-вшть». OWL придатний для опису не лише веб-сто-ршок, але i будь-яких об'екпв дiйсностi. Кожному елементу опису в цш мовi (у тому чи^ властивостям, що зв'язують об'екти) ставитися у вщповщшсть URI (англ. Uniform Resource Identifier) — ушфжований щен-тифiкатор ресурсу.
Moodle - це система управлшня навчанням (система управлшня курсом навчання, вiртуальне навчальне
середовище), що представляе собою веб-додаток, який викладач1 можуть використовувати для створення ефективних навчальних сайпв [15].
Будь-який тест в Moodle створюеться на осно-в1 Банка питань. Як1 створюються автором курсу вбудованими засобами Moodle або можуть бути 1мпортоваш в р1зномаштних форматах. Найбшьш зручним форматом для 1мпорту е GIFT оскшьки фактично е текстовим файлом з певною розм1ткою i спещальними знаками. Пiдтримуе питання рiзних, якi можуть бути поеднанi в одному файль Формат також шдтримуе назви питань, коментарi до ва-рiантiв вiдповiдей, зворотний зв'язок i процентне оцшювання.
При створеннi тесту в Moodle автору потрiбно ви-значити чи буде тест мати яю-небудь обмеження за часом, скшьки питань буде вiдображатися на однш сторiнцi, випадковий або невипадковий порядок цих питань, скшьки спроб буде надано кожному тестова-ному, як методи оцшювання будуть застосовуватися та iншi параметри. При запуску тесту забезпечуеться випадковий порядок слщування вщповщей i дистрак-торiв.
4. 2. Онтолопя предметно!" облает
Як згадувалося рашше, основними будiвельними блоками онтологп OWL в системi Protege 4 е кла-си. Класи штерпретуються як множина iндивiдiв (чи об'екпв). Властивостi в OWL представляють вщно-шення. 1снуе два основнi типи властивостей: власти-востi об'ектiв i властивост типiв даних. Властивос-тями об'екту е вщношення мiж двома шдивщами. Властивостi об'ектiв зв'язують шдившв. OWL також мае властивостi анотацп, якi можуть використовува-тися для додавання метаданих для клаав, окремих шдившв i властивостей об'ектiв/типiв даних [16]. Для досягнення мети пропонуеться розглядати поняття як набiр ланцюжшв сутнiсть - зв'язок - опис, якому передуе нотащя:
Concept=Notatio: Essentia-Ligamentum-Descriptio (лат.) або
C: <N, E, L, D>, (1)
де N - нотацiя (E={Ei} - кортеж сутностей предметно! област^ L - зв'язки, D={Di} - кортеж властивостей.
У зв'язку з тим, що в рiзних роботах украшсью термiни: «поняття», «контекст», «сутшсть» мають рiз-ш значення ми вживатимемо латинськi термши, якi вiдповiдають структурним частинам наведених далi прикладiв.
Приклад концептiв «вщеокарта» та моделi кольору з курсу «Ком'ютерна графiка» наведено на рис. 1.
Як було зазначено, в OWL кожному елементу опису (у тому числi властивостям, що зв'язують об'екти) ставиться у вщповщшсть URI, тобто i об'екти i властиво-ст е в машинному представленш даними одного типу. Звщси випливае правило, якого слщ дотримуватись при побудовi онтологп предметно! област для подаль-шо! обробки генератором тесив:
- Iерархiя властивостей (rdf:Property) повинна вщ-повiдати зв'язцi L (Ligamentum).
Concept: «Видеокарта», Notatio: «Функцюналътт олок»
Е L D
графнний процесор розраховуе bmîct вщеопам'ят]
контролер монитора забезпечуе вщображення BMicTy вщеопам'ял на MOHiTopi
вщеопам'ять (V- 36epirae зображення кожного
RAM) виконуе кадру
розширення BIOS функцш 36epirae налаштування та проводить дтгностику при включены
контролер забезпечуе обмЫ даними з
ВНуТр|ШНЬО| шини центральним процесором
Рис. 1. Приклад концеплв: а — Концепт «Вщеокарта»; б — Концепт «Моделi кольору»
4. 3. Онтолопя запитань
Зпдно термшологп, що склалася тест (quiz) розу-м1еться як наб1р з певно! кшькост1 тестових запитань. В1др1зняють запитання в закритш та вщкритш формь Для автоматичного оцшювання зручшше використовувати запитання в закритш формь Загальна структура запитання в закритш форм1 представлена на рис. 2. Серед вар1ант1в вщповщей вщр1зняють пра-вильш - eidnoeidi i неправильш - дистрактори.
завдання
BapiaHT BiflnoBifli =1ц|нка |=[к'оментар
Рис. 2. Структура запитання в закритш форм1
Розр1зняють наступш типи запитань в закритш формк
1. На eidnoeidHicmb (Matching) «М.» - задаеться пев-на кшькють сутностей зв'язок i така ж кшькшть опис1в задача полягае в тому щоб правильно сшввщнести сутшсть з описом.
2. Множинний eu6ip (Multiple choice):
- Багато вiдnoвiдей (Multiple-answer) «MA» - задаеться одна сутшсть, зв'язок, певна кшькшть опис1в. Задача полягае в тому щоб позначити описи, як вщпо-вщають сутность
а
- Одна вГдповГдь (Single answer) «SA» - задаеться одна сутшсть, певна шльшсть опиив. Задача по-лягае в тому щоб вибрати ильки одну правильну в^пов^ь.
3. Так/Hi (True/False) «TF»- даеться ланцюжок сутшсть - зв'язок - опис треба вщповшти штинна вона або хибна.
В бшьшосп випадшв кожне запитання вщповщае певному поняттю предметно! област!
Нехай на входi генератора тесив е концепт у вигля-дi C: <N, E, L, D>, для прикладу рис. 2, а це буде: С=«Вщеокарта», ^=«Функцюнальний блок», L=«виконуе функцш», E1 =«графiчний процесор», ^1=«розраховуе вмшт вiдeопам'ятi», E2=«контролер монiтора», D2=«забезпечуе вiдображeння ...», E3=«вщеопам'ять (V-RAM)», D3=«збeрiгае зображення кож...», E4=«розширення BIOS», D4=«збериае налаштування та.», Е5=«контролер внутртньо! шини», D5=«забeзпeчуе обмiн даними...». Очевидно що, отримано тестове запитання типу M. з точшстю до форматування. Приклад результату наведено в РоздМ 5 (рис. 4, а).
З питання типу M побудувати питання типу SA можна наступним чином: кожнш сутност Ei з кортежу E зштавляеться кортеж D при цьому Di буде правильною в^повщдю, а решта Dj^j виконуватимуть роль диcтракторiв. Бiльшe того, в комeнтарi до Dj^j записуються вщпов^ш Ej з певним прeфiкcом, на-приклад «HeeipHo! Це ». Приклад результату наведено на рис. 4, б.
Для того щоб отримати питання типу MA, е два наступних способи.
Перший полягае в тому що зв'язка L замшюеться на li заперечення -L тодi Di стане дистрактором, а решта Dj^j вщповщями. Замiна L на -L виконуеться користу-вачем вручну.
Другий спооб використовуе cутноcтi, яю мають бiльшe одного зв'язку (рис. 1, б), тодi сутносп Ej з кортежу E зштавляеться ланцюжок <Lk, Dk>, де шдекс k означае зв'язок i вiдповiдний йому кортеж D при цьому Dki буде правильною вщповщдю, а решта Dkj^ виконуватимуть роль диcтракторiв.
Питання типу TF генеруються наступним чином: будуються ланцюжки з сутностей Ej з кортежу E з1 зв'язками L та !м зicтавляетьcя елементи кортежу D, при цьому елемент Dj дасть штинне твердження, а решта а решта Dj^j хибнi.
5. Результати дослщження, програмний зас1б для генераци тестових запитань
Програмний заоб для генераци тестових запитань мае простий та зрозумший iнтeрфeйc, екранна форма якого представлена на рис. 3. На вхщ генератора тестових питань подаеться онтолопя в формам OWL.
Програма аналiзуе шструкци rdf:Property i про-понуе кориcтувачeвi знайдeнi концепти у виглядi (1) (рис. 3), кожний концепт на окремш вкладщ.
Щ TestGEN
Fife Орег; EXCEL IN Fl ïtion
LE
л v
частина еще
графичний п| виконуе Фун розраховуе
контролер ь- виконуе Фуь забезпечуе
вщеопам'ять виконуе Фуь збергае зос
розширення виконуе Фун збер1гае наг
Контоолео e виконие Фчн забезпечче
< >
Рис. 3. Екранна форма генератора тесту
Також в даному програмному 3aco6i передбачена можлившть ручного введення даних для генераци теспв.
Користувач може вщредагувати ligamento та задае параметри бажаних запитань:
- тип запитання;
- шлькшть варiантiв вiдповiдi;
- метод ощнювання (3i штрафними балами або без).
В^повщно до заданих парамeтрiв для кожного
концепту генеруються запитання, як з6eрiгаютьcя в окремий файл. При цьому розподш позитивних i нега-тивних оцiнок здшснюеться автоматично вiдповiдно до кiлькоcтi вщповщей i диcтракторiв в запитаннi. На виходi користувач отримуе файл зi згенерованими тестовими завданнями у формам GIFT (рис. 4) В при-кладi (рис. 4, б) «%-10 %» це штрафнi бали як нарахо-вуються за неправильну вщповщь.
// question: 0 name: Switch category to $module$
/Default for Пробний тест $CATEGORY: $module$/Default for Пробний тест// question: 25 name: Вщеокарта::Функцюнальний блок:: [html]Heo6xiflHO побудувати BipHi твердження\:{ =графтний процесор -> розраховуе bmîct вщеопам'ят]
=контролер монитора -> забезпечуе вщображення вмкту вщеопам'ят1 на MOHÎTopi =вщеопам'ять (V-RAM) -> 36epirae зображення кожного кадру
а
11 question: 23 name: Вщеокарта 1 SA ::BifleoKapTa::fhtml]<p>
Функцюнальний блок</рхр> контролер монп"ора виконуе функц1ю </р>{ ~%-10% розраховуе bmîct вщеопам'ят1 #HeeipHoi! Це графнний процесор \п\п = контролер MOHiTopa #BipHO,\n\n
~%-10% 36epirae зображення кожного кадру йНевфно! Це вщеопам'ять (V-RAM) \п\п
б
Рис. 4. Результати роботи генератора тестових запитань: а — питання типу М.; б — питання типу SA
Беручи до уваги те, що шдивщи в OWL е екземп-лярами клаов та тдклаав, згенероваш файли розташо-вуються за iерархiею вкладених папок файлово! систе-ми вiдповiдно до iерархii клаciв у вхiдному OWL файл!
6. Обговорення результаив дослщження, к1льк1сш та hkíchí показники роботи генератора запитань
Аналiз отриманих результаив показав, що для кожного концепта в залежноси вiд кiлькостi заданих Essentia (m) та Descriptio (n) Ligamento (l) можна отримати:
- одне запитання типу M.;
- mxl запитань типу SA;
- mxl запитань типу MA ;
- mxlxn запитань типу TF;
- m x CjX„ запитань типу MA з k варiантами ввдпо-вiдей або mx2lxn-1 запитань типу MA з дов^ьною юль-кiстю варiантiв вiдповiдей.
Якщо прийняти за нормальну юльюсть варiантiв вщповвд 5 i покласти m=n=5, то за одним концептом який мае щонайменше 3 види зв'язюв, буде згенеро-вано 3109 запитань! До позитивних результапв слiд вiднести те, що згенероваш тестовi запитання не мш-тять помилок виходячи з того, що кожному Essentia однозначно ствставлено Ligamentum та Descriptio i згенерований тест не потрiбно перевiряти на помилки.
Звичайно, слщ зазначити, що дана технолопя може бути застосована лише для предметних областей, по-няття яких представлен у виглядi (1). Це накладае пев-нi обмеження на онтологп, яю можуть бути коректно використаш в якостi вхщних файлiв. Технологiя вирь шуе пльки питання кiлькостi тестових запитань, зали-шаючи вiдповiдальнiсть за якiсть теспв авторовi курсу.
В будь-якому випадку, дану техшку можна застосо-вувати до банюв iснуючих запитань на ввдповвдшсть (M.) для того щоб почати використовувати тести, яю були призначеш лише для фiнального контролю, з метою навчання.
7. Висновки
На основi дослщження iснуючих методiв представлення онтологш, аналiзу форматiв i технологш, якi використовують iснуючi програмнi засоби Protégé i MOODLE, були розроблеш правила та рекомендацп щодо побудови онтологп предметно! область А саме те, що iерархiя властивостей в представленш онтологп повинна вщповщати зв'язщ тестового запитання. Ви-дiлено клас онтологш, що вщповщають данiй вимоз^ якi можуть бути використанi для подальшо! обробки запропонованими методами.
Видiлено чотири цiльовi типи тестових запитань в закритш форм^ якi придатнi для автоматично! обробки, побудовано !х шфолопчну модель, i розроблено алгоритми !х генерацп, в основi яких полягае перебiр i комбiнацiя текстових рядюв.
Створено програмний засiб автоматизованого ге-нерування верифiкованих запитань iз розподшом !х за категорiями вiдповiдно до тестованих понять, ви-явлено що згенероваш тестовi запитання е верифь кованими та !х кiлькiсть достатня для використання тестування в навчальних щлях.
Таким чином розроблена технолопя дозволить зб^ьшити юльюсть навчальних теспв звiльнивши час викладача вiд рутинно! роботи на користь ïï творчо! складово!, при цьому пiдвищить яюсний рiвень освiти.
Лiтература
1. Рапопорт, И. А. Тесты в обучении иностранным языкам в средней школе. [Текст] / И. А. Рапопорт, Р. Сельг, И. Соттер. -Таллин: Валгус, 1987. - 350 с.
2. Zitko, B. Dynamic test generation over ontology-based knowledge representation in Expert Systems with Applications [Text] / S. Stankov, M. Rosic, A. Grubisic // Expert Systems with Applications. - 2008. - Vol. 36, Issue 4. - P. 8185-8196. doi: 10.1016/ j.eswa.2008.10.028 - Available at: http://www.academia.edu/3187332/ dynamic_test_generation_over_ontology-based_ knowledge_ representation_ in_authoring_shell
3. Durlach, P. J. Adaptive Technologies for Training and Education [Text] / P. J. Durlach, A. M. Lesgold. - Cambridge : Cambridge University Press, 2012. - 380 p. doi: 10.1017/cbo9781139049580
4. Gutl, Ch. Enhanced Approach of Automatic Creation of Test Items to foster Modern Learning Setting [Text] / Ch. Gutl, K. Lankmayr, J. Weinhofer, M. Hofler // Electronic Journal of e-Learning. - 2011. - Vol. 9, Issue 1. - P. 23-38.
5. Уэно, Х. Представление и использование знаниий [Текст] / Х. Уэно, М. Исудзука. - М. : Мир, 1989. - 220 с.
6. Титенко, С. В. Семантична модель знань для щлей оргашзацй контролю знань у навчальнш систем! [Текст]: сб. тр. VI межд. конф. / С. В. Титенко, О. О. Гагарш // Интеллектуальный анализ информации. - Киев, 2006. - С. 298-307.
7. Таран, Т. А. Обучение понятиям в интеллектуальных обучающих системах на основе формального концептуального анализа [Текст] / Т. А. Таран, С. В. Сирота // Искусственный интеллект. - 2000. - № 3. - С. 340-347.
8. Таран, Т. А. Методика извлечения знаний при построении интеллектуальных обучающих систем [Текст]: сб. тр. VI Межд. конф. / Т. А. Таран, С. Н. Копычко, С. В. Сирота, Н. А. Гулякина // Интеллектуальный анализ информации. - Киев, 2006. - C. 282-287.
9. Челышкова, М. Б. Теория и практика конструирования педагогических тестов [Текст] : учеб. пос. / М. Б. Челышкова. -М. : Логос, 2002. - 432 с.
10. Нейман, Ю. М. Введение в теорию моделирования и параметризации педагогических тестов [Текст] / Ю. М. Нейман,
B. А. Хлебников. - М., 2000. - 168 с.
11. Палагин, А. В. Онтологические методы и средства обработки предметных знаний [Текст]: монография / А. В. Палагин,
C. Л. Крывый, Н. Г. Петренко. - Луганск: изд-во ВНУ им. В. Даля, 2012. —324 с.
12. Gruber, T. R. The role of common ontology in achieving sharable, reusable knowledge bases [Text] / T. R. Gruber; J. A. Allen, R. Fikes, E. Sandewell (Eds.). - Principles of Knowledge Representation and Reasoning — Proceedings of the Second International Conference, 1991. - P. 601-602.
13. Сирота, С. В. Огляд сучасних онтологокерованих ¡нформацшних систем та серв1ав i перспективи !х застосування в елек-троннш освт [Текст] / С. В. Сирота, В. О. Люкш // Технолопчний аудит та резерви виробництва. - 2015. - Т. 5, № 6 (25). -С. 58-60. doi: 10.15587/2312-8372.2015.51234
14. Сирота, С. В. Використання системи "Moodle" для викладання дисциплши "Алгоритми i структури даних" - досвщ i пробле-ми [Текст] / С. В. Сирота, В. О. Лккш // ScienceRise. - 2015. - Т. 9, № 2 (14). - С. 30-35. doi: 10.15587/2313-8416.2015.50610
15. Офщшний сайт Moodle [Електронний ресурс]. - Режим доступа: https://moodle.org/
16. Noy, N. F. Ontology Development 101: A Guide to Creating Your First Ontology [Text] / N. F. Noy, D. L. McGuinness. - Stanford Knowledge Systems Laboratory Technical Report KSL-01-05 and Stanford Medical Informatics Technical Report SMI-2001-0880, 2001. - Available at: http://protege.stanford.edu/publications/ontology_development/ontology101.html
