CC BY
13
Научни трудове на Съюза на учените в България - Пловдив Серия В. Техника и технологии, том XIII., Съюз на учените, сесия 5 - 6 ноември 2015 Scientific Works of the Union of Scientists in Bulgaria-Plovdiv, series C. Technics and Technologies, Vol. XIII., Union of Scientists, ISSN 1311-9419, Session 5 - 6 November 2015.
АВТОМАТИЧНО ГЕНЕРИРАНЕ НА ТЕСТОВИ ЕДИНИЦИ ОТ ЕЛЕКТРОННИ УЧЕБНИ МАТЕРИАЛИ Марияна Райкова, Георги Тотков Нов български университет, ПУ „Паисий Хилендарски"
AUTOMATISED GENERATION OF TEST ITEMS FROM E-LEARNING MATERIALS Mariyana Raykova, George Totkov New Bulgarian University, Plovdiv Univesity „Paisii Hilendarski"
Обект на изследването е проект на модул за автоматизирано генериране на тестови единици на база електронни учебни материали в текстов формат. След всеки учебен материал автоматично се предлага тест, решенията на който съдържат метаданни на съответния материал. При решаване на теста обучаваният определя понятия и отношения, участващи в маркирани текстови фрагмента. Използвайки подобен подход могат да се осъществят редица приложения в областта на електронното тестване и за анотация на учебни материали, вкл. за създаване на преподавателски и студентски концептуални карти за електронни учебни материали, на описания на метаданни (напр. в стандарт LOM) и др.
Ключови думи: електронно обучение, електронно тестване, концептуални карти, автоматично генериране на тестови единици
The object of study is the software module for automatized generation of test units on the basis of e-learning materials in text format. After each teaching material is automatically proposed test, which solutions contain relevant metadata. While solving the test the students define concepts and relations involved in the marked text fragments. Using a similar approach, we can implement a number of applications in the field of electronic testing, annotation of leaning materials, incl. for development of teaching and student concept maps for e-learning materials, metadata descriptions (for example, in the LOM standard) etc.
Keywords: e-learning, e-testing, concept maps, automatized generation of test items
С помощта на системи за е-обучение (СеО) преподавателите обогатяват, разнообразя-ват и улесняват процеса на обучение. СеО предлагат средства за съхраняване на електронни учебни единици (ЕУЕ), за създаване на тестове и онлайн изпитване, за автоматично оценяване и поддържане на обратна връзка. Всички тези дейности изискват значими усилия от страна на преподавателя, което затруднява създаването и популяризирането на електронни курсове (е-кусове).
Създаването на е-курс стандартно включва разполагане на тематични ЕУЕ, съпроводени от различни видове ресурси или дейности. Преподавателят избира методика на обучение, след което сам конструира (или подбира) ЕУЕ за разполагане в СеО. Стандартен подход е предварително разделяне на курса на учебни теми, след което всяка тема се осигуря-ва с разполагане на съответни ЕУЕ. За съжаление, в много случаи с това приключва и конструирането на е-курса. Ето защо, редица СеО предлагат допълнителни видове учебни 62
дейности, които преподавателите могат да включат в своя е-курс - форуми, задания, wiki, анкети, уроци, тескове и др. В оявои случаи дейности се добавят и автоматично (напр. СеО Moodle включва форум автоматично след всяка тема [7]).
В настоящето изследване се проучва възможност за автоматично добавяне на тест след всяка текстова ЕУЕ на даден е-курс.
За провеждане на експеримента (поради своята популорност и модулна структура) е избрана СеО Moodle Проектиран е plug-in модул към Moodle, който автоматично сыздава тест след всякт текстова ЕУЕ на е-курс (фиг. 1.).
Qjestion Item Generator Фигура 1.Архитектура на plug-in модул за генериране на тест за текстова ЕУЕ
На първо място е необходимо да се проектира модул за обработка на текста на ЕУЕ е различни (напр. pdf) формата, вкл. нанасяле на маркери, лелектиранв на абзаци, водене на т.нар. „бележки", които включват описание на метаданни 1сато ключови понятия и релации мтжду понятията и др. (вж. PPЕ*!7 manipulator на фиг. 1.). Преподавателят може сам да анотира даден текстов фрагмент, или да състави тестова адиница, в доято да изиска сыцото от обучавлни, Выв вторие сллчлй може да се използва технологията на т. нар. акумулативни тестови единици [2], при която отговорите на обучаваните се натрупват (в специална тесто ва база даннк) и използват в следващ про цес по генериране на тестови единици от различен ■тип [1, 2, К, 6].След оценевана от преподавателяна отговорите на выпроси, отнасящи се за дадена текстова ЕУЕ, могат да се сыздадат и уетауанни в различни стандарти (laOM, Dublin Core metadata Г8], IMS Meta-data [4] и д.). Модулыт комуниеира сыс СаО, с тестова база данни и с модул за генериране на тестови единици. В процеса на обучение се обработват ЕУЕ и сыхраняват (вече нотирани), след което (модул Question Item Generator) се подготвят тестови единици за изпылнение от обучаваните.
Идеята на модул PDF manipulator е да се даде възможност на потребители (обучавани или преподавател) да посочват ключови понятия и отношения между тях в различни текстови фрагменти на ЕУЕ. Накрая, в базата данни се сыхраняват обработената ЕУЕ с нотирани от потребителите маркирани текстове. Модул Question Item Generator старти-ра процес по генериране на тест след като дадена ЕУЕ быде прочетена от обучаван, като генерира тестови единици, които могат да се използват и като фокус выпроси (за други цели, напр. изграждане на концептуални карти). Генерирането на тестови единици следва по-рано сыздадена технология [2, 5], при която всеки следващ тестов выпрос може да използва отговори, дадени на предходни выпроси. С други думи, след като обучаваните сами определят кои са понятията и отношенията в текста, на базата на техните оценени определения (отговори) автоматично се формулират следващи, по-сложни (по Блум) те-
стови единици. В реализацията се задават въпроси към ЕУЕ като цяло, а така също и към отделни маркирани раздели или пасажи от текста на ЕУЕ.
Примерно изпитване може да протече в следната последователност: А. Поставя се основен въпрос за темата (фокус въпрос) [3]; Б. Изпитването продължава със следващия тест:
1. Кои са основните понятия, съдържащи се в маркираните участъци на текста?
2. Какви отношения съществуват между понятията в текста?
3. Какви други отношения има между понятията?
4. Може ли понятие X да е свързано с понятие Y?
5. Кое е отношението f между понятие X и понятие Y?
6. Кое е понятието, което е в отношение f с понятие X?
7. Кое е понятието, което е в отношение f с понятие Y?
По-горе X, Y и f се заменят с понятия и релации от съществуващите нотации в текста, като се избират автоматично на база на натрупаните (в базата данни) метаданни за ЕУЕ. Модул PDF manipulator предоставя възможност в текста да се маркират понятия и отношения между тях, на базата на което се генерират прости въпроси от вида f(X, Y), къ-дето X и Y са понятия, а f е връзката или релацията между тях (възможно е да се генерират и въпроси, които питат за f, X или Y [6]).
Модул PDF Manipulator се активира от преподавател, който има възможност да маркира, описва и анотира фрагменти от текста, усвояването (от страна на обучаваните) на които иска по-късно да оцени. Модулът може да се активира и от обучавания, ако преподавателят не го е активирал и в базата данни липсва анотация на ЕУЕ. В този случай системата, като първи въпрос (след прегледа на материала) ще предложи на обучавания сам да създаде анотация. Модул Question Item Generator се активира автоматично след прочитане на ЕУЕ от обучаван. За обучаваните са възможни два варианта: да тръгнат от „нула" и да анотират текста на маркираните участъци, или (ако в базата вече е изградено анотационно описание на текста) да им бъде предложен тест, подобен на примера по-горе (въпроси от 1 до 6).
В първия прототип на системата съответните тестови единици се генерират не под формата на естественоезиков (гладък) текст, а се задават под формата на 3-колонна таблица за попълване с N на брой реда (N е броят на понятията и отношенията между тях, открити или анотирани в текста).
Така генерираните тестови единици могат да се използват не само за определяне на равнището на усвояване от страна на обучаваните на отделни ЕУЕ, но и за определяне на качеството на последните. Системно несправяне с тестове, генерирани за дадена ЕУЕ означава, че описанията на понятия и релации между тях не са достатъчно разбираеми и е необходимо съществено редактиране на съответната ЕУЕ. Освен това, резултатите от оценяването определят и равнището на трудност на дадена ЕУЕ. Ако голяма група от обучаваните се справя добре, то вместо въпросната ЕУЕ е необходимо в следващите етапи на е-обучението да се предложи друга ЕУЕ с цел повишаване на трудността.
Предложеният подход, за разлика от други методи за провеждане на е-обучение, предоставя средства не само за контрол - дали обучаваният изобщо се е запознал с дадена ЕУЕ, но и за определяне на качеството на нейното усвояване и разбиране. За целта е достатъчно да се генерира автоматизиран диалог („разпит") за съдържателната страна на всяка поредна ЕУЕ на е-курса и да се анализират отговорите, получени в хода на диалога.
В резюме, предложеният подход има следните предимства:
• предполага прочитане и изучаване на ЕУЕ (изисква анотация от всеки обучаван);
• симулира автоматизиран обучителен диалог за всяка ЕУЕ с генериране на разнообразни тестови единици;
• автоматизирано създава метаописания на ЕУЕ;
• продължава развитието на т. нар. акумулативен модел на теста (с предлагане на нов
тип акумулативен тест) и др.
Пред изследването се разкриват интересни направления за развитие:
• експериментиране на подхода в конкретна СеО;
• проектиране на модул за оценка на качеството на ЕУЕ;
• автоматично изграждане на концептуални карти към ЕУЕ;
• оценяване на концептуална карта на ЕУЕ, създадена с участие на конкретен обучаван (в сравнение с експертни знания);
• генериране на нови тестови единици на базата на акумулирани отговори и концептуална карта на ЕУЕ [5];
• създаване на база от универсални фокус въпроси за развития подход и др.
Литература
1. Райкова М., Хр. Костадинова, Г. Тотков, Модел и схема за автоматизирано генериране на тестови единици по Рютер, Хербиг и IMS QTI, Пета национална конференция по Електронно Обучение във висшите училища, 16-17 Май 2014 г. Русе, 214-219.
2. Тотков Г., М. Райкова, Хр. Костадинова, Тестът в е-обучението, ISBN: 978-9548852-42-5, „Ракурси" ООД, Пловдив, 2014 г.
3. Cmap | Cmap Software, http://cmap.ihmc.us/docs/focusquestion.php.
4. IMS Meta-data Best Practice Guide for IEEE 1484.12.1-2002 Standard for Learning Object Metadata Version 1.3 Final | IMS Global Learning Consortium, https://www.imsglobal. org/metadata/mdv1p3/imsmd_ bestv1p3.html.
5. Raykova M., Hr. Kostadinova, Kr. Dushanova, Concept maps used as accumulative test items generator, The 11th Annual International Conference on Computer Science and Education in Computer Science, June 04-07 2015, Boston, MA USA.
6. Raykova M., Hr. Kostadinova, G. Totkov, Automatized Test Item Generation in Moodle, Proceeding, CompSysTech, Proceedings of the 15th International Conference on Computer Systems and Technologies, Pages 417-423.
7. Moodle - Open-source learning platform | Moodle.org, http://moodle.org
8. Barker P., L. M. Campbell, Metadata fo Leaning Mateials: an Ovewiew of Existing Standards and Current Developments, Technology, Instruction, Cognition and Learning, vol 7 (3-4) 2010, pp 225-243, http://www.oldcitypublishing.com/TICL/TICLcontents/TICLv7n3-4contents.html.
За авторите
Марияна Райкова, Нов български университет, [email protected]
Георги Тотков, Пловдивски университет „Паисий Хилендарски", totkov@uni-plovdiv.
bg
