CC BY
52
References
1. Dankwort, C.W. Engineers' CAx education - it's not only CAD / C. Werner Dankwort, Roland Weidlich, Birgit Guenther, Joerg E.
Blaurock // Computer-Aided Design. - 2004. - Volume 36, Issue 14. - Pages 1439-1450.
2. Day, M. What is PLM? / Martyn Day // CAD Digest - 2002.
3. Miller, E. A PLM Evolution // InTech. - 2007.
4. Красковский Д. PLM/AECO - новая панацея // САПР и графика. - 2003. - №2. - С. 4-9.
5. Бородавка 6.В. Моделi та засоби шформацшноТ штеграци систем проектування будiвель i споруд // Вюник Схщноукрашсько-
го нацюнального ушверситету iменi Володимира Даля. - 2009. - №6(136). - С. 255-259.
-□ □-
Виконано aHaMÏ3 icнуючих Memodie контролю знань. Запропоновано структуру iнmeлeкmуальнoï (адаптивной) системи контролю знань, що метить контролюю-чий блок з аналiзoм рeзульmаmiв навчання (АРН)
Ключoвi слова: тформацшт технологи, ттелектуальна система, адаптащя, мето-
ди, тестовий контроль знань
□-□
Выполнен анализ существующих традиционных и современных методов контроля знаний. Предложена структура интеллектуальной (адаптивной) системы контроля знаний, которая имеет в структуре контролирующий блок с анализом результатов обучения (АРО)
Ключевые слова: информационные технологии, интеллектуальная система, адаптация, методы, тестовый контроль знаний
□-□
The analysis of existing traditional and modern methods of control knowledge. A structure of the intellectual (adaptive) supervisory system which has in a structure a supervisory block with the analysis of teaching results (ARO) is offered
Key world: information technology, intellect system, adaptation, methods, test control knowledge
-□ □-
УДК 004.8
ОЦ1НЮВАННЯ Р1ВНЯ ЗНАНЬ СТУДЕНТ1В В П1ДСИСТЕМ1 КОНТРОЛЮ ЗНАНЬ МОДЕЛ1 АДАПТИВНОГО НАВЧАННЯ
О.В. Кравчен ко
Асистент
Кафедра шформацшних технолопй проектування* Контактний тел..:(472) 32-62-26, 067-91 1-83-33 E-mail: kravchenko_ov@ukr.net
Ж.М. Плакасова
Старший викладач Кафедра програмного забезпечення автоматизованих
систем*
Контактний тел..: (0472) 31-30-94, 067-914-54-14 E-mail: djanai_7 @mail.ru *Черкаський державний технолопчний уыверситет бул. Шевченка, 460, м. Черкаси, УкраТна, 18000
1. Вступ
На сьогодшшнш день як у школ^ так i у вищо-му навчальному закладi (ВНЗ) все жорстюше постае питання контролю знань. Тестовий контроль, який останшм часом приваблюе все бшьшу увагу педагопв у рiзних сферах, - е ушверсальною формою контролю
знань. Для його проведення використовуються як традицшш, так i сучасш методи. Серед останшх чи не найширше поширення знаходять методи контролю знань шляхом тестування.
Перевагу тестового контролю складае те, що вш е науково-обгрунтованим методом емтричного до-слщження. На вщмшу вщ звичайних задач тестовi
завдання мають чику однозначну вiдповiдь i ощ-нюються стандартно на основi еталону. У найпро-стiшому випадку ощнкою студента е сума балiв за правильно виконанi завдання. Тестовi завдання повиннi бути стислими, чикими i коректними, що не припускають двозначностi. Сам тест е системою завдань зростаючо! складностi. Тестовий контроль може застосовуватися як за«б у«х видiв контролю: базового (початкового), поточного (тематичного), ру-бiжного (залiкового), шдсумкового (екзаменацiйно-го) та самоконтролю.
Тестовий контроль мае ще одну перевагу: без осо-бливих витрат часу вш дозволяе опитати в«х сту-дентiв за вама роздiлами навчального курсу. Сума ощнок адаптивного тесту вiдповiдатиме модульному контролю знань, що, на розсуд викладача, може бути тдставою для звiльнення студента вiд складання ча-стини, а в окремих випадках, i всього курсу. Адаптивш тести приваблюють студентiв своею нестандартшстю в порiвняннi з традицiйними формами контролю, спо-нукають до систематично! роботи над темами курсу, що вивчаеться, створюючи додаткову мотиващю на-вчання [1].
Впровадження модульно! системи в навчальний процес вищих закладiв освiти та акцент на самостшну роботу студентiв вимагае застосування адаптивного тестового контролю для ощнки знань з використан-ням методiв штучного штелекту, що забезпечуе високу технолопчшсть проведення контролю та об'ективнiсть його результаив.
Необхiднiсть застосування нових методiв в освiтi, що покликанi удосконалити процес навчання, стали основою для прийняття ршення про створення ште-лектуально! (адаптивно'!) контролюючо! пiдсистеми. Використання рiзних автономних комп'ютерних систем контролю знань, систем навчання, що супровод-жуеться тестуванням, е ефективним шструментом для забезпечення змкту i якостi тдготовки випускникiв, для активiзацii i тдвищення ефективностi самостш-но! роботи студенпв, для iнтенсифiкацii й шдивщуа-лiзацii навчання [2,3].
Проведення автоматизованого контролю знань дозволяе ушфжувати вимоги по дисциплшах, шд-вищити об'ективнiсть визначення ощнки, а також ощнити ефектившсть професiйноi дiяльностi викла-дачiв [4].
На основi результатiв тестування можна робити висновки про засвоення студентом тем курсу ^ у випадку позитивно! ощнки, автоматизована система переводить студента на новий рiвень. При цьому, часовi витрати на проведення автоматизованого контролю набагато менш^ шж у випадку шдивщуального опитування студенев. Це дозволяе викладачу зосере-дитись на вдосконаленш практичних вмшь i навичок студентiв.
Метою нашого дослiдження е аналiз методiв ощ-нювання рiвня знань студенпв та розробка блоку тестування знань студенпв в пiдсистемi контролю знань моделi адаптивного навчання.
Об'ектом дослщження е технологи реалiзацii ш-телектуальних систем навчання (з позицп штучного iнтелекту).
Предметом дослiдження е методи i моделi адаптивного комп'ютерного тестування в професшнш
тдготовщ студентiв сфери комп'ютерних технологш.
2. Модель адаптивно! штелектуально! тдсистеми тестування
З появою комп'ютерних технологш у викладача з'явилась можливiсть зниження трудомкткосп проведення контролю i обробки результатiв. У процесi використання iнтелектуальноi (адаптивно!) контролюючо! тдсистеми зв'язок ввд особи, яка навчаеться, до викладача ввдбуваеться за зображеною схемою (рис. 1).
Рис. 1. Адаптивна шдсистема навчання
Можна сказати, що контролююча шдсистема бере на себе частину функцш викладача та створюе пози-тивну мотиващю у студенпв, осюльки тестування на комп'ютерi е б^ьш психологiчно комфортним у порiв-няннi з традицшними формами опитування.
При адаптивному тестуванш одним з можливих пiдходiв отримання експертно! оцiнки знань студента е використання технологш штучного штелекту, зо-крема, застосування експертних систем. Саме характеристики експертно! системи гарантують швидкий i простий споаб побудови бази знань, яка вщображае знання викладача-експерта для аналiзу знань студента. Процес тестування в цьому випадку е консультащ-ею, керованою машиною лопчного виведення, в якш питання експертно! системи - завдання для тестуван-ня.
Запропонована структура штелектуально! (адаптивно!) тдсистеми [5], що дозволяе тдвищити ефектившсть навчання за рахунок вщкритосп, багато-функщональносп та адаптивности дозволяе оцiнити самостшно отриманi знання студента протягом семестру за рахунок реферативних та уточнюючих питань, що вiдображаеться в сумарнiй юлькосп отриманих ним балiв.
До переваг тако! адаптивно! iнформацiйноi системи можна ввднести:
1) можливiсть редагування банку теспв;
2) зменшення навантаження на викладача за раху-нок передачi частини функцш адаптивнш пiдсистемi контролю знань, а саме:
a) швидке отримання результатiв тестування i зв^ьнення викладача вiд трудомiсткоi роботи з обробки результапв тестування;
b) об'ективнiсть оцiнки;
c) конфiденцiйнiсть при аношмному тестуваннi;
Схема моделi процесу навчання, що дозволяе вра-
ховувати шдивщуальний пiдхiд в процесi навчання до кожного об'екту навчання з використанням адап-тивних методiв (рис. 2) дозволяе реалiзувати шдивь дуальний пiдхiд до об'екта навчання в ходi поточного вивчення тем.
К
<и
а
а, т
« Н
1= О и
« н
и
« Е-
к а с + О И ч
о т =3
^ ч
о и
и о
т К =3
с (Я
=3 Я
& О
и
с
ч
РЭ
Вхщний контроль
(перещрка базових знань сум1жних дисциплш)
Поточний контроль знань
Тема 1
Тема 2
Тема N
Пщсумковий контроль
Анал1з результатав тестування (АРН)
Рис. 2. Модель адаптивного навчання
На початку вивчення нового предмету студент проходить вхщний контроль знань з сумiжних дисциплш, на яких даний предмет базуеться. У випадку негативного результату студенту пропонуеться вивчити базовi поняття за допомогою модуля пояснень бази знань системи. У випадку позитивно! оцшки процес навчання продовжуеться за навчальним графжом. Шсля закiнчення вивчення певних тем студенту про-понуеться пройти поточний контроль знань.
На результати вщповщей студента реагуе блок адаптивного прийняття ршень i надае рекоменда-цil щодо повторного вивчення визначених системою питань. Змша коефвдента складностi сформованих тестiв вiдбуваеться тсля проходження тесту певною групою студенев. Виконуючи рекомендацп модуля пояснень, студент може тдвищити отриману оцiнку за рахунок повторного проходження тесту. При отриман-т мiнiмальноi кiлькостi балiв для проходження тесту система шформуе користувача про його оцшку, а, також, пропонуе пройти тестування з наступно! теми. Наприкшщ семестру студент мае пройти тдсумко-вий контроль, що вiдображае скорочений варiант питань попередшх тестiв. Виконавши аналiз результапв всiх тестувань, програма виставляе тдсумкову оцiнку знань студента, яка буде прийнята як остаточна.
Таким чином, утворюеться один з контурiв зво-ротнього зв'язку штелектуального навчального комплексу - отримуючи вiд головно! системи управлшня поточну модель користувача, тестуюча програма да-ватиме на виходi скориговану модель вщповщно до результатiв проходження тесту [6].
ного тестування, при якому тестовi завдання з певними характеристиками послiдовно зображуються на екранi комп'ютера, а рiвень тдго-товки тестованого iз зростаючою точнiстю оцiнюеться вiдразу ж тсля комп'ютерно! вiдповiдi. Кожне наступне завдання в адаптивному тестуванш залежить вiд попереднiх вiдповiдей: кожне наступне завдан-ня буде складшшим, якщо поперед-не завдання тестований виконав правильно. Якщо ж у попередньому завданш була допущена помилка, то комп'ютерна програма запропо-нуе завдання полегшено! складность За тако! моделi е можливiсть запропонувати тестованому додат-ковi завдання з тем, яю вiн знае не досить добре, щоб точнiше ощнити рiвень засвоення матерiалу з пев-но! теми. Отже, рiвень складноси тесту допомагае найкраще оцiнити шдготовлешсть учня/студента. У захiднiй лiтературi вщокремлюють три варiанти початку адаптивного тестування. Якщо немае попередшх ощнок, тестування починають iз завдань середнього рiвня склад-ностi, пiсля чого, залежно вщ вiдповiдi, тестованому пропонують завдання меншо! чи бiльшоi складность Цей споиб часто називають «трамщальним тесту-ванням» [5].
У другому варiантi тестований може почати з будь-якого довiльно вибраного завдання, поступово набли-жаючись до реального рiвня знань. У третьому варiан-тi тестованому пропонують завдання з банку даних, розд^ених за рiвнями складностi. Кiлькiсть завдань тесту заздалегвдь не фiксують, а процес тестування завершують пiсля досягнення задано! точносп оцiнки рiвня пiдготовленостi тестованого. Вщбуваеться це тодi, коли тестований виходить на певний постшний рiвень складносп, наприклад, вiдповiдае поспiль на певну критичну (заздалепдь визначену) кiлькiсть за-питань одного рiвня складностi.
У практищ тестування можна видiлити наступш методи пiдрахунку тестових балiв: традицшний метод (дихотомiчне оцiнювання), метод корекцп на вга-дування «Правильний мiнус, неправильний», метод корекцii на вгадування «Правильний плюс, пропуск», метод «Доведення вщповда до правильно!».
Традицшний метод широко використовуеться для бланкового тестування та «ручно!» перевiрки ввдповь дей. У формулi пiдрахунку балiв застосовують сумар-ний пiдхiд, що обчислюеться за формулою
Х,=Х х,
(1)
3. Адаптивна модель. Методи тдрахунку тестових баив
Адаптивна модель базуеться на класичнш моделi з урахуванням складноси завдань. Вид комп'ютер-
де х, - бал за конкретний варiант вiдповiдi для X, -того питання.
Методи корекцп на вгадування «Правильний мь нус, неправильний», метод корекцп на вгадування «Правильний плюс, пропуск» використовуються при масовому бланковому тестуванш та автоматизовано-
му зчитуванш шляхом сканування ввдповвд. В про-цесi пiдрахунку балiв методи мктять коефiцiенти, що вiдповiдають юлькосп неправильних вiдповiдей та кiлькостi пропущених питань. Даш методи дозво-ляють частково врахувати шдивщуальний пiдхiд до вщповвд на тестове завдання.
Метод «Доведення вiдповiдi до правильно!» поед-нуе в собi функцп навчання та контролю. Передбачае автоматизований режим опрацювання вщповщей на тестовi завдання при робоп з конкретним студентом, що проходить тесту-вання. Тестований мае вщповшти на завдання тесту, не пропустивши жодного з них. Вш мае вибирати вщповщь до тих тр, поки не отримае правильно! вщповщь Даним тестом досяга-еться висока надiйнiсть i валiднiсть тестування. Застосування даного методу надае можли-вiсть до самонавчання та контролю. До недоль юв можна вiднести мож-ливiсть розсекречення бази тестових завдань у базi знань системи [7].
Для штелектуаль-них систем з адаптив-ним тестування вико-ристовують алгоритм оцiнювання рiвня знань студента, що базуеться на збалансованш оцiнцi Т.Робертса. Пiд збалан-сованiстю розумiють не-залежнiсть математич-ного сподiвання оцiнки вiд числа правильних i неправильних вщповь дей, отриманих на вщ-повiдне питання випад-ковим чином
Я ={ Rj} - безлiч вах оцiнок за теми, ] = 1,т .
Осюльки в описаному методi оцiнювання в кон-трольних тестах використовуються питання qi з рiз-них тем, то спочатку вибираеться тдмножина питань множини Q , що вщносяться до конкретно! теми Т , а вiдповiдна пiдсумкова оцiнка Rj складаеться з сум ощнок з кожного питання Я,, зваженого коефiцiентом складностi С , з подальшим вiдображенням на вщрь зок [0,1].
I Я,- С,
О = М_
Я; = —^-
] I С,
¡ей
(2)
ощнка за пи-
де Я, тання qi;
С, - коефiцiент складноси питання qi;
Q - тдмножина питань, що вщносяться до теми Т;
9
— п < У < п
10
3 9
—п < У < — п
4 10
3 3
-п < У < — п
5 4
У < 3
— п
5
пiдсумкова
оцiнка;
Q ={qi} - безлiч всiх питань, , = 1,п ;
Т ={Т } - множина всiх тем, ] = 1,т ;
Анал1з результапв тестування
Рис. 3. Оцшювання рiвня знань студенлв в пiдсистемi контролю знань моделi адаптивного
навчання
Враховуючи аналiз iснуючих методiв пiдрахунку тестових балiв [1,2,3,7], доступних через мережу Internet, шнуючих систем контролю знань, автори пропону-ють методику оцшювання рiвня знань студентiв в шд-системi контролю знань моделi адаптивного навчання (рис. 2). Пропонуемо контролювати процес засвоення матерiалу в юлька етапiв (рис. 3).
Етап 1 - Вхщний контроль. Перед початком вив-чення ново! дисциплши студенти мають пройти тест вхщного контролю. Цей тест мiстить в œ6i тi питання з попередньо! (сумiжноï) дисциплiни, якi е необхщними для успiшного вивченя поточно! дисциплши. Тест складаеться з n -ï кiлькостi питань. Для оцiнювання знань на цьому еташ користуемося традицiйною формулою розрахунку балiв за кожну правильну/неправильну вiдповiдь (1). Загальну суму балiв шукатимемо як суму балiв за кожну отриману вщповщь на Xi питання (3):
■ якщо Ri < — n , то студенту пропонуеться повторне 5
вивчення теми.
X = £ Xi,
Етап 3 - Шдсумковий контроль. По закшченню вивчення дисциплши студенти проходять шдсумковий контроль знань, сумарну юльюсть балiв пропонуемо розраховувати за формулою (4).
Y = £ Yk,
(4)
(3)
де Xi - сума балiв за i -те питання з n -ï юлькосп питань.
Враховуючи те, що знання студента з сумiжного предмета (який вивчався попередньо) е необхщни-ми для усшшного вивчення поточно! дисциплши, будемо використовувати наступну шкалу оцшюван-ня знань:
3
- якщо X>— n, то будемо вважати, що студент
усшшно пройшов вхщний контроль i мае необхщш знання для вивчення дисциплiни, що вивчаеться (про-ходження тестування з поточних тем); 33
- якщо —n < X <—n, то студенту пропонуеться ще
раз пройти вхщний контроль, вказавши на зроблет
помилки. У разi повторного отримання балiв в межах
(—n; —n ) студент зобов'язаний повторити базовий 54
курс сумiжноï дисциплши самостшно;
- якщо X < 3n, то базовi знання студента не вiд-
5
повiдають необхiдному рiвню знань для усшшного вивчення поточно! дисциплши. Студент зобов'язаний повторити базовий курс сумiжноï дисциплши самостшно.
Етап 2 - Поточний контроль. У разi усшшного складання вхщного контролю знань студент може в проце« вивчення ново! дисциплши проходити поточний контроль за темами, що вивчаються. Надалi формування оцшки Ri з будь яко! теми ново! дисциплши - Tj будемо проводити згщно (3), враховуючи
коеф^ент складностi питання: 3
- якщо Ri > — n , то студент усшшно склав T тему i
4 j
мае право на складання наступно! Tj+1 теми;
3 „ 3
- якщо —n < Ri < —n , то студент за допомогою моду-
5 4
ля пояснень (рис. 2) проходить даний тест у режимi навчання, а поим знову у режимi тестування, отримуючи питання з I та II рiвнiв складностг,
де Yk - бал за вщповщь на n -ну юльюсть питань.
За шкалою оцшювання шдсумкових знань студента виставляються наступш оцшки:
- якщо —n < Y < n , то студент отримуе оцшку «вщ-мшно»;
39
- якщо —n < Y <— n, студент усшшно склав шдсумковий контроль знань i отримуе оцшку «добре»;
33
- якщо —n < Y < — n , студент отримуе оцшку «задо-
54
вшьно»;
- якщо Y< —n, за допомогою блоку адаптивного
5
навчання виявляються теми, яю студент знае погано, i шсля !х вивчення необхщне повторне складання тесту.
Шдсумковий контроль вщображае скорочений варiант питань попередшх тесив. Виконавши ана-лiз результатiв в«х тестувань, програма виставляе пiдсумкову оцшку знань студента, яка буде при-йнята як остаточна. У разi незгоди з отриманою оцшкою студент мае право на складання класично-го шпиту.
Отже, розроблена авторами методика оцшювання рiвня знань студенев в пiдсистемi контролю знань моделi адаптивного навчання передбачае ви-конання головно! вимоги до контролюючо! системи: гнучкiсть програми контролю i достатне охоплення предмету системою питань. Надалi автори продо-вжать роботу в напрямку розробки дiалоговоï тесто-во! програми, яка визначатиме початковий рiвень знань студента для подальшого оволодiння знан-нями, вмiннями i навичками, аналiзуючи глибину i обсяг!х засвоення.
Висновки
Об'ектом дослщження у статтi стали методи i мо-делi iнтелектуальних систем навчання. Проведено аналiз методiв оцiнювання рiвня знань студентiв та пропонуеться оцшювання рiвня знань студентiв в шд-системi контролю знань моделi адаптивного навчання, що дозволяе шдвищити контроль за яюстю засвоеного матерiалу.
1нтелектуальна (адаптивна) пiдсистема частково дозволяе оцшити самостiйно отриманi знання студента протягом семестру за рахунок реферативних та уточнюючих питань, що вщображаеться в сумарнш кiлькостi отриманих ним балiв.
k=1
До переваг тако! адаптивно! шформацшно! системи можна вщнести:
- можлившть редагування банку теспв;
- зменшення навантаження на викладача за раху-нок пeрeдачi частини функцiй адаптивнш пiдcиcтeмi контролю знань, а саме:
- швидке отримання рeзультатiв випробування i звiльнeння викладача вiд трудомштко! роботи з об-робки результапв тестування;
- об'eктивнicть в ощнщ;
- конфiдeнцiйнicть при анонiмному тестуванш;
- тестування на комп'ютeрi б^ьш цiкавe в по-рiвняннi з традицшними формами опитування, що створюе позитивну мотивацiю у cтудeнтiв.
Структура штелектуально! адаптивно! тдсисте-ми контролю знань е унiвeрcальною i не залежить вщ ïï наповнення.
Шдсистему можна використовувати в рiзних адаптивних шформацшних системах без суттевих змш.
Лiтература
1. CeprieHKO Н.В. Види завдань при комп'ютерному тестуванш [Электронний pecypc]/MaTepia™ науково-практично! штернет-конференцй «Сучасш iнформaцiйнi технологи». — Режим доступу:.-\^^да/ URL: http://intkonf.org/sergienko-nv-vidi-zavdan-pri-kompyuternomu-testuvanni/- квiтeнь 2007р.- Загол. з екрану.
2. Система дистанционного обучения [Электронный ресурс]/Санкт-Петербургский государственный университет Информационных технологий, механики и оптики. — Режим доступа: .-\www/ URL: http://de.ifmo.ru - октябрь 2010г.- Загл. с экрана.
3. Тестовая система «Инспектор»/Центр внедрения систем электронного обучения Киевского университета имени Тараса Шевченко. — Режим доступa:.-\www/URL:http://www.dLcom.ua/шs/pшducts/inspector_main.sht- май 2003г.- Загл. с экрана.
4. Лаворик 1.Ю. Використання internet-технологш для проведення автоматизованого контролю знань студенев /Рiвнeнський шститут слов'янознавства Кшвського шституту „Слов'янський ушверситет". — Режим доступа: .-\www/ URL: http://lavoryk. h1.ru/042002.php - апрель 2002г.- Загл. с экрана.
5. Кравченко О.В., Плакасова Ж.М. Модель штелектуально! тдсистеми контролю знань з бaгaторiвнeвим адаптивним тестуван-ням [Текст] / Кравченко О.В., Плакасова Ж.М.// Схщно-европейський журнал передових технологш,м.Харгав. - 2010. - № 4/2(46). - С.21-25.
6. Кравченко О.В.,Плакасова Ж.М. Аспекти формування тесйв для контролю знань в систeмi адаптивного навчання [Текст] / Кравченко О.В., Плакасова Ж.М.// Штучний штелект.ТПШ1 МОН i НАН Украши «Наука i освiтa». - 2010. - № 4. - С.575-581.
7. Портал знань 2010. Короткий тестолопчний словник-довщник [Електронний ресурс]/Упорядник Л. Т. Коваленко.Форма-лiзaцiя контенту роздiлу здшснена за пiдтримки Лабораторй' СЕТ . — Режим доступу : .-\www/ URL: http://www.znannya. org/?view=testology.M#Мeтод фасетного дизайну - 2008-2010р.- Загол. с экрану.
