CC BY
57
Возможности применения компьютерных систем в учебном процессе при подготовке ИТ-специалистов
Прокофьева Наталия Олеговна ассоц. профессор, д.инж.н., кафедра технологий разработки ПО,
Рижский технический университет, ул. Межа, 1/3, г. Рига, LV-1048, Латвия, (371) 67089571 nataliia.prokoricva@rtu.lv
Загулова Диана Владимирована доцент, д.мед.н., Балтийская международная академия, ул. Ломоносова, 1/4, г. Рига, LV-1019, Латвия, (371) 29860507 zdv@inbox.lv
Катальникова Сабина Михайловна лектор, м.инж.н., кафедра технологий разработки ПО,
Рижский технический университет, ул. Межа, 1/3, г. Рига, LV-1048, Латвия, (371) 67089571 sabina.katalnikova@rtu.lv
Аннотация
В статье описываются системы обучения и контроля знаний, разработанные на факультете компьютерных наук и информационных технологий Рижского технического университета. С помощью данных систем проводятся занятия по разным предметам, программам и специальностям. С помощью методов математической статистики показывается, что применение данных систем в учебном процессе мотивирует студентов и повышает их успеваемость. Статистический анализ данных проводился с помощью программы Statistica
8.0., для оценки взаимосвязи параметров использовался непараметрический коэффициент корреляции Спирмена.
This paper describes e-learning and knowledge assessment systems that wcrc developed at the Faculty of Computer Sciences and Information Technologies of Riga Technical University. These systems are used in learning process of various courses, programs and specialties. Using mathematical statistics methods we show that the usage of e-learning systems has a positive effect on student's progress in studies and increases their motivation. The statistical analysis was made applying the program Statistica 8.0.; in order to evaluate the non-parametric dependence between parameters the Spearman's rank correlation coefficient was used.
Ключевые слова
обучение, контроль знаний, успеваемость, статистический анализ, корреляция; education, knowledge control, performance, statistical analysis, correlation.
Введение
В настоящее время благодаря возрастающим темпам научно-технического прогресса происходит непрерывное увеличение объема и изменение содержания знаний, умений и навыков, которыми должны владеть современные специалисты, вследствие чего повышаются требования к качеству их подготовки. Важнейшим аспектом любой образовательной деятельности является система контроля качества
знаний. Однако несоответствие между возможностями традиционных методов обучения и тем объемом фактических знаний, которое современное общество требует от выпускников учебных заведений, указывает на наличие проблемы в системе современного высшего образования. Поэтому вопросы компьютерного обучения и контроля знаний интересуют многих ученых, как педагогов, так и специалистов в области информационных технологий [1 - 4].
К сожалению, на данный момент констатирован тот факт, что, хотя технологии реализации компьютерного обучения значительно ушли вперед по сравнению с началом 90-х годов (вместо локальных сетей персональных компьютеров используются удаленный доступ, мультимедийные средства, виртуальная реальность), глобальные проблемы в этой области остались практически те же. Эти проблемы были обобщены еще в конце 80-х годов 20-го столетия в серии монографий, в подготовке которых принимали активное участие и ученые Рижского технического университета (РТУ) Л. В. Ницецкий, Л. А. Растригин, Л. В. Зайцева, Л. П. Новицкий и др. [5 - 7].
В настоящий время исследованиям вопросов компьютерного обучения и контроля знаний посвящены многие международные научные и научнометодические конференции (IEEE ICALT, IADIS e-Learning, IASTED CATE, др.) и электронные журналы [8 - 11].
В учебном процессе Рижского технического университета также применяются компьютерные системы, в которых используются различные методы автоматизированного обучения при подготовки специалистов в области информационных технологий (ИТ): получение справочной информации, удаленное обучение, упражнения и различные виды контроля знаний.
В статье с помощью методов математической статистики делается попытка показать, что применение указанных систем компьютерного обучения и контроля знаний в учебном процессе действительно мотивирует студентов к самообучению и повышает успеваемость студентов.
Материалы и методы исследования
На факультете компьютерных наук и информационных технологий были разработаны и применяются в настоящее время следующие системы:
1) Система обучения и контроля знаний (LMS);
2) Интеллектуальная система оценивания знаний (IKAS);
3) Информационный портал РТУ (ORTUS).
С помощью данных систем проводятся учебные занятия по различным предметам и программам: “Структуры данных”, ’’Языки программирования”, „Технология разработки программного обеспечения”, “Метрология и планирование программного обеспечения”, “Основы искусственного интеллекта”, “Методы теории систем” и др.
Для исследования были выбраны два предмета: “Структуры данных”, который является обязательным и преподается во втором семестре первого курса, и „Технология разработки программного обеспечения”, который ведется в шестом семестре третьего курса. Студенты были разделены на две группы, изучавшие, соответственно, эти предметы. Первая группа состоит из студентов первого курса трех специальностей: компьютерные системы (134 студента), информационные технологии (116 студентов), автоматика и вычислительная техника (64 студента). Вторая группа состоит из 67 студентов третьего курса программы «компьютерные системы».
Статистический анализ данных проводился с помощью программы Statistica
8.0. for Windows. Для оценки взаимосвязи параметров использовали
непараметрический коэффициент корреляции Спирмена [12]. Для оценки уровня достоверности различий в группах был использован однофакторный дисперсионный анализ (ANOVA) с последующим апостериорным анализом по методу Тьюки для неравных групп (Tukey HSD for unequal N) [13].
Компьютерные системы в учебном процессе
IKAS является интеллектуальной системой оценивания знаний, реализованной как Веб-приложение, и предназначена для оценки структурных знаний студентов. Она была разработана на кафедре теории и проектирования систем в 2005 году и описана в работах [14, 15]. Основными задачами системы являются: а) содействие самооценке студентами структурных знаний и б) поддержка преподавателей в совершенствовании учебных курсов на основе систематического анализа и оценки студенческих структур знаний. IKAS поддерживает три категории пользователей: администратор, преподаватель, студент. В системе имеется шесть задач различной степени сложности реализации. Эксплуатация IKAS основана на интерпретации значения параметров, доступных в модели обучаемого. Модель студента поддерживает четыре вида адаптации операций в IKAS: выбор начальной степени сложности поставленной задачи на первом этапе оценки, ее изменение на последующих этапах оценки, установление и изменение приоритетов типов концепции объяснения (обратная связь). В IKAS было разработано более двадцати курсов: "Основы искусственного интеллекта", "Методы теории систем", "Дискретные структуры в области компьютерных наук" и др. Результаты применения данной системы описаны в [14].
Система LMS была разработана на кафедре технологий разработки программного обеспечения в 2004 году [16]. Система предусматривает два метода, непосредственно связанных с контролем знаний: случайный и комбинированный выбор задач и/или вопросов для контроля и обучения. Оба они могут быть использованы и для самоконтроля. Режим обучения реализует неадаптивный метод контроля, когда студент выполняет все или выбранное число контрольных заданий, или частично адаптивный метод контроля (с учетом ответов студента), при котором число выдаваемых студенту заданий зависит от правильности их выполнения. В этом режиме также можно установить вид выдаваемого комментария. По завершении контроля студенту выставляется оценка, которая учитывает как правильность выполненных заданий, так и их значимость (максимальная, средняя, минимальная) и трудность.
В настоящее время LMS включает восемь обучающих программ по предметам «Технология разработки программного обеспечения», «Метрология и планирование программного обеспечения» и «Инструменты и среды разработки программного обеспечения», которые можно использовать во всех описанных режимах, а также один электронный курс для студентов колледжа по предмету «Языки программирования». На начальной стадии применения LMS в 2004-2006 годах студенты могли использовать имеющиеся в системе курсы для самоконтроля, подготовки и/или обучения. Начиная с 2007 года контроль знаний студентов по курсам является обязательным и обычно проводится во время практических занятий. Для контроля студенту предлагается 6-8 заданий. При этом с целью улучшения полученной оценки студент может в течение двух дней после проведения контроля выполнить контрольную работу повторно. В этом случае оценка за контроль выставляется преподавателем. Другие режимы системы студенты могут использовать в любое время. Результаты применения данной системы описаны в [17, 18].
Портал ORTUS доступен всем студентам Рижского технического университета [19]. В этой многофункциональной системе преподаватель может создать тест, задать
время и место его прохождения, количество попыток сдачи теста. Таким образом, тест может быть как контрольной работой (одна попытка) и проводиться во время занятия по предмету, так и тренировкой (попыток больше одной) и выполняться дистанционно. Есть возможность создавать тесты из вопросов разного типа (в ORTUS реализованы 10 типов вопросов), учитывать сложность вопроса, то есть присваивать более сложным вопросам больше пунктов при оценивании. На все типы вопросов предусмотрены комментарии. Единственным недостатком среды ORTUS является использование только одного метода контроля знаний - «Случайная выборка».
На кафедре технологий разработки программного обеспечения портал ORTUS используется для оценки знаний студентов. На данный момент в системе реализовано 13 компьютерных курсов по предметам «Языки программирования», «Структуры данных», «Язык PHP при разработке Веб-приложений» и др. Все эти электронные программы помогают преподавателю во время семестра проводить различные виды контроля знаний и учитывать успеваемость студентов на экзамене. Так, по предмету «Структуры данных» электронные тесты «Указатели, массивы и строки» и «Списки, стеки и очереди» обеспечивают рубежный контроль знаний, так как с их помощью можно оценить уровень знаний студентов по отдельным темам, при этом результаты контрольных влияют на оценку экзамена. Предмет «Язык PHP при разработке Веб-приложений» включает в себя контрольную «HTML и CSS», которая осуществляет исходный контроль и позволяет оценить начальный уровень знаний студентов перед изучением языка PHP. Все электронные тесты в предмете «Языки программирования» выполняются дистанционно, но также учитываются при выставлении экзаменационной оценки. Результаты применения данной системы описаны в [20].
Далее системы LMS и ORTUS оцениваются с точки зрения их влияния на успеваемость студентов.
Оценка влияния использования компьютерных систем обучения и контроля знаний на успеваемость студентов
В представленной работе проводилось исследование влияния компьютерных систем LMS и ORTUS на успеваемость студентов. В частности, решался вопрос, может ли использование студентами компьютерных тестов (контрольных работ) способствовать самостоятельному решению задач при выполнении практических заданий.
В течение семестра студенты 3-го курса должны были выполнить четыре лабораторные работы по предмету «Технология разработки программного обеспечения». При этом им предлагалось пройти тесты, с помощью которых они могли проверить свои знания по темам «Жизненый цикл ПО», «Модели разработки программного обеспечения», «Функциональные и нефункциональные требования», «Реализация программного обеспечения», доступным в компьютерной системе LMS.
При анализе полученных данных была выявлена:
- статистически значимая (p<0,05) корреляция между средним баллом за
лабораторные работы и средним баллом за тестовые задания, коэффициент корреляции Спирмена 0,47;
- статистически значимая (p<0,05) корреляция между средним баллом за
лабораторные работы и частотой выполнения тестов (от 0 до 4), коэффициент корреляции Спирмена 0,57.
С помощью однофакторного дисперсионного анализа ANOVA была исследована взаимосвязь частоты выполнения тестов с уровнем средних оценок за
лабораторные работы, экзаменационных оценок и общим рейтингом успеваемости студентов (рис. 1).
9
2 I----------------,----------------,----------------—
0 1-2 3-4
Количество тестовых занятий
Рис. 1. Средние значения «Среднего балла за лабораторные работы» и доверительный интервал (95%) в группах с разной частотой выполнения
тестов.
У студентов, сдавших 3-4 теста, средний балл за практические работы и экзаменационная оценка были статистически значимо выше, чем у студентов, не выполнивших вообще или выполнивших 1-2 теста (табл. 1).
Таблица 1
Средние значения «Среднего балла за лабораторные работы» (М) и уровни значимости различий (Tukey HSD test) в группах с разной частотой выполнения
тестов
группа 1 M=4,62 группа 2 M=4,87 группа 3 M=7,08
группа 1 G.S G.GG2*
группа 2 G.S G.GG5*
группа 3 G.GG2* G.GG5*
Примечание: в таблице представлены следующие данные: первая группа - это студенты, не сдававшие тесты, вторая группа - студенты, которые сдали 1-2 теста, третья группа - студенты, сдавшие 3-4 теста.
На рисунке 2 представлена зависимость между значениями средней оценки по экзамену (предмет «Технология разработки программного обеспечения») и частотой выполнения тестов.
Количество тестовых занятий
Рис. 2. Средние значения «Экзаменационной оценки» и доверительный интервал (95%) в группах с разной частотой выполнения тестов.
Таблица 2 содержит информацию об уровне значимости различий во всех трех группах с разной частотой выполнения тестов.
Таблица 2
Средние значения «Экзаменационных оценок» (М) и уровни значимости различий (Tukey HSD test) в группах с разной частотой выполнения тестов
группа 1 M=5.00 группа 2 M=5.00 группа 3 M=6.31
группа 1 1.0 0.005*
группа 2 1.0 0.003*
группа 3 0.005 0.003*
Примечание: в таблице представлены следующие данные: первая группа - это студенты, не сдававшие тесты, вторая группа - студенты, которые сдали 1-2 теста, третья группа - студенты, сдавшие 3-4 теста.
Таким образом, полученные результаты показали, что успеваемость выше у тех студентов, которые в полном объеме использовали компьютерную систему ЬМЕ и для обучения, и для контроля знаний.
Однако при этом остается не выясненным вопрос о том, что больше влияет на успеваемость студентов - их отношение к обучению (тесты сдают более успешные и мотивированные студенты?) или именно использование компьютерной системы. Для проверки этой гипотезы была применена общая успеваемость студента в ВУЗе. При этом предположили, что, если выполнение тестов окажется взаимосвязанной с общей успеваемостью, можно будет сделать вывод об обусловленности более высоких итоговых оценок у студентов, сдающих тесты, их индивидуальными особенностями, а не влиянием прохождения тестов. Если, напротив, не будет обнаружено связи между общей успеваемостью и выполнением тестов, то высока вероятность того, что тесты сдают все студенты не зависимости от их установок на процесс обучения в целом.
Анализ данных выявил, что ранг успеваемости студентов коррелирует со значением экзаменационной оценки и средней оценкой за лабораторные работы, но не коррелирует с частотой выполнения тестов. При этом с помощью ANOVA было показано, что успеваемость студентов в ВУЗе статистически значимо не различалась в группах с разной частотой выполнения этих тестов (рис. 3).
ь
о ф
Количество тестовых занятий
Рис. 3. Средние значения «Ранга успеваемости» и доверительный интервал (95%) в группах с разной частотой выполнения тестов.
Из этого можно сделать вывод, что тестовые занятия посещают не только студенты с высокой успеваемостью и их более высокий балл за лабораторные работы и экзамен обусловлен посещением этих занятий.
Далее была поставлена задача выяснить, какую роль в обучении студентов может играть компьютерный контроль знаний. Так как компьютерные системы контроля знаний могут использоваться не только для того, чтобы преподаватели оценивали знания студентов, но и для самооценки студентами уровня своей компетентности в соответствующей области, представляет интерес решение вопроса о взаимосвязи мотивированной самооценки знаний и успеваемости студентов по контролируемому предмету.
В представленной работе в процессе обучения по предмету «Структуры данных» студентам первого курса предлагалось выполнить электронные тесты «Указатели, массивы и строки» и «Списки, стеки и очереди», которые были доступны в системе ОЯТО^. В качестве мотивирующего фактора оценка за выполненные тесты учитывалась при выставлении экзаменационного балла. Исследования проводились в группах студентов, обучающихся по специальностям компьютерные системы (134 студента), информационные технологии (116 студентов), автоматика и вычислительная техника (64 студента).
В течение семестра превалирующее большинство первокурсников выполнили все тесты (72,3%, 227 студентов), два теста сдали 12,1% (38), однин тест - 8,3% (26), не выполнили ни одного теста 7,3% (23) от общего числа студентов. Количество студентов, сдавших экзамен, в группах студентов, не сдававших тесты и сдавших один тест, статистически значимо не отличалось (рис. 4).
Анализ успешности выполнения лабораторных (практических) работ по предмету «Структуры данных» в зависимости от количества тестов показал, что средний балл за лабораторные работы не зависит от количества тестов. В то же время в группе студентов, сдавших экзамены по данному предмету, между средними значениями баллов, полученных за тесты и за лабораторные занятия, наблюдалась статистически значимая (р<0,05) корреляция, причем коэффицент корреляции Спирмена составил 0,31. Кроме этого, частота выполнения тестов статистически значимо коррелировала с частотой посещения лабораторных занятий (коэффициент корреляции Спирмена 0,49, р<0,05).
Количество посещенных тестовых занятий
Рис. 4. Относительное количество студентов, сдавших экзамен по предмету «Структуры данных», в зависимости от частоты выполнения тестов.
Полученные данные не позволили исследовать взаимосвязь частоты выполненя тестов по предмету «Структуры данных» и успеваемости студентов. Однако исследования показали, что общая успеваемость студентов за семестр статистически значимо (р<0,05) коррелирует с показателями успеваемости по предмету «Структуры данных». Коэффицент корреляции общей успеваемости студентов за семестр со средней оценкой за тесты составил 0,31, с оценкой за реферат - 0,43, а со средней оценкой за лабораторные работы - 0,38.
Заключение
В статье исследовался вопрос - как применение компьютерных систем обучения и контроля знаний влияет на успеваемость студентов. Полученные данные свидетельствуют в пользу того, что более высокие показатели успеваемости имеют те студенты, которые выполнили все (или почти все) задания по компьютерному тестированию знаний, тем самым они получили больше знаний и навыков, что, в свою очередь, способствовало более успешному выполнению студентами практических заданий и сдаче экзамена.
Дальнейшая работа предполагает проведение детального исследования возможностей использования мотивированной самооценки уровня знаний для увеличения заинтересованности студентов в повышении собственной профессиональной компетентности.
Литература
1. Christian Gutl, Klaus Lankmayr, Joachim Weinhofer and Margit Hofler. Enhanced Automatic Question Creator - EAQC: Concept, Development and Evaluation of an Automatic Test Item Creation Tool to Foster Modern e-Education // Electronic Journal of e-Learning - 2011. - V. 9. - Issue 1. - P. 23-38.
2. И. Н. Голицына. Социальное программное обеспечение в современном профессиональном образовании // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2012. - V. 15. - № 4. - С. 515-528. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/depository/v15 i4/html/11.html (дата обращения:
04.10.2013).
3. Paul Ngee Kiong Lau, Sie Hoe Lau, Kian Sam Hong and Hasbee Usop. Guessing, Partial Knowledge, and Misconceptions in Multiple-Choice Tests // Journal of Educational Technology й Society - 2011. - V. 14. - № 4. - P. 99-110. URL: http://www.ifets.info/journals/14 4/10.pdf (дата обращения: 04.10.2013).
4. А. Ф. Манако, К. М. Синица. КТ в обучении: взгляд сквозь призму трансформаций // Международный электронный журнал "Образовательные технологии и общество (Educational Technology й Society)" - 2012. - V. 15. - № 3.
- C. 392-414. - ISSN 1436-4522. URL:
http://ifets.ieee.org/russian/depository/v15 i3/html/6.htm (дата обращения:
04.10.2013).
5. Растригин Л.А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. -Рига: Зинатне, 1986. - 160 c.
6. Автоматизированная обучающая система КОНТАКТ/ОС / Л. В. Зайцева, Л. В. Ницецкий, Л. П. Новицкий и др. - М.: Моск. науч.-учеб. центр СНПО “Алгоритм”, 1982. - 108 с.
7. Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. - Под ред. Л. В.
Ницецкого. - Рига: Зинатне, 1989. - 174 с.
8. The Electronic Journal of e-Learning (EJEL). URL: http ://www. ejel. org/main. html (дата обращения: 04.10.2013).
9. Journal of Educational Technology й Society. URL: http://www.ifets.info/ (дата обращения: 04.10.2013).
10. Международный электронный журнал "Образовательные технологии и общество". URL: http://ifets.ieee.org/russian/periodical/journal.html (дата обращения: 04.10.2013.).
11. The Electronic Journal „International Academy, Research, and Industry Association” (IARIA). URL: http://www.iariajournals.org/ (дата обращения: 04.10.2013).
12. С. Гланц. Медико-биологическая статистика. Пер. с англ. - М.: Практика, 1998. -459 с.
13. Электронный учебник по статистике. Дисперсионный анализ. URL: http://www.statsoft.ru/home/textbook/modules/stanman.html (дата обращения:
04.10.2013).
14. A. Anohina-Naumeca, J. Grundspenkis, and M. Strautmane The Concept Map Based Assessment System: Functional Capabilities, Evolution, and Experimental Results // International Journal of Continuing Engineering Education and Life-Long Learning -2011. - V. 21. - Issue. 4. - P. 308-327.
15. Анохина-Наумец А. В., Лукашенко Р. С. Интеллектуальная система оценивания знаний: модель студента и методика экспериментальной проверки алгоритма адаптации // Международный электронный журнал "Образовательные технологии и общество (Educational Technology й Society)" - 2011. - V. 14. - № 2. - C. 346362. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/depository/v14_i2/pdf/6r.pdf (дата обращения: 29.09.2013).
16. Zaitseva L., Bule J., Kuplis U. Advanced e-learning system development // Proc. of International Conference "Advanced Learning Technologies and Applications" (ALTA-2003) (Kaunas, September 11 - 12, 2003). - Lithuania, Kaunas, 2003. - P. 14-18.
17. Zaitseva L., Bule J. E-learning courses using and evaluation in Riga Technical University // Proc.of the 8th IEEE International Conference on Advanced Learning Technologies (ICALT 2008) (Santander, Cantabria, July 1-5, 2008). - Spain,
Santander, Cantabria, 2008. - P. 1057-1058.
18. Zaitseva L. E-courses using Results and Efficiency // Proc. of the 11th IASTED International Conference "Computers and Advanced Technology in Education" (CATE 2008)(Crete, September 29 - October 1, 2008). - Greece, Crete, 2008. - P. 90-93.
19. Sukovskis U., Zaitseva L. Web-environment for engineering education // Proc. of International Conference on Engineering Education and Research (iCEER)(Marrakesh, July 1 - 5, 2013). - Morocco, Marrakesh, 2013. - P. 162-169.
20. Prokofjeva, N., Anohina-Naumeca, A., Lebedeva, O. Administration of Knowledge Assessment at Riga Technical University // Proc. of the 8th International MultiConference on Computing in the Global Information Technology (ICCGI 2013) (Nice, July 21-26, 2013). - France, Nice, IARIA, 2013. - P. 34-39.
