CC BY
33
УДК 371.261
М. Ю. Катаев, А. М. Кориков, В. С. Мкртчян КОЛИЧЕСТВЕННАЯ ОЦЕНКА ЗНАНИЙ В ВИРТУАЛЬНОЙ ОБРАЗОВАТЕЛЬНОЙ СИСТЕМЕ
Рассматривается подход к оценке знаний учащихся в виртуальной образовательной системе. Для таких систем возникает насущная потребность в поиске автоматизированных подходов к оценке уровня получаемых знаний учащимися, контроля этого уровня знаний и их возможного управления. Предложена математическая зависимость, включающая три составляющие: временную, оценочную и уровень забываемости. Обсуждается математический формализм оценки знаний. Показывается, что для успешного обучения учащихся необходимо учитывать эти три составляющие и прогнозировать процесс обучения, что позволяет учесть индивидуальные особенности учащегося.
Ключевые слова: программная система, технологии обучения, виртуальное обучение.
Совершенствование российского образования направлено на решение задач информатизации и индивидуализации учебного процесса на уровне общего и высшего образования [1, 2]. Высокая скорость развития технического, программного и экономического укладов жизни предъявляет новые требования к будущим специалистам и, как следствие, ведет к изменению в организации образовательного процесса. Одним из направлений изменения является личностно-профессиональное формирование учащегося, раскрытие его творческого потенциала и профессиональной компетентности [3, 4].
Одним из важных условий индивидуализации образования является учет особенностей подготовки учащегося и построение для него индивидуальной траектории обучения. Понятно, что после школы в высшее учебное заведение учащиеся приходят с различной мотивацией и различным уровнем подготовленности. Все это требует развития новых подходов к формированию содержания и мониторинга результатов обучения и, значит, соответствующей организации образовательного процесса. Возникает необходимость разработки и создания новой технологии обучения, ориентированной в большей мере на самостоятельную учебную деятельность. В настоящее время одним из возможных решений этой задачи является использование интернет-технологий.
Из вышесказанного следует, что актуальными являются построение индивидуальной траектории обучения для каждого учащегося и оценка в новой системе обучения полученных знаний. В настоящее времени еще не сформированы общие требования к построению индивидуальной траектории обучения и управления учебным процессом в таких условиях. Можно выделить несколько подходов [5, 6], которые сформировались к настоящему времени в этом направлении: формирование индивидуальных образовательных траекторий и организация подготовки студентов к обучению по индивидуальным образовательным маршрутам и оценка их знаний. Эти подходы образуют определенное представление по разработке и примене-
нию индивидуальных траекторий обучения для обеспечения образовательного процесса с учетом индивидуализации, но не позволяют построить технологию для возможности автоматизации этого процесса. Главная проблема при этом связана с участием преподавателя в процессе обучения, в необходимости определить его роль и место при движении учащегося по индивидуальной траектории. Важнейшей ролью преподавателя является оценка знаний учащегося. Существующие технологии мониторинга процесса обучения учащегося в целом не позволяют оценить текущее положение. Всего лишь результаты по контрольным точкам и сессии приводят к пониманию того, какими знаниями обладает учащийся на данный момент времени.
Постоянный контроль учебного процесса необходим для эффективного управления образовательным процессом и достижения образовательных и научных результатов. Контроль учебного процесса гораздо шире, чем просто традиционная проверка знаний и умений учащегося, так как включает не только количественную оценку знаний, но и качественную (психологические и творческие аспекты). В данной работе рассматриваются только лишь технические аспекты количественной оценки знаний и технология, позволяющая выполнять эту работу в автоматизированном виде. Предлагаемый подход к диагностированию знаний учащегося позволяет учитывать результаты обучения, выявлять тенденцию и динамику процесса обучения, анализировать и делать прогноз дальнейшего развития процесса обучения.
Данная работа продолжает исследования в области возможности обучения в виртуальной образовательной системе [7].
Обзор технологий оценки знаний. Контроль и оценивание знаний актуальны со времен Платона и Аристотеля [8]. С тех пор постоянно возникают различные технологии обучения и вместе с ними системы контроля знаний и умений учащихся. Однако очень долго остается бесспорным утверждение, что оценка и успеваемость являются
Вестник ТГПУ (ТБРББиПеПп). 2015. 12 (165)
индикаторами качества образования учащегося. При контроле уровня знаний и получении величины оценки важными являются объективность, систематичность и наглядность. Объективность заключается в однозначной, научно обоснованной подготовке учебного и контролирующего материала (лекций, заданий, вопросов и др.). Систематичность связана с необходимостью регулярного мониторинга (с определенной частотой - один день, неделя, лекция или др.) процесса обучения. Наглядность требует проведения открытого контроля уровня знаний учащихся по одним и тем же критериям [9, 10].
Количественную оценку уровня знаний можно получить из отношения между фактически усвоенными знаниями и объемом этих знаний, предложенным для усвоения,
О = ФЗ / ОЗ, (1)
где О - оценка полученных знаний, ФЗ - фактический объем усвоенных учащимся знаний и ОЗ -предлагаемый для усвоения объем знаний.
Из соотношения (1) видно, что уровень усвоения знаний (или оценка) изменяет свое значение от нуля до единицы. Важно отметить, что оценка зависит не только от возможностей учащегося при усвоении знаний, но и от того, какой материал и как он подготовлен для усвоения.
Одной из форм оценки уровня знаний является рейтинг [10], который для каждого учащегося устанавливается в процессе диагностирования и отвечает всем ранее указанным принципам объективности и наглядности и менее всего отвечает принципу систематичности. Рейтинговая система позволяет учитывать не только учебную деятельность учащихся, но и показатели, связанные с внеучеб-ной нагрузкой (научная, спортивная, культурная деятельность и др.).
Можно выделить модель, которая является простой и самой распространенной на практике, когда ответы учащегося на каждое задание оцениваются по пятибалльной шкале и в качестве окончательной выбирается средняя по всем оценка:
N ы О
О = ^ = У°-, N £ N
(2)
где Np - число правильно выполненных заданий из N и О 1 - оценка /-го задания, 1=1, N.
Формула (2) используется и в ином ключе, когда каждый ответ О/ оценивается по двухбалльной шкале (правильно = 1 или неправильно = 0). Тогда финальная оценка строится как попадание величины О в один из диапазонов, который связан с определенной шкалой, например пятибалльной (например, [0,0-0,25] ^ 2, [0,25-0,5] ^ 3, [0,5-0,75] ^ 4, [0,75-1,0] ^ 5). Недостатком такой модели является ее зависимость только от количества правиль-
ных ответов и невозможность учесть не совсем точные ответы.
Усовершенствование этой модели возможно с учетом сложности заданий:
N N
О = X ^О, / т),ж = X Щ, (3)
/=1 ¡=1
здесь щ - сложность /-го задания и Ж - суммарная сложность всех заданий.
Существует много модификаций выражений (2) и (3) и вычисления средней оценки по всем выполненным заданиям. Одной из модификаций является учет времени выполнения задания. Если учащийся выполнил задание медленнее по сравнению с некоторым типичным для задания временем, то назначается штраф, снижающий оценку на определенную долю. В итоге в сумме по всем заданиям учет времени может дать заметное влияние на величину средней оценки.
На основе большого количества статистических данных были разработаны вероятностные модели: однопараметрическая Г. Раша [12] и двухпарамет-рическая А. Бирнбаума [13] и многие другие. Применение нечеткой логики и экспертных систем -это одно из направлений интеллектуализации систем контроля знаний.
Практически все рассмотренные подходы к количественной оценке знаний и многие другие связаны с получением итоговых интегральных величин в некоторые обозначенные проверками периоды времени. По мнению авторов, этого достаточно, чтобы в конце каждого семестра получить итоговое состояние уровня знаний учащегося, но не достаточно, чтобы повлиять заранее на величину итоговой оценки. Поэтому предлагается новый подход к оценке знаний, представленный ниже.
Предлагаемая модель оценки знаний. Предположим, что процесс обучения является линейной функцией последовательного изучения предметов, соответствующих учебному плану. Структура предмета связана также с линейной последовательностью элементов: теоретического и практического материала. Если материал предмета строго структурирован по темам, то это можно положить в основу подхода к оценке знаний студента [14].
Пусть каждая лекция / = 1, ..., I состоит из набора тем , = 1, ..., J¡, тогда можно предположить, что при выполнении тестирования после изучения каждой темы, суммарное время будет определяться выражением
I ^ к , Mj га ^
Т=1X X X ^
/=1 , =1 к=1 т=1 '
т=1
здесь г = 1, ..., I - число лекций, у = 1, ..., - число
I
тем в каждой лекции г , = ± Ту - суммарное вре-
у=1
мя изучения 1-й лекции; Ту - суммарное время изучения у-й темы г-й лекции; 8з - показывает в каком тесте у для 1-го блока материала необходимо провести повторное тестирование; югу - показывает уровень сложности тестау для г-го блока материала (например, ю может принимать значения 1, 2 или 3), к = 1, ..., Ку- число повторов при прохождении теста у для г-го блока материала, т = 1, ..., Му -число вопросов теста у для г-го блока материала, t¡Jm - время прохождения т-го вопроса для у-го теста г-го блока материала, где юут - уровень сложности т-го вопроса для у-го теста г -го блока материала.
По аналогичной формуле можно подсчитать и суммарную величину правильных ответов 2, полученных в ходе тестирования.
2 = ±2=± , (4)
г=1 г=1 у=1
где Zi - суммарная величина правильных ответов для г-го блока материала и 2у - суммарная величина правильных ответов для у-го теста г-го блока материала.
I I Ку М у
2 =!15 у ® у , (5)
г=1 у =1 к=1 т=1
где 2ут - оценка (1 - правильный ответ и 0 - неправильный) за ответ на время прохождения т-го вопроса для у-го теста -го блока материала.
Выражения (2), (3) и (5) могут лечь в основу некоторого критерия успеваемости учащегося по данной дисциплине Ж в виде
Ж = ¿Ж= ± (аТ+ (32г) (6)
г=1 г=1
или
Ж = ± ±Жу= ± ±(аТу+ ^у) (7)
=1 у=1 =1 у=1
где а, в - некоторые коэффициенты, отражающие важность временных и оценочных показателей (например, может быть вариант а = в = 1; а = 0,3; в = 0,7 или др.).
Формулы (6), (7) позволяют получить реальную величину успеваемости студента, однако не учитывают такого показателя, как забываемость ранее полученного материала. Этот аспект, конечно же, снижает итоговую успеваемость. Если предположить, что забываемость - это линейная функция от времени, то параметры этой функции легко определить по оценкам, полученным в ходе контрольных точек. Таким образом, для каждого уча-
щегося будут определены свои собственные коэффициенты функций забываемости, благодаря чему возможно более аккуратно дифференцировать студентов по критерию успеваемости Ж:
Ж = ± ( +Р2г), (8)
и
здесь с - коэффициент, который убывает в зависимости от времени или от номера блока материала , которые идут последовательно по времени. Например, можно примерно оценить скорость забывания полученной ранее информации по времени с темпом 10-15 % в месяц, тогда для г = 1 ^ с1 = 1,0, а для блока, который будет через месяц г = 5 ^ с5 = [0,850,9] и в конце семестра г = 20 ^ с20 = [0,4-0,6].
На рис. 1 представлены величины уровня знаний Ж при последовательном изменении числа модулей предмета без забываемости и с забываемо-стью элементов изучаемого предмета за время семестра. Из рис. 1 видно, что при рассмотрении в интегральном масштабе уровень забывания незначительно сказывается на суммарном уровне знаний Ж. Конечно же, здесь не рассматривается вопрос, когда учащийся изучает слабо предмет, пропускает занятия и др. Это, конечно, сказывается на формировании уровня знаний и является предметом дальнейшего изучения. Следует отметить, что величины коэффициентов а, в также влияют на оценку суммарного уровня знаний. Занижение коэффициента а (учет времени изучения) приводит к тому, что более значимым становится элемент знаний, связанный числом правильно решенных тестовых заданий.
Рис. 1. Величины уровня знаний № при последовательном изменении числа модулей предмета без забываемости (сплошная линия) и с забыванием (пунктирная линия)
На рис. 2 приведено сравнение величины уровня знаний Ж для идеального случая обучения и максимально приближенного к реальности.
Из рис. 2 видно, что при обучении учащийся, от модуля к модулю имея изменения во времени выполнения тестов (немного опережая или отставая от некоторого возможного времени выполне-
Вестник ТГПУ (TSPU Bulletin). 2015. 12(165)
120 -, 110 -^ 100 -i 90 -§ 80 -я 70 -™ 60 -i 50 -£ 40 -g. 30 -> 20 -10 -0
0
10 12 14 16 18 20
Число модулей предмета
Рис. 2. Сравнение величины уровня знаний У/ для идеального случая обучения (сплошная кривая) и максимально приближенного к реальности (пунктирная линия) для случая величин весовых коэффициентов а = в = 1
ния тестов), а также не набирая максимального количества баллов, постепенно отстает от теоретической кривой уровня знаний. В конкретно приведенном примере потеря в количественной оценке уровня знаний составляет почти 15 % (50 % оценок «отлично» и 50 % «хорошо»). Также видно, что по мере изучения предмета появляется возможность управлять уровнем знаний учащегося
и определять направление корректировки траектории обучения (вертикальная стрелка на рис. 2). Так как оценка уровня знаний проходит на количественном уровне, возникает возможность применения методов управления [15] для коррекции траектории обучения.
Таким образом, предлагаемый подход, позволяющий осуществлять оценку уровня знаний учащегося за период изучения отдельных элементов (модулей) предмета, дает возможность не только учесть значимость временной (Т) и оценочной (Т) составляющих уровня знаний, но и естественную забываемость информации. Это позволяет для каждого учащегося при предварительных тестовых испытаниях подобрать индивидуальную траекторию обучения и контролировать процесс обучения от модуля к модулю. Это важно не только для преподавателей, но и учащегося, который для каждого предмета будет видеть не только срез уровня знаний на данный момент, но и динамику накопления знаний.
Данная статья выполнена в рамках проекта Российского фонда фундаментальных исследований (РФФИ) № 15-07-01553.
Список литературы
1. Аналитический обзор: современное состояние и перспективы развития дистанционного образования в Российской Федерации. М., 2004. 108 с.
2. Вербицкий А. А. Реформирование образования в России и Болонский процесс // Высшее образование сегодня. 2008. № 11. С. 51-55.
3. Новиков A. M. О структуре теории образования // Педагогика. 2005. № 7. С. 18-23.
4. Гершунский Б. С. Концепция самореализации личности в системе обоснования ценностей и целей образования // Педагогика. 2003. № 10. C. 3-7.
5. Теоретические основы структурно-функциональной модели индивидуальной траектории обучения / под. ред. Н. И. Рыжовой. М.: Раритет, 2007. 305 с.
6. Логинова Ю. Н. Понятия индивидуального образовательного маршрута и индивидуальной образовательной траектории и проблема их проектирования // Библиотека журнала «Методист». 2006. № 9. С. 4-7.
7. Катаев М. Ю., Кориков А. М., Мкртчян В. С. Концепция электронного образования на основе технологии Avatar // Доклады ТУСУРа. 2013. № 2 (28). C. 95-100.
8. Зелинский Ф. Ф. Педагогические воззрения Платона и Аристотеля. М.: Книга по требованию, 2012. 68 с.
9. Вербицкий А. А., Бакшаева Н. А. Развитие мотивации студентов в контекстном обучении. М.: ИЦ ПКПС, 2000. 200 с.
10. Аванесов В. С. Проблема развития педагогических измерений // Педагогические измерения. 2011. № 2. С. 3-35.
11. Елисеев И. Н. Методология оценки уровня компетенций студента // Информатика и образование. 2012. № 4. С. 80-85.
12. Аванесов В. С. Метрическая система Георга Раша (Rasch Measurement, RM) // Педагогические измерения. 2010. № 2. С. 57-80.
13. Минин М. Г. Диагностика качества знаний и компьютерные технологии обучения. Томск: Изд-во ТГПУ, 2000. 216 с.
14. Катаев М. Ю., Катаев С. Г. Подход к контролю знаний в виртуальной образовательной среде // Вестн. Томского гос. пед. ун-та (TSPU Bulletin). 2014. Вып. 5 (146). С. 41-44.
15. Кориков А. М. Основы теории управления: учеб. пособие. Томск: Изд-во НТЛ, 2002. 392 с.
Катаев М. Ю., доктор технических наук, профессор.
Томский государственный университет систем управления и радиоэлектроники.
Пр. Ленина, 40, Томск, Россия, 634050.
Юргинский технологический институт (филиал) Национального исследовательского Томского политехнического университета.
Ул. Ленинградская, 26, Юрга, Кемеровская область, Россия, 652057. E-mail: kataev.m@sibmail.com
Кориков А. М., доктор технических наук, профессор.
Томский государственный университет систем управления и радиоэлектроники.
Пр. Ленина, 40, Томск, Россия, 634050.
Национальный исследовательский Томский политехнический университет.
Пр. Ленина, 30, Томск, Россия, 634050. E-mail: korikov@asu.tusur.ru
Мкртчян В. С., доктор технических наук, профессор, главный управляющий, ректор. Интернет-университет управления и информационно-коммуникационных технологий.
Австралия.
E-mail: hhhuniversity@hotmail.com
Материал поступил в редакцию 21.09.2015.
M. Yu. Kataev, A. M. Korikov, V S. Mkrtchyan QUANTITATIVE EVALUATION OF KNOWLEDGE IN VIRTUAL EDUCATION SYSTEM
The paper develops an approach to the assessment of knowledge of students in virtual educational system. For such systems there is an urgent need in finding automated approaches to the assessment of the level of acquired knowledge by students, monitoring of the level of knowledge and their possible management. The mathematical dependence includes three components: interim, assessment, and the level of forgetting. Discusses the mathematical formalism of knowledge assessment. It is shown that for successful learning students need to consider these three components and to predict the learning process, which allows to take into account the individual characteristics of the student.
Key words: software system, training technology, virtual learning.
References
1. Analiticheskiy obzor: sovremennoye sostoyaniye i perspektivy razvitiya distantsionnogo obrazovaniya v Rossiyskoy Federatsii [Analytical review: The current state and prospects of the development of distance education in the Russian Federation]. Moscow, 2004. 108 p. (in Russian).
2. Verbitsky A. A. Reformirovaniye obrazovaniya v Rossii i Bolonskiy protsess [Reform of education in Russia and the Bologna process]. Vyssheye obrazovaniye segodnya - Higher Education Today, 2008, no. 11, pp. 51-55 (in Russian).
3. Novikov A. M. O strukture teorii obrazovaniya [On the structure of the theory of education]. Pedagogika - Pedagogy, 2005, no. 7, pp. 18-23 (in Russian).
4. Gershunsky B. S. Kontseptsiya samorealizatsii lichnosti v sisteme obosnovaniya tsennostey i tseley obrazovaniya [The concept of self-realization in the system of grounding of education values and goals]. Pedagogika - Pedagogy, 2003, no. 10, pp. 3-7 (in Russian).
5. Teoreticheskiye osnovy strukturno-funktsional'noy modeli individual'noy traektorii obucheniya [Theoretical basis of structural-functional model of individual learning path]. Pod red. N. I. Ryzhovoy. Moscow, Raritet Publ., 2007. 305 p (in Russian).
6. Loginov Yu. N. Ponyatiya individual'nogo obrazovatel'nogo marshruta i individual'noy obrazovatel'noy traektorii i problema ikh proektirovaniya [The concepts of individual educational route and individual educational trajectory and the problem of designing]. Biblioteka zhurnala "Metodist" -Journal Library "Methodist", 2006, no. 9, pp. 4-7 (in Russian).
7. Kataev M. Yu., Korikov A. M., Mkrtchyan V. S. Kontseptsiya elektronnogo obrazovaniya na osnove tekhnologii Avatar [The concept of e-learning on the bases of Avatar technology]. Doklady TUSURa- Reports of TSUCSR, 2013, no. 2 (28), pp. 95-100 (in Russian).
8. Zelinsky F. F. Pedagogicheskiye vozzreniya PlatonaiAristotelya [Pedagogical views of Plato and Aristotle]. Moscow, Kniga po trebovaniyu Publ., 2012. 68 p. (in Russian).
9. Verbitsky A. A., Bakshaeva N. A. Razvitiyemotivatsiistudentovvkontekstnom obuchenii[Development of motivation of students in the contextual learning]. Moscow, IC PKPS Publ., 2000. 200 p. (in Russian).
10. Avanesov V. S. Problema razvitiya pedagogicheskikh izmereniy [The problem of educational measurement/. Pedagogicheskiye izmereniya -PedagogicalMesurments, 2011, no. 2, pp 3-35 (in Russian).
BecmHUK Trny (TSPUBulletin). 2015. 12(165)
11. Eliseev I. N. Metodologiya otsenki urovnya kompetentsiy studenta [Methodology for assessing the level of student's competence]. Informatika i obrazovaniye - Computer Science and Education, 2012, no. 4, pp. 80-85 (in Russian).
12. Avanesov V. S. Metricheskaya sistema Georga Rasha [Georg Rasch's Metric system (Rasch Measurement, RM)]. Pedagogicheskiye izmereniya -PedagogicalMesurments, 2010, no. 2, pp. 57-80 (in Russian).
13. Minin M. G. Diagnostika kachestva znany i kompyuternye tekhnologii obucheniya [Diagnosis of the quality of knowledge and computer technology training]. Tomsk, TSPU Publ., 2000. 216 p. (in Russian).
14. Kataev M. Yu., Kataev S. G. Podkhod k kontrolyu znaniy v virtual'noy obrazovatel'noy srede [The approach to the control of knowledge in virtual educational environments]. Vestnik Tomskogo gosudarstvennogo pedagogicheskogo universiteta - TSPU Bulletin, 2014, vol. 5 (146), pp. 41-44 (in Russian).
15. Korikov A. M. Osnovy teorii upravleniya [Fundamentals of control theory]. Tomsk, Izdatelstvo NTL Publ., 2002. 392 p. (in Russian).
Kataev M. Yu.
Tomsk State University of Control Systems and Radioelectronics.
Pr. Lenina, 40, Tomsk, Russia, 634050.
Yurga Technological Institute (branch) of the National Research Tomsk Polytechnic University.
Ul. Leningradskaya, 26, Urga, Kemerovo region, Russia, 652057. E-mail: kataev.m@sibmail.com
Korikov A. M.
Tomsk State University of Control Systems and Radioelectronics.
Pr. Lenina, 40, Tomsk, Russia, 634050.
National Research Tomsk Politechnic University.
Pr. Lenina, 30, Tomsk, Russia, 634050. E-mail: korikov@asu.tusur.ru
Mkrtchyan V. S.
University of Internet governance and information and communication technologies.
Australia.
E-mail: hhhuniversity@hotmail.com
