CC BY
18
RUDN Journal of Informatization in Education ISSN 2312-8631 (Print); ISSN 2312-864X (Online)
2022 Vol.19 No. 3 196-207 Вестник РУДН. Серия: Информатизация образования http://journals.rudn.ru/lnformatlzatlon-educatlon
ВЛИЯНИЕ ТЕХНОЛОГИЙ НА РАЗВИТИЕ ОБРАЗОВАНИЯ
EVOLUTION OF TEACHING AND LEARNING THROUGH TECHNOLOGY
DOI 10.22363/2312-8631-2022-19-3-196-207
УДК 378.1
Научная статья / Research article
Кластерный подход к критериальному оцениванию качества образовательного результата обучаемого
Н.И. Пак1 , М.М. Клунникова2
1 Красноярский государственный педагогический университет имени В.П. Астафьева,
Красноярск, Россия 2Сибирский федеральный университет, Красноярск, Россия ^ mklunnikova@sfu-kras.ru
Аннотация. Проблема и цель. Вопросы критериального оценивания образовательных результатов обучаемого сохраняют свою актуальность для современной теории и практики образования. Как правило, мероприятия по мониторингу образовательных результатов и ресурсов в учебных заведениях проводятся экспертными, ручными, неавтоматизированными способами. В соответствии с направлениями цифровой трансформации образования необходимо создание технологичной, отвечающей требованиям современного общества системы оценивания, подлежащей автоматизации и интеллектуализации. Цель работы - обоснование новой модели критериального оценивания качества образовательного результата, опирающейся на математические методы теории кластеризации и распознавания образов и позволяющей автоматизировать процедуры оценки качества образовательных объектов, ресурсов, учебных и личностных достижений обучаемых. Методология. Качество образовательного результата или ресурса определяется критериальными показателями, которые можно представить в виде признаков оцениваемого объекта с помощью информационного вектора. Путем кластеризации множества допустимых объектов на три класса - с низким, средним и высоким качеством - можно осуществлять оценку объекта по его принадлежности к одному из этих классов. Кластеризация проводится на основе горного алгоритма, в качестве меры сходства объектов принимается метрика городских кварталов. Результаты. Разработана программа, которая состоит из модуля исходных данных, модуля кластеризации и модуля распознавания и обучения. Модельные результаты работы программы коррелируют с традиционными рейтинговыми оценками, в которых качество объекта определяется по бальной шкале. Полученные тестовые результаты подтверждают валидность алгоритма распознавания
© Пак Н.И., Клунникова М.М., 2022
lie) Ф® I is licensed under a Creative Commons Attribution 4.0 International License
https://creativecommons.Org/licenses/by-nc/4.0/legalcode
и корректность работы программного продукта. Заключение. Предложенная модель на основе кластеризации и метода распознавания делает возможной автоматизированную оценку качества образовательных результатов обучаемых и образовательных ресурсов.
Ключевые слова: критериальное оценивание, качество образовательных результатов, кластеризация образовательных результатов, распознавание
Благодарности и финансирование. Исследование выполнено при поддержке Красноярского краевого фонда поддержки научной и научно-технической деятельности в рамках реализации проекта № 2021012106985 «Формирование и развитие вычислительного мышления обучаемых на основе автоматизированных и когнитивных средств обучения».
История статьи: поступила в редакцию 12 марта 2022 г.; принята к публикации 20 апреля 2022 г.
Для цитирования: Пак Н.И., Клунникова М.М. Кластерный подход к критериальному оцениванию качества образовательного результата обучаемого // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2022. Т. 19. № 3. С. 196-207. http://doi.org/10.22363/2312-8631-2022-19-3-196-207
Cluster approach to criteria evaluation of the quality of a student's educational outcome
Nikolai I. Pak1 , Margarita M. Klunnikova2
1 Krasnoyarsk State Pedagogical University named after V.P. Astafyev, Krasnoyarsk, Russia 2Siberian Federal University, Krasnoyarsk, Russia ^ mklunnikova@sfu-kras.ru
Abstract. Problem and goal. The issues of criteria-based evaluation of the student's educational results remain relevant for the modern theory and practice of education. As a rule, measures to monitor educational results and resources in educational institutions are carried out by expert, manual, non-automated methods. In accordance with the directions of digital transformation of education, it is necessary to create a technological assessment system that meets the requirements of modern society, subject to automation and intellectualization. The purpose of the work is to substantiate a new model of criteria-based assessment of the quality of the educational result, based on the mathematical methods of the theory of clustering and pattern recognition and allowing to automate the procedures for assessing the quality of educational objects, resources, educational and personal achievements of students. Methodology. The quality of an educational result or resource is determined by criteria indicators, which can be represented as features of the evaluated object using the information vector. By clustering the set of acceptable objects into three classes - with low, medium and high quality - it is possible to evaluate an object by its belonging to one of these classes. Clustering is carried out on the basis of a mining algorithm, the metric of city blocks is taken as a measure of the similarity of objects. Results. A program has been developed that consists of a source data module, a clustering module, and a recognition and training module. The model results of the program correlate with traditional rating assessments, in which the quality of the object is determined by a point scale. The obtained test results confirm the validity of the recognition algorithm and the correctness of the software product. Conclusion. Thus, the proposed model based on clustering and the recognition method showed the possibility of automated assessment of the quality of educational results of trainees and educational resources.
Keywords: criteria assessment, quality of educational results, clustering of educational results, recognition
Acknowledgements and Funding. The study was carried out with the support of Krasnoyarsk Regional Fund for Support of Scientific and Scientific-Technical Activities within the framework of the project No. 2021012106985 "Formation and Development of Students' Computational Thinking based on Automated and Cognitive Learning Tools."
Article history: received 12 March 2022; accepted 20 April 2022.
For citation: Pak NI, Klunnikova MM. Cluster approach to criteria evaluation of the quality of a student's educational outcome. RUDN Journal of Informatization in Education. 2022;19(3):196-207. (In Russ.) http://doi.org/10.22363/2312-8631-2022-19-3-196-207
Проблема и цель. Для современной теории и практики образования сохраняют свою актуальность проблемы критериального оценивания образовательных результатов обучаемого. Как правило, мероприятия по мониторингу образовательных ресурсов в учебных заведениях проводятся экспертными, «ручными», неавтоматизированными способами.
Во многих психолого-педагогических исследованиях приходится сталкиваться с необходимостью проводить оценку качества инновационных средств и методов обучения. Целесообразность их использования, полезность и эффективность обычно доказывают путем сравнения образовательных результатов в контрольных и экспериментальных группах. При больших выборках обучающихся оценивание их учебных достижений, предметных, метапред-метных и личностных результатов обучения представляет трудоемкую и затратную деятельность исследователя. В соответствии с направлениями цифровой трансформации образования необходимо создание технологичной, отвечающей требованиям современного общества системы оценивания, подлежащей автоматизации и интеллектуализации.
Идея использовать методы распознавания образов для оценивания и диагностики качества образовательных результатов и ресурсов не получала развитие в силу достаточности и доступности существующих традиционных рейтинговых, анкетных, тестовых методик, опирающихся на методы математической статистики, и программных приложений типа электронных таблиц.
Однако широкое распространение искусственного интеллекта определяет перспективные возможности машинного обучения в разработке интеллектуальных систем оценивания и диагностики качества образовательных продуктов.
Цель работы - обоснование новой модели критериального оценивания качества образовательного результата, опирающейся на математические методы теории кластеризации и распознавания образов и позволяющей автоматизировать процедуры оценки качества образовательных объектов, ресурсов, учебных и личностных достижений обучаемых.
Методология. В последнее время наибольшую популярность приобрела технология критериального оценивания, которая является одной из основных измерительных инструментов качества образовательных результатов [1]. Под критериальным оцениванием понимают процесс сравнения учебных достижений обучаемого с четко определенными экспертными критериями, соответствующими целям и содержанию образования. Само понятие «критерий» означает признак, основание, правило принятия решения по оценке чего-либо
на соответствие предъявленным требованиям. Как правило, основной принцип критериального оценивания заключается в определении эталона (идеала) образовательного результата и создании шкалы, задающей степень соответствия достигнутых результатов обучаемого этому идеалу1.
Одной из задач цифровизации образования является технологизация диагностики дидактических состояний обучаемого. Диагностика должна быть направлена не только на образовательные результаты (предметные, мета-предметные и личностные), но и на когнитивные и психолого-педагогические аспекты учебно-воспитательного процесса [2]. Одной из задач современного образования является разработка подходов к определению уровня вычислительного мышления студентов [3], для развития которого необходимо формировать у студентов ряд специфических свойств. С.Л. Рубинштейн рассматривает мыслительный процесс как систему сознательно регулируемых интеллектуальных операций: «...к разрешению стоящей перед ним задачи мышление идет посредством многообразных операций, составляющих различные взаимосвязанные и друг в друга переходящие стороны мыслительного процесса» [4]. В качестве диагностируемого критерия можно рассматривать отдельные компоненты вычислительного мышления: алгоритмическое мышление, умение решать задачи, креативность, критическое мышление, познавательная активность студента, которую С.Л. Рубинштейн считает элементом мышления [4] и от которой значительно зависит результативность учебного процесса. О.В. Маркелова под познавательной активностью студента понимает когнитивно-психологический отклик на познавательный процесс, выражающийся в готовности к обучению и выполнению учебных заданий при индивидуальной или групповой работе, возросший интерес к практической и интеллектуальной деятельности, определяющий результативность предметной подготовки [5].
В большинстве оценочных процедур в качестве измерителей показателей критериальных характеристик объекта используют тесты. Начиная с работ Ф. Гальтона2, который на основе математической статистики проводил измерения индивидуальных физических, физиологических и психических особенностей людей, тестовые методы оценивания качеств личности стали широко применятся в образовательных целях. Дж. Кеттелл, А. Бине, Т. Симон своими разработками показали возможность тестов как измерительных инструментов в научных и практических исследованиях личности. Значительный вклад в развитие тестовых измерений внес Г. Раш [6]. Он предложил простейшую модель вычисления условной вероятности правильного выполнения г-м испытуемым задания с уровнем сложности Ру:
ев-в1
Ч1"Ц - 1 I вЛ - 1+е9-Р;,
- 1 I РЛ -
где Х^,- - результат тестирования; 6 - уровень подготовки обучаемого.
1 Вертьянова А.А. Технология критериального оценивания образовательных достижений учащихся: учебно-методическое пособие. Пермь, 2014. С. 56-68.
2 Акимова М.К., Гуревич К.М. Психологическая диагностика: учебное пособие для вузов. СПб.: Питер, 2003. 652 с.
Отметим работы Н.Ф. Талызиной по программированному обучению и В.П. Беспалько по проблемам педагогической технологии [7], в которых сделана попытка формализовать и алгоритмизировать диагностические методы.
Несмотря на многочисленные подобные исследования, на практике чаще контроль и диагностика качества образовательных результатов осуществляются экспертным, субъективным и «ручным» способом. В этой связи в последнее время стали привлекательными оценочные диагностики на основе элементов искусственного интеллекта3. В частности, активно исследуются алгоритмы, способные осуществлять психолого-педагогическую диагностику обучаемых4.
Роль искусственного интеллекта в образовании связана с созданием «умных» обучающихся систем, имитирующих оперативный диалог обучающегося и преподавателя. К примеру, в [8] показаны перспективные возможности машинного обучения в разработке интеллектуальных систем тестирования.
Современные вызовы для образования, важность и порой необходимость перехода учебных и исследовательских работ в дистанционный формат актуализируют вопросы автоматизации проведения процедур критериального оценивания качества образовательных ресурсов и дидактических состояний обучаемых [9].
Представляют интерес разработки программ, веб-приложений, обеспечивающих автоматизацию мероприятий при проведении оценочных и конкурсных процедур в онлайн- и офлайн-режимах.
Рассмотрим несколько примеров образовательных результатов, которые оцениваются с помощью критериальных характеристик.
Учебные достижения. Схематично модель оценивания учебных достижений обучаемого можно представить следующим образом (рис. 1).
Критериями модели оценивания являются тестовые задания, а их показателями являются значения характеристик х^, определяющие результат выполнения соответствующего задания в баллах из интервала их сложности. Таким образом, для каждого тестируемого уровень его учебных достижений определяется информационным вектором (х1,х2,... хп) в некоторой шкале результативности обучения (например, удовлетворительно, хорошо, отлично).
Как правило, распространенным способом является подсчет суммарного балла и определение уровня образовательного результата в рейтинговой уровневой шкале. Подобная оценка объективна для примитивного случая равнозначных по сложности тестовых заданий, которые чаще оценивают в интервале [0, 1]: 0 - неверное решение, 1 - верное решение. Критериальные
3 Бронфельд Г.Б. Основы искусственного интеллекта: учебное пособие. Н. Новгород: Нижегородский государственный технический университет имени Р.Е. Алексеева, 2014. 253 с.
4 Ходашинский И.А. Методы искусственного интеллекта, базы знаний, экспертные системы: учебное пособие. Томск: Томский государственный университет систем управления и радиоэлектроники, 2002. 140 с.
модели оценивания могут предполагать разные интервалы значений показателей качества объекта. Для них интегральные рейтинговые шкалы малоинформативны и могут иметь значимые погрешности.
Рис. 1. Схема тестового оценивания учебных достижений обучаемого
Figure 1. Scheme of test assessment of student's educational achievements
Качество когнитивных способностей (на примере вычислительного мышления). Вычислительное мышление в настоящее время стало одной из главных компетенций для образовательной политики многих стран [2]. Обобщая работы по исследованиям способов измерения уровня этой компетенции, в [10] рассмотрена структурная диагностическая модель вычислительного мышления, которая включает пять критериев: креативность, алгоритмическое мышление, критическое мышление, решение задач и сотрудничество (рис. 2). По каждому критерию определены тестовые задания и анкеты (креативность -6 пунктов, алгоритмическое мышление - 4, критическое мышление - 4, решение задач - 3, сотрудничество - 4). Таким образом, информационный вектор качества вычислительного мышления содержит 21 характеристику (х1, ...,х21). Значения этих характеристик задавались по 5-балльной шкале: от 1 - нет ответа до 5 - дан исчерпывающий ответ.
Многие объекты результатов образовательной деятельности могут быть описаны в формате представленных выше двух моделей, для которых допустима формализованная математическая постановка задачи в следующем виде5.
5 Протодьяконов А.В., Пылов П.А., Садовников В.Е. Алгоритмы Data Science и их практическая реализация на Python: учебное пособие. М. - Вологда: Инфра-Инженерия, 2022. 392 c.
Дано множество К объектов (результатов образовательной деятельности) с некоторыми заданными качествами из п характеристик (х1, х2,.., хп): {№]}']=1 = (Х1 ,х2 ,...,хп) . Пусть признаки объекта задаются численными значениями из заданного интервала х^ £ [а¿,Ъ{]. Определим, к примеру, три класса объектов:
1) П1 - класс с низким качеством;
2) П2 - класс со средним качеством;
3) П3 - класс с высоким качеством.
Рис. 2. Структурная модель вычислительного мышления
Figure 2. Structural model of computational thinking
Для процедуры кластеризации необходимо назначить для каждого класса их «ведущих представителей» q1, ц2, ц3. К примеру, для первого класса объект Ч1 = (а1, а2, "■, ап); для второго класса ц2 = ((Ъ1 — а1)/2,..., (Ъп — ап)/2); для третьего класса ц3 = (Ъ1, Ь2,..., Ьп).
Расстояние (сходство) между двумя объектами можно определить по метрике городских кварталов: г£ = — у£| , где х£ и yi - признаки двух
объектов (рис. 3, а).
За расстояние между объектом и классом примем среднее значение всех расстояний от объекта до каждого объекта класса (рис. 3, б).
Чтобы определить принадлежность объекта к искомому классу, будем находить минимальное расстояние среди расстояний объекта до всех введенных классов (рис. 4).
Заданное множество из К объектов распределяем (кластеризуем) по трем классам путем нахождения расстояния от объектов до представителей этих классов. То есть объекты, которые «ближе» по расстоянию к цъ относим к П1, объекты, у которых сходство больше с ц2, заносим в П2. Подобным образом объекты, «близкие» к ц3, отнесем к П3. Принадлежность заданного объекта к тому или иному классу определяем по его минимальному расстоянию до созданных классов.
Результаты и обсуждение. Разработана программа, которая состоит из трех модулей: модуль исходных данных, модуль кластеризации, модуль распознавания и обучения.
В модуле исходных данных задаем первоначальное количество объектов К, количество признаков объекта п. Для каждого признака определяем интервалы их возможных значений [ а£, Ь£] (/ = 1 ...п) и главных представи-
а
б
Рис. 3. Расстояния между двумя объектами и объектом и классом Figure 3. Distances between two objects and an object and a class
Рис. 4. Распознавание принадлежности объекта к заданному классу Figure 4. Recognition of an object belonging to a given class
телей классов, например для класса 1 - ц1(а1, а2,..., ап), для класса 2 -Ч2[(^1 — а!)/2, (Ь2 — а.2)/2, ...,(Ьп — ап)/2)] , для класса 3 - Цз(Ъ1,Ъ2, .-,Ьп).
Модуль кластеризации имеет два способа задания объектов:
1) для каждого объекта формируем его информационные вектора из признаков х^ в интервале [щ, Ь^] случайным образом;
2) информационные вектора каждого объекта вводим «вручную» (например, это могут быть данные по результатам тестирования реальных учеников по темам курса).
Далее формируем три класса путем распределения заданных объектов по принципу их сходства с представителями классов. Итогом являются три множества объектов с интегральным качеством (низкое, среднее, высокое), которые сохраняются в виде базы данных на внешнем устройстве памяти.
В модуле распознавания имеется возможность задать исследуемый объект в виде его информационного вектора и определить его принадлежность одному из созданных в предыдущем модуле классу. При этом если распознанный объект не совпадает по своим признакам ни с каким из существующих объектов класса, его можно внести в этот класс. Другими словами, провести процедуру «машинного обучения с учителем».
Приведем модельные примеры реализации оценки качества образовательного результата обучаемого.
Пример 1. Рассмотрим вариант оценивания успеваемости обучаемых, выполняющих тесты из четырех заданий, каждое из которых имеет 1 балл -не верно или 2 - верно. Количество объектов К = 15, количество признаков п = 4, представители класса с низким ц1 = (1,1,1,1), класса со средним д2 = (1,2,1, 2), класса с высоким качеством успеваемости ц3 = (2,2,2,2).
Результаты кластеризации пятнадцати объектов на три класса показаны на рис. 5.
При процедуре распознавания задаваемых трех объектов получаем:
- (1, 1, 2, 1) принадлежит классу 1;
- (1, 1, 2, 2) принадлежит классу 2;
- (2, 2, 1, 2) принадлежит классу 3.
Полученные результаты работы программы полностью совпадают с традиционными рейтинговыми оценками, в которых уровни успеваемости определяются по количеству правильно решенных заданий. Полученные тестовые результаты подтверждают валидность алгоритма распознавания и корректность работы программного продукта.
Class 1
1 1 1 1 2 1 1 1 1 1 2 1 1 2 1 1 1 1 1 2
Class 2
1 2 1 2 2 1 1 2 2 1 2 1 2 2 1 1 1 1 2 2 1 2 2 1
Class 3
2 2 2 1 2 1 2 2 1 2 2 2 2 2 2 2
Рис. 5. Сформированные классы из 15 объектов Figure 5. Formed classes of 15 objects
Пример 2. Рассмотрим оценивание качества объекта, содержащего три критерия с показателями в интервале от 1 до 3 (рис. 6). Представителем класса с низким уровнем качества является экземпляр с информационным вектором (1,1,1), соответственно для среднего уровня - (2, 2,2), а для высокого уровня качества - (3, 3, 3).
При распознавании трех заданных объектов имеем:
- (1, 2, 3) принадлежит классу 1;
- (2, 2, 3) принадлежит классу 2;
- (3, 2, 3) принадлежит классу 3.
Class 1 1 1 3 1 3 1 1 2 1 1 1 1
Class 2 3 2 1 3 2 2 2 2 3 2 2 2
Class 3
2 3 3
3 2 3 3 3 2 3 3 1 3 3 3
Рис. 6. Классы объектов для примера 2 Figure 6. Feature classes for example 2
Таким образом, предложенная модель на основе кластеризации и метода распознавания показала возможность автоматизированной оценки качества образовательных результатов обучаемых.
В процессе тестовой отладки алгоритма было замечено, что при малых количествах (мощности) объектов кластеризации могут возникнуть некорректные результаты распознавания. Однако если обучить систему путем добавления новых объектов в классы, то при определенном их количестве распознавание становится правильным. В этой связи следует предусмотреть элементы машинного обучения системы как «с учителем», так и «без учителя». Еще один фактор, возникающий при кластеризации задач оценивания качества образовательных результатов, возможность появления пересекающихся классов. Вероятны случаи, когда один и тот же экземпляр может входить одновременно в несколько классов. В ситуации пересекающихся классов необходимо предоставлять эксперту вопрос оценивания и принятия управляющего решения. Важно избегать неоднозначного распознавания объекта путем задания таких исходных данных, которые позволяют формировать строго непересекающиеся классы.
Заключение. Предложенная модель оценивания качества образовательного результата имеет формализованную математическую постановку задачи. Алгоритмическая процессуальная основа метода прозрачна, технологична и обладает элементами искусственного интеллекта. Представляется целесообразным создание программного продукта в виде веб-приложения или облачного сайта открытого доступа для проведения критериальных оценок качества образовательных результатов и ресурсов, которые могут быть сведены к описанной математической постановке задачи.
Список литературы
[1] Абекова Ж.А., Оралбаев А.Б., Бердалиева М., Избасарова Ж.К. Технология критериального оценивания, методика ее применения в учебном процессе // Международный журнал экспериментального образования. 2016. № 2-2. С. 215-218. URL: https://expeducation.ru/ru/article/view?id=9559 (дата обращения: 14.01.2022).
[2] Баженова И.В., Клунникова М.М., Пак Н.И., Пушкарева Т.П., Хеннер Е.К. Кластер дисциплин как платформа развития вычислительного мышления студентов. Красноярск: Сибирский федеральный университет, 2021. 184 с.
[3] Клунникова М.М. Развитие вычислительного мышления студентов в процессе обучения дисциплине «Численные методы»: дис. ... канд. пед. наук. Красноярск, 2020. URL: https://research.sfu-kras.ru/sites/research.sfu-kras.ru/files/dissertaciya_Klunnikova.pdf (дата обращения: 17.05.2022).
[4] Рубинштейн С.Л. Основы общей психологии. СПб.: Питер, 2002. 720 с.
[5] Маркелова О.В. Методика развития познавательной активности студентов техникума в процессе обучения информатике: дис. ... канд. пед. наук. Красноярск, 2019. URL: https://research.sfu-kras.ru/sites/research.sfu-kras.ru/files/Dissertaciya_Markelova.pdf (дата обращения: 17.05.2022).
[6] Аванесов В.С. Применение тестовых форм в Rasch Measurement // Педагогические измерения. 2005. № 4. С. 3-20.
[7] Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия) М.: МПСИ, 2002. 215 с.
[8] Томашев М.В. Интеллектуальные системы тестирования в дистанционном и модульном обучении // Ползуновский альманах. 2010. № 2. С. 179-180.
[9] Markovskaya I.A., Narchuganov K.N., Pak N.I. Automated system of remote holding competitive and assessment procedures // Journal of Physics: Conference Series. 2020. Vol. 1691. Issue 1. Article 012156.
[10] Sun L., Hu L., Zhou D., Yang W. Evaluation and developmental suggestions on undergraduates' computational thinking: a theoretical framework guided by Marzano's new taxonomy // Interactive Learning Environments. 2022. https://doi.org/10.1080/10494820.2022.2042311
References
[1] Abekova ZhA, Oralbaev AB, Berdalieva M, Izbasarova ZhK. Criteria-based assessment technology, methods of its application in the educational process. International Journal of Experimental Education. 2016;(2-2):215-218. (In Russ.) Available from: https://expeducation.ru/ru/article/view? id=9559 (accessed: 14.01.2022).
[2] Bazhenova IV, Klunnikova MM, Pak NI, Pushkareva TP, Khenner EK. Cluster of disciplines as a platform for the development of students' computational thinking. Krasnoyarsk: Siberian Federal University; 2021. (In Russ.)
[3 ] Klunnikova MM. Development of computational thinking of students in the process of teaching the discipline "Numerical Methods" [dissertation]. Krasnoyarsk; 2020. (In Russ.) Available from: https://research.sfu-kras.ru/sites/research.sfu-kras.ru/files/dissertaciya_Klunnikova.pdf (accessed: 17.05.2022).
[4] Rubinshtein SL. Fundamentals of general psychology. St. Petersburg: Peter Publ.; 2002. (In Russ.)
[5] Markelova OV. Methodology for the development of cognitive activity of college students in the process of teaching computer science [dissertation]. Krasnoyarsk; 2019. (In Russ.) Available from : https ://research. sfu-kras.ru/sites/research. sfu-kras.ru/files/Dissertaciya_Markelova.pdf (accessed: 17.05.2022).
[6] Avanesov VS. Application of test forms in Rasch Measurement. Pedagogical Measurements. 2005;(4):3-20. (In Russ).
[7] Bespalko VP. Education and training with the participation of computers (pedagogy of the third millennium). Moscow: MPSI Publ.; 2002. (In Russ.)
[8] Tomashev MV, Dolzhenko SV. Intelligent testing systems in distance and modular learning. Polzunovskiy Almanakh. 2010;(2):179-180. (In Russ).
[9] Markovskaya IA, Narchuganov KN, Pak NI. Automated system of remote holding competitive and assessment procedures. Journal of Physics: Conference Series. 2020; 1691(1):012156.
[10] Sun L, Hu L, Zhou D, Yang W. Evaluation and developmental suggestions on undergraduates' computational thinking: a theoretical framework guided by Marzano's new taxonomy. Interactive Learning Environments. 2022. https://doi.org/10.1080/10494820.2022.2042311
Сведения об авторах:
Пак Николай Инсебович, доктор педагогических наук, профессор, заведующий кафедрой информатики и информационных технологий в образовании, Красноярский государственный педагогический университет имени В.П. Астафьева, Россия, 660049, Красноярск, ул. Ады Лебедевой, д. 89. ORCID: 0000-0003-2105-8861. E-mail: nik@kspu.ru
Клунникова Маргарита Михайловна, кандидат педагогических наук, доцент базовой кафедры вычислительных и информационных технологий, Сибирский федеральный университет, Россия, 660041, Красноярск, пр-кт Свободный, д. 79. ORCID: 0000-0003-36571019. E-mail: mklunnikova@sfu-kras.ru
Bio notes:
Nikolai I. Pak, ScD in Education, Professor, Head of the Informatics and Information Technologies in Education Department, Krasnoyarsk State Pedagogical University named after V.P. Astafyev, 89 Ady Lebedevoi St, Krasnoyarsk, 660049, Russia. ORCID: 0000-0003-21058861. E-mail: nik@kspu.ru
Margarita M. Klunnikova, PhD in Education, Associate Professor of the Computing and Information Technologies Basic Department, Siberian Federal University, 79 Svobodnyi Prospekt, Krasnoyarsk, 660041, Russia. ORCID: 0000-0003-3657-1019. E-mail: mklunnikova@ gmail.com
