CC BY
89
УДК 378. 146:004.418, 372. 8
DOI: 10 .23951/1609-624Х-2018-1-148-154
СИСТЕМА ЭЛЕКТРОННОГО ПОРТФОЛИО ОБУЧАЮЩЕГОСЯ (E-ПОРТФОЛИО) КАК ЭЛЕМЕНТ ИНФОРМАЦИОННОЙ СРЕДЫ УПРАВЛЕНИЯ УЧЕБНЫМ ПРОЦЕССОМ В ПЕДАГОГИЧЕСКОМ ВУЗЕ
Ф. Д. Пираков, А. П. Клишин, Л. В. Ахметова
Томский государственный педагогический университет, Томск
Рассматриваются методологические и практические подходы по разработке и применению системы электронного портфолио обучающегося как элемента электронной образовательной среды управления учебным процессом. На основании современной модели обучения в педагогическом университете, а также федерального государственного стандарта сформулированы основные разделы системы электронного портфолио обучающегося, которые описывают основные учебные, научные и др. достижения учащихся, кроме того, обоснованы функциональные возможности программной реализации примера электронного портфолио, архитектура программного обеспечения и методические подходы к работе с системой. Применение системы электронного портфолио обучающегося позволяет оперативно получать информацию о состоянии основных параметров активности обучающихся и стимулировать ее в различных областях деятельности.
Ключевые слова: электронное портфолио, учебные достижения, учебный процесс.
Согласно требованиям современного Федерального государственного образовательного стандарта высшего образования (ФГОС ВО) третьего поколения информационно-образовательная среда вуза должна обеспечить возможности по формированию электронного портфолио обучающегося, в том числе сохранение его работ, рецензий и оценок на эти работы со стороны любых участников образовательного процесса [1]. Данное требование распространяется на условия подготовки бакалавров, магистров и аспирантов по всем отраслям образования, в том числе и на подготовку обучающихся в педагогических вузах. В связи с развитием инновационных подходов в преподавании и применением новых информационных технологий в обучении перед Томским государственным педагогическим университетом была поставлена задача создания и внедрения системы электронного портфолио (е-пор-тфолио) обучающегося как составного элемента информационной среды управления учебным процессом.
Целью настоящей статьи является описание разработки и применения системы е-портфолио в условиях педагогического вуза, а также выбор и обоснование методологических и практических подходов его реализации и внедрения в учебный и образовательный процесс.
В контексте идей личностно ориентированного образования оценивание достижений обучающихся в учебно-воспитательном процессе приобретает новые формы и содержание. Следует подчеркнуть, что проблема оценивания в системе образования получила широкое отражение в трудах отечественных и зарубежных специалистов по психологии и педагогике (Б. Г. Ананьев, Ю. К. Бабанский,
Л. И. Божович, Дж. Брунер, Л. С. Выготский, А. Н. Леонтьев, Е. С. Полат, О. Г. Смольникова и др.). Вместе с тем поиск дидактических методов, разработка психолого-педагогических технологий, направленных на повышение мотивации обучающихся в учебе и познавательной активности, являлись и остаются по сей день ключевой задачей на историческом пути развития системы образования.
С точки зрения психологии личность представляет собой сложную многофункциональную систему, которая (в терминах гуманистических теорий) стремится к самореализации на различных уровнях своей жизнедеятельности: материальном, социальном, духовном. Элементы иерархически организованной системы личности, образующие ее структуру, среди которых мотивационно-потреб-ностная, когнитивная, эмоциональная, духовно-нравственная сферы, способности к деятельности, а также мировоззрение и направленность личности, в целом находятся в динамической соподчиненно-сти, детерминированной множеством факторов [2, 3]. Глобальным фактором, предопределившим качественно новый технический и технологический подход к широкому кругу проблем, стоящих перед человеком, стало развитие сети Интернет и связанных с ней электронных технологий. Идея создания и использования е-портфолио в высшем образовании в качестве системы непрерывного оценивания обучающихся по широкому спектру областей их деятельности является логическим следствием применения передовых педагогических и информационных технологий в образовании.
Современными авторами [4-6] отмечается, что большое количество работ посвящено вопросам организации е-портфолио и проблемам информа-
ционного наполнения, обсуждаются различные трактовки основных терминов и т. д., однако при этом еще недостаточно обоснованы методологические принципы внедрения и использования е-порт-фолио в учебном процессе, функциональные возможности системы, а также архитектура его электронной реализации.
Е-портфолио, сформированное с учетом структурно-функциональных закономерностей психической деятельности личности обучающихся, по сути своей является новым психолого-дидактическим инструментом, призванным эффективно решать образовательные задачи: повышение мотивации учебной деятельности, познавательной активности, самореализации, иными словами, раскрытие личностного потенциала обучающегося.
Важно также обратить внимание на расстановку акцентов при обсуждении вопросов о роли и значении е-портфолио в системе образования. Многие специалисты в сфере психолого-педагогической деятельности убеждены, что е-портфолио - есть новая форма оценивания не только учебной и воспитательной деятельности обучаемых, но и личностных, общественно значимых и академических достижений студентов, которую необходимо внедрять в практику образовательного учреждения.
Однако е-портфолио - это не формализованный набор количественных показателей, являющихся основанием для льготных бонусов, а наоборот, психолого-дидактический инструмент, раскрывающий в ходе учебной деятельности личность обучающегося в единстве его субъективно-психических и информационно-операциональных характеристик, их динамику и направленность. Иными словами, е-портфолио является специфическим пространством самопрезентации достижений обучающегося (если мы говорим о процессе обучения), вхождение в которое, тем более анализ и оценка извне таких составляющих системы личности, как мировоззрение, творческие способности, этнокультурные особенности, требуют (по К. Роджерсу) определенного морального права и профессиональной компетенции.
Движущей силой развития личности обучающихся, в частности в высших учебных заведениях, является образовательная деятельность с привлеченным к учебному процессу дополнительным образовательным инструментом - е-портфолио. Новые образовательные воздействия (целенаправленная систематическая работа с е-портфолио) закономерно приводят к формированию психологического новообразования, включают процесс де-центрации (Ж. Пиаже). Способность к децентри-рованному познавательному отношению проявляется в умении мысленно освобождаться от концентрации внимания на личной точке зрения либо на
частном аспекте ситуации, предполагает перестройку познавательного образа по линиям роста его объективности, а также приобретение способности анализа в системе варьирующих категориальных обобщений. По мнению классиков психологии Л. С. Выготского, Ж. Пиаже, мера интегри-рованности интеллектуальных структур и мера объективности индивидуальных познавательных образов, т. е. способность к децентрированному познавательному отношению к происходящему, выступает в качестве дополнительных критериев развития интеллекта.
В российской и зарубежной литературе по педагогике и психологии существует множество определений и трактовок, описывающих понятие «е-портфолио». Под е-портфолио будем понимать «организованную обучающимся на базе средств ИКТ совокупность документов, включающую результаты квалификационных работ и их примеры, подтверждение сертификатов и дипломов в системе академического образования, а также результаты непрерывного оценивания и прогнозирования личных достижений вне образовательной системы» [7].
Важно отметить, что требования к е-портфолио не унифицированы на уровне Минобрнауки. В настоящее время разработан международный стандарт ШОЛЕС 20013 «Информационные технологии в обучении, образовании и подготовке. Эталонная структура информации электронного пор-тфолио», однако данный стандарт не введен в действие на территории России и вследствие этого требования различных вузов и образовательных учреждений к е-портфолио могут заметно отличаться. При этом на рынке отсутствуют программные средства, позволяющие гибко адаптировать учет достижений к требованиям конкретных вузов, отдельных факультетов, деканатов и т. д., что приводит к следующим трудностям при создании е-портфолио: выбор единой технологической платформы, формирование единой системы форматов, сложности подтверждения подлинности документов. Отсутствие унифицированных требований к функциональным возможностям и структурам данных и содержанию е-портфолио затрудняет поиск и анализ информации по заданным критериям, а также размещение ее в интегрированных информационных системах.
В системе высшего образования РФ сегодня широко внедряется система е-портфолио, и в качестве примеров можно привести следующие системы: электронное портфолио студента РГППУ (Российский государственный профессионально-педагогический университет), электронное портфолио студента СГТУ (Саратовский государственный технический университет), информационно-образовательная сеть для ведения профессионального,
учебного и творческого веб-портфолио (4portfolio. ru), многофункциональный сервис для студентов НИ ТПУ «Flamingo» (Национальный исследовательский Томский политехнический университет), сравнительные характеристики которых приведены в табл. 1. Для сравнительного анализа электронных систем были выбраны следующие критерии, обеспечивающие описание функциональности и наполнения материалов, а также их контроль в форме мониторинга успеваемости, классификации и рейтинга материалов, их доступности для пользователя.
Таблица 1
Сравнительные характеристики систем электронного портфолио (e-портфолио), используемого в российских вузах
Портфолио вузов Мониторинг успеваемости Классификация материалов Рейтинг материалов Доступность для пользователя
РГППУ - + + -
СГТУ - + - -
Flamingo (НИ ТПУ) - + + +
Портфолио студента (4portfolio) - + - -
PORTFOLIO EDU - + - +
teacher-pro - + + +
ТГПУ + + - +
В соответствии с проведенным анализом предметной области и с учетом условий педагогического вуза была разработана информационная система е-портфолио обучающегося как элемент информационной среды управления учебным процессом в форме интегрированного веб-приложения и внедрена на всех факультетах ТГПУ
Электронное портфолио содержит следующие основные категории пользователей: студент, сотрудники деканата и администратор системы.
Студенты вносят основной массив данных (достижения различных типов), а сотрудники деканатов могут просматривать материалы студентов, списки е-портфолио обучающихся и оценивать их наполнение.
Полученные списки е-портфолио можно отфильтровать по различным категориям и параметрам студентов, а выбрав определенного студента,
можно просмотреть содержание его e-портфолио. Указав ссылку на файл, имеется возможность скачать его и отрыть на просмотр. Необходимо отметить также, что файлы в формате .doc и других форматов сначала скачиваются на компьютер пользователя и только потом уже открываются, при этом администраторы следят за целостностью данных и обеспечивают контроль за авторизацией пользователей системы.
Поскольку при проектировании e-портфолио требовалось, чтобы система обеспечивала множественный доступ обучающихся в режиме онлайн, что и определило выбор клиент-серверной архитектуры на основе тонкого клиента. Для разработки серверной части была выбрана технология Java EE 7 и сервер GlassFish 4 [8]. В качестве инструментальной части реализации проекта была выбрана СУБД MySQL 5.7 и язык программирования PHP 7 в силу его высоких интеграционных возможностей. Для клиентской части использовался JavaScript и фреймворк AngularJS 1.5, поскольку последний обладает удобной моделью шаблониза-ции HTML интерфейсов.
Система e-портфолио тесно связана и взаимодействует с внутренними подсистемами вуза как компонент информационной среды управления учебным процессом (рис. 1). Основные данные студентов поступают из системы электронного деканата (E-Decanat) и студенческого отдела кадров (ИС A-Cadry) [9-11]. Оценки по учебным дисциплинам также поступают из системы E-Decanat. Результаты тестовых испытаний [10] и ссылки научных публикаций формируются и поступают соответственно из системы контроля остаточных знаний и системы сбора научно-исследовательской информации (рис. 1).
Система e-портфолио размещена на главном сайте ТГПУ (рис. 2) в разделе «Учеба» (https:// www.tspu.edu.ru/portfolio.html). Обучающемуся при работе с системой предоставляется доступ для внесения информации, а сотрудникам деканатов и других учебных отделов - доступ для просмотра информации. Для получения доступа к системе требуется согласование на уровне деканата, где студенты получают данные для аутентификации (логины и пароли), при этом имеется и автоматическая система регистрации.
Разработанная система е-портфолио обучающегося основана на традиционной модели образования и состоит из следующих форм: личные данные, раздел с результатами успеваемости, список прикрепленных документов, распределенных по четырем основным категориям.
Материалы, прикрепляемые в системе е-пор-тфолио, классифицируются по следующим категориям, указанным в табл. 2.
Рис . 1. Информационные потоки между е-портфолио и основными информационными системами университета
Рис. 2 . Главная форма системы «е-портфолио обучающегося»
На рис. 3 указаны результаты внедрения программы е-портфолио обучающегося в образовательную среду ТГПУ.
Среднее количество загруженных материалов (файлов) одним студентом по гуманитарным факультетам составляет 87,42, а по естественным соответственно - 70,33; среднее количество загруженных файлов по факультетам составляет соответственно 771,28 и 763,75 за один учебный год (2016/2017). Полученные данные показывают, что гуманитарные факультеты более активно используют программу е-портфолио и в среднем имеют более высокие показатели успеваемости (по данным системы E-Decanat), что является следствием српвнхтельно боиее высяких достижениЛ учащихся в различных областях деятельности.
Созданная система е-портфолио позволила преподавателям, сотрудникам ТГПУ, а также подразделениям университета сформировать достаточно полную для анализа и принятия решений картину активности достижений студентов в различных областях деятельности на основе информации, хранящейся в системе, назначать стипендии различного утовня, рассчитывать рейтинговые показатели и косвенно осуществлять мониторинг учеЛного процесса. Полученныв рлзнообраз-ные статистические данные (оценки, данные тестирования, списки файлов различных разделов) позволяют оперативно готовить управленческие решения по контрилю и управлению учебным процессом.
Таблица 2
Основные разделы электронных материалов, представленных в системе e-портфолио обучающегося
Разделы е-портфолио Наименование и уровень прикрепляемых документов
1. Учебная деятельность — дипломы, подтверждающие победы соискателя в личном и командном зачете (I—III место, призер, лауреат, победитель, стипендиат) в олимпиадах, конкурсах, соревнованиях и т. д. (исключая конкурсы лучших докладов); — дипломы, подтверждающие победы (I—III место) — в конкурсах докладов конференций и семинаров; — свидетельства о наличии интеллектуальной собственности; — дипломы, грамоты, сертификаты и т. д., подтверждающие участие соискателя в социально значимых проектах, творческих конкурсах и иных мероприятиях, пропагандирующих позитивные ценности российского общества, здоровый образ жизни; — копии научных публикаций и учебно-методических работ (pdf или иной формат); — титульные страницы отчета со списком исполнителей, приказы, выписки из приказа, договоры и другие документы, подтверждающие участие в НИР (гранты); — сертификаты участниса в научных мероприятиях
2. Научно-исследовательская деятельность — дипломы, подтверждающие победы соискателя в личном и командном зачете (I—III место, призер, лауреат,победатель,стж1ендаат)волимпиадах, конкурсах, соревнованиях и т. д. (исключая конкурсы лучших докладов); — дипломы, подтверждающее победы (I-Ш место) в кошырсахдораедов конференций и семинаров; — копии научных пуОтжащй и дчебно-нетодичеекта ,еДот (pdf иоо ноой рормат), титульные страницы отчета со списком исполнителей, приказы, выписки из приказа, договоры и другие докумамты,оодтватждпюнще учасу-е вНРШ Cipантыр — сертификаты участника в научных мероприятиях
3. Общественная и культурно-творческая деятельность — дипломы, подтвержааюп—ie по беды соискателя в лианом и командаомжасеас (I—III место, призер, лауреат, победитель, стипендиат) в олимпиадах, конкурсах, соревнованиях и т. д.(иушпачаддо-ефсыдумших дукжддоеД — дипломы, грамоты, сертификаты и т. д., подтверждающие участие соискателя в социально значимыепроектор,тверчесыхоонаарсаджижахмерепр-атиж, прана-гандирующих позитивные ценности российского общества, здоровый образ жизни
4. Спортишаядеятельность - ашсоытд педтсарждаюпще пыТены аоискажевыа шпшом и кожанрхом здчете (I—III место, призер, лауреат, победитель, стипендиат) в олимпиадах, конкурсах, ссыеадевапртхиа.Д- биаыюдеяконпрсы лучших докладов); - дипломы, грамоты, сертификаты и т. д., подтверждающие участие соискателя в социально значимых проектах, творческих конкурсах и иных мероприятиях, пропагандирующих позитивные ценности российского общества, здоровый образ жизни
фтп-И^
ФП-1Р
ФКИ -у
ФДНО-^^
ФЭУ
ФФКС
РФ
фмф -ggp
БХФ
Ифф ^Ж/ЖЖЖЯ ФИЯ щ^тштттттшшт^^т
О 200 400 600 800 1000 1200 1400 1600
Рис . 3 . Количество файлов, загруженных в систему e-портфолио ТГПУ в течение учебного года . Колонки (штрихованные) -общее количество файлов, загруженных на факультете, колонки (заливка черн .) - максимальное количество файлов,
загруженных одним студентом
Список литературы
I. Реализация требований ФГОС 3+ в электронной информационно-образовательной среде вуза . URL: http://fgosvo . ru/fgosvo/92/91/4 (дата обращения: 26 .07 .2017) .
2 . Ахметова Л . В . Половозрастные особенности развития когнитивной сферы личности учащихся начальных классов // Вестн . Томского
гос . пед . ун-та (TSPU Bulletin) . 2005 . Вып . 1 (45) . С . 18-20 .
3 . Ахметова Л . В . , Клишин А. П . Реализация принципов психолого-дидактического подхода в It-технологиях // Вестн . Томского гос. пед .
ун-та (TSPU Bulletin) . 2014 . Вып . 5 (146) . С . 65-72 .
4 . Шахова Е . Ю ., Алпатов Ю . Н . Структура электронного портфолио // Программные продукты, алгоритмы и системы . 2016 . № 3 . С . 1-10 .
5 . Медведева И . Н . , Мартынюк О . И . , Панькова С . В . , Соловьева И . О . К вопросу о формировании электронного портфолио обучающегося
// Вестник ПсковГУ. 2014 . № 5 . С . 134-140 .
6 . Горбачева А . Н ., Жилин Л . Э . Информационно-аналитическая система «Портфолио студентов вуза» на основе модели SAAS // Научный
альманах. 2015 . № 11-3 (13) . С . 97-105.
7 . Панюкова С .В . Электронное портфолио ученика // Информатика и образование . 2007 . № 2 .С . 85-86 .
8 . Пираков Ф . Д ., Мытник А. А. Разработка и внедрение системы электронного портфолио в вузе // Молодежь и современные информаци-
онные технологии: труды XIV Междунар . науч ,-практ . конф . студентов, аспирантов и молодых ученых. Томск 2016 . Т . 1. С . 313-314 .
9 . Клишин А . П . , Стась А. Н . , Газизов Т .Т . , Горюнов В .А ., Кияницын А. В . , Бутаков А. Н . , Мытник А .А . Основные направления информати-
зации деятельности Томского государственного педагогического университета // Вестн . Томского гос . пед . ун-та (TSPU Bulletin) . 2015 . Вып .3 (156) .С . 110-118 .
10 . Клишин А. П . , Стась А. Н . Оболочка для создания и использования компьютерных тестов // Математическое моделирование . 2002 .
Т 14, № 9 С 24-26
II. Клишин А. П ., Волкова Н . Р ., Еремина Н . Л . , Мытник А. А. , Клыжко Е . Н . Подходы к автоматизации документооборота в вузе // Вестник НГУ. Серия: Информационные технологии . 2017 . Т . 15, № 1. С . 36-46 .
Пираков Фаррухруз Джамшедович, магистрант, инженер-программист института прикладной информатики, Томский государственный педагогический университет (ул. Киевская, 60, Томск, Россия, 634061). E-mail: [email protected]
Клишин Андрей Петрович, заведующий студенческой научно-исследовательской лаборатории института прикладной информатики, Томский государственный педагогический университет (ул. Киевская, 60, Томск, Россия, 634061). E-mail: [email protected]
Ахметова Людмила Владимировна, кандидат психологических наук, директор Евро-Азиатского адаптационного образовательного центра, Томский государственный педагогический университет (ул. Киевская, 60, Томск, Россия, 634061). E-mail: [email protected]
Материал поступил в редакцию 11.02.2017.
DOI: 10 .23951/1609-624X-2018-1-148-154
THE LEARNERS' ELECTRONIC PORTFOLIO SYSTEM (E-PORTFOLIO) AS AN ELEMENT OF THE INFORMATION ENVIRONMENT FOR MANAGING THE EDUCATIONAL PROCESS IN A PEDAGOGICAL UNIVERSITY
F D. Pirakov, A. P. Klishin, L. V Akhmetova
Tomsk State Pedagogical University, Tomsk, Russian Federation
This article is devoted to the methodological and practical approaches to developing and implementing the electronic portfolios for learners as part of the electronic educational environment for managing the learning process. Based on the modern model of education in the pedagogical university, as well as on the federal state standard, the main sections of the system of the students' electronic portfolio have been formulated, which describe the main educational, scientific and other achievements of the students. In addition, the functional capabilities of the software implementation of an example of the electronic portfolio, software architecture and the methodological approaches to working with the system have been substantiated. The application of the students' electronic portfolios allows us to quickly obtain the information about the status of the main parameters of student activities and to stimulate them in different areas of the activities. The electronic portfolio contains the following main categories of users: students, dean's staff and system administrators. Students contribute the main data array (achievements of different types), and employees of the dean's office can view a list of students' portfolios. The created e-portfolio system allowed teachers, TSPU staff and the departments of the university to form a picture of students' achievements in the different fields of the activities, which is enough completed for analysis and decision making, and on the basis of information stored in the system, to assign scholarships of different levels as well as to calculate rating indicators, and, thus, to indirectly monitor the learning process.
Вестник imY (TSPUBulletin). 2018. 1 (190)
Key words: electronic portfolio, educational achievements, educational process.
References
I. Realizatsiya trebovaniy FGOS 3+ v elektronnoy informatsionno-obrazovatel'noy srede vuza [Implementation of FSES 3+ requirements in the electronic information and educational environment of the university] . URL: http://fgosvo .ru/fgosvo/92/91/4 (accessed: 26 .07 .2017) (in Russian) .
2 . Akhmetova L . V. Polovozrastnyye osobennosti razvitiya kognitivnoy sfery lichnosti uchashchikhsya nachal'nykh klassov [Sex and age features of
the development of the cognitive sphere of the personality of primary school pupils] . Vestnik Tomskogo gosudarstvennogo pedagogicheskogo universiteta - TSPU Bulletin, 2005, no . 1 (45), pp . 18-20 (in Russian) .
3 . Akhmetova L . V., Klishin A . P. Realizatsiya printsipov psikhologo-didakticheskogo podkhoda v It-tekhnologiyakh [Implementation of the principles
of psychological and didactic approach in the sphere of IT-technologies in foregn students' teaching] . Vestnik Tomskogo gosudarstvennogo pedagogicheskogo universiteta - TSPU Bulletin, 2014, no . 5 (146), pp . 65-72 (in Russian) .
4 . Shakhova Ye . Yu . , Alpatov Yu . N . Struktura elektronnogo portfolio [Structure of the electronic portfolio] . Programmnyye produkty, algoritmy i
sistemy, 2016, no . 3, pp . 1-10 (in Russian) .
5 . Medvedeva I . N ., Martynyuk O . I . , Pan'kova S . V., Solov'yeva I . O . K voprosu o formirovanii elektronnogo portfolio obuchayushchegosya [On the
issue of forming an electronic portfolio of students] . Vestnik Pskovskogo gosudarstvennogo universiteta - Vestnik PskovSU, 2014, no .5, pp . 134140 (in Russian) .
6 . Gorbacheva A. N . , Zhilin L . E . Informatsionno-analiticheskaya sistema «Portfolio studentov vuza» na osnove modeli SAAS [Informational and
analytical system «Portfolio of university students» based on the SAAS model] . Nauchnyy al'manakh - Sciece Almanac, 2015, no . 11-3 (13), pp . 97-105 (in Russian) .
7 . Panyukova S . V. Elektronnoye portfolio uchenika [Student's electronic portfolio] . Informatika i obrazovaniye - Informatics and Education, 2007,
no 2, pp 85-86 (in Russian)
8 . Pirakov F. D . , Mytnik A . A . Razrabotka i vnedreniye sistemy elektronnogo portfolio v vuze [Development and implementation of the electronic
portfolio system in the university] . Trudy XIV Mezhdunarodnoy nauchno-prakticheskoy konferentsii studentov, aspirantov i molodykh uchonykh «Molodozh' i sovremennyye informatsionnyye tekhnologii» [Proceedings of the XIV International scientific-practical conference of students, graduate students and young scientists «Youth and modern information technologies»] . Tomsk, Tomsk Polytechnic University Publ ., 2016, vol . 1. Pp . 313-314 (in Russian) .
9 . Klishin A. P., Stas' A. N ., Gazizov T. T. , Goryunov V. A., Kiyanitsyn A. V. , Butakov A. N ., Mytnik A. A. Osnovnyye napravleniya informatizatsii
deyatel'nosti Tomskogo gosudarstvennogo pedagogicheskogo universiteta [Main directions for applying information technologies to the automation of TSPU activities] . Vestnik Tomskogo gosudarstvennogo pedagogicheskogo universiteta - TSPU Bulletin, 2015, no . 3 (156), pp . 110-118 (in Russian) .
10 . Klishin A. P., Stas' A. N . Obolochka dlya sozdaniya i ispol'zovaniya komp'yuternykh testov [The shell for creating and using computer tests] .
Matematicheskoye modelirovaniye - Mathematical Models and Computer Simulations, 2002, vol . 14, no . 9, pp . 24-26 (in Russian) .
II. Klishin A. P. , Volkova N . R ., Yeremina N . L . , Mytnik A. A. , Klyzhko Ye . N . Podkhody k avtomatizatsii dokumentooborota v vuze [Approaches to the Workflow Automation in a Higher Education Institute] . Vestnik Novosibirskogo gosudarstvennogo universiteta. Seriya: Informatsionnyye tekhnologii - Novosibirsk State University Journal of Information Technologies. Series: Information Technologies, 2017, vol . 15, no . 1, pp . 36-46 (in Russian)
Pirakov F. D., Tomsk State Pedagogical University (ul. Kievskaya, 60, Tomsk, Russian Federation, 634061). E-mail: [email protected]
Klishin A. P., Tomsk State Pedagogical University (ul. Kievskaya, 60, Tomsk, Russian Federation, 634061). E-mail: [email protected]
Akhmetova L. V., Tomsk State Pedagogical University (ul. Kievskaya, 60, Tomsk, Russian Federation, 634061). E-mail: [email protected]
