Оценка уровня сформированности компетенций выпускника вуза Текст научной статьи по специальности «Науки об образовании»

удк 378.147 М.Б. Гитман, А.Н. Данилов, В.Ю. Столбов

ВАК 05.13.10 ' " '

РИНЦ 14.35.07

Оценка уровня сформированности компетенций выпускника вуза

Рассматривается проблема оценивания качества подготовки студентов при компетентностном подходе. Предлагается методика построения негэнтропийной оценки уровня сформированности компетенций выпускников вуза. Описываются специальные кривые научения, позволяющие более точно определять зависимость уровня сформированности компетенции студента от его балльной оценки и трудоемкости соответствующего раздела ООП, участвующего в формировании этой компетенции.

Ключевые слова: качество образования, триадная структура компетенции, уровень сформированности компетенций, негэнтропийная оценка, специальные кривые научения.

EVALUATION OF UNIVERSITY GRADUATE COMPETENCES

The quality evaluation problem in training of students at competence-based approach is considered in the article. The technique of creation of a negentropic assessment of level of the competences formation of graduates students is offered. The article deals with the special learning curves, which provide the opportunity to be more precise in defining the dependence of the level of the students' competence formation of the on their scoring.

Keywords: quality of education, competence triadic structure, level of the competences formation, negentropic assessment, special learning curves.

Введение

Переход на федеральные государственные образовательные стандарты высшего профессионального образования (ФГОС ВПО) означает смену образовательной парадигмы в высшей школе. Идеологической основой ФГОС ВПО является ком-петентностный подход, а качество подготовки студентов в этом случае нормируется путём задания требований к результатам образования и нуждается в сопоставлении достигнутых и планируемых результатов обучения. В образовательных стандартах нового поколения компетенция выступает как новая норма качества образования, которая задаёт цели обучения, на реализацию которых должен быть ориентирован управляемый процесс подготовки выпускника вуза. При этом возникает задача оценивания уровня сформированности как каждой компетенции в отдельности, так и всех заявленных в основной образовательной программе (ООП) компетенций выпускника вуза. В

последнее время решению данной задачи посвящено много работ, например [1-5]. Однако в большинстве исследований рассматривается оценка уровня компетенций для конкретного направления профессиональной подготовки, что, в свою очередь, накладывает определенные ограничения на общность предлагаемых методик и процедур [1, 2]. Наиболее общий подход к оцениванию компетенций представлен в работах [3-5]. При этом в [3, 4] не рассмотрены вопросы, связанные с учетом специфики учебных дисциплин и практических разделов ООП, участвующих в формировании соответствующих компетенций выпускника вуза. В статье же [5] основное внимание уделяется методике формирования и оценивания знаний студентов, что, как нам кажется, более соответствует знаниевой парадигме высшего образования.

Остановимся на проблеме оценивания уровня сформированности компетенций выпускника вуза бо-

лее подробно, начиная со структуры самой компетенции как системного понятия.

1. Триадная модель компетенции

Каждую компетенцию можно представить системной триадой компонентов: знать, уметь, владеть (рис. 1). другими словами, идея компетентностного подхода состоит в целостности образования, означающего овладение знанием с помощью системной триады. Каждый акт формирования компе-

ВЛАДЕНИЯ

Рис. 1. Системная триада компетенции

Михаил Борисович Гитман,

д.ф.-м.н., профессор кафедры математического моделирования систем и процессов Тел.: (342) 239-1297 Эл. почта: [email protected] Пермский национальный исследовательский политехнический университет www.pstu.ru

Mikhail B. Gitman,

Dr. Sci. (Phys.-Math.), professor of chair of Mathematical modeling of systems and processes Ph.: (342) 239-1297, E-mail: [email protected] Perm national research polytechnical university www.pstu.ru

Александр Николаевич Данилов, к.т.н., доцент кафедры автоматики и телемеханики Тел.: (342) 219-8434 Эл. почта: [email protected] Пермский национальный исследовательский политехнический университет www.pstu.ru

Alexander N. Danilov,

Cand.Tech.Sci., associate professor Avtomatiki and telemechanics Ph.: (342) 219-8434 E-mail: [email protected] Perm national research polytechnical university www.pstu.ru

тенции триедин. Очевидно, что невозможно у студента сформировать умения без необходимого объема накопленного им знания, как невозможно привить студенту способность владеть знаниями и умениями без их освоения. Однако здесь важен и другой аспект.

Как отмечено в [6], любой процесс познания идет тем успешнее, чем выше эмоциональный фон обучающегося, однозначно связанный с мотивацией к обучению. Поэтому объем усвоенных знаний и умений напрямую зависит от способности обучаемого владеть этими знаниями и умениями, использовать их на практике при решении учебных и профессиональных задач. Только осознанное понимание того, что для решения тех или иных задач не хватает способности (владений), приводит к желанию получить новые знания и умения. Это, в свою очередь, приводит к модели расширяющейся «улитки», схема которой приведена на рис. 2.

Необходимо отметить, что три-адный способ получения образования является существенно нелинейным в отличие от существовавшего ранее линейного или диадного подхода к обучению. Линейный подход предполагает классическую (квалификационную) структуру образования, представляемую набором: знания - умения - навыки. Однако навыки представляются как умения, доведённые до автоматизма, в силу чего не обладающие новым качеством. Поэтому линейное представление даёт диаду образовательных результатов: знание и их ожидаемое практическое применение в определённой сфере профессиональной деятельности

Рис. 2. Триадная модель компетенции в форме расширяющейся «улитки»

(квалификация), без учёта возникновения нестандартных ситуаций и творческого подхода к их разрешению. Однако линейно мыслящий специалист не нужен современному производству, в рамках которого все чаще возникают нестандартные задачи, которые необходимо решать на базе знаний, умений и владений, сформированных у выпускника вуза и определённых в виде его общекультурных и профессиональных компетенций. Триада соединяет, сращивает все компоненты компетенции, обеспечивая новое качество образования. Однако сложность внутренней структуры компетенции вызывает трудности при ее измерении. Как объективно измерить уровень сформированности компетенции у каждого студента на каждом этапе ее формирования? Без ответа на этот вопрос нельзя переходить к управлению качеством образования. Здесь как раз пригодится системный подход.

2. Негэнтропийная оценка уровня сформированности компетенции

Так как компетенция - это системное свойство образования, то и подходить к измерению компетенции надо системно. С большой долей уверенности можно считать, что формирование компетенции у обучающегося приводит к повышению упорядоченности его знаний в некоторой предметной или межпредметной области, т. е. к снижению энтропии обучаемого за счёт получения и усвоения полезной информации (негэнтропии). Тогда процесс формирования компетенции или набора компетенций можно свести к негэнтропийному процессу накопления полезной информации, объем которой можно измерять различными способами. Учитывая многолетний опыт вузовского преподавания, при котором уровень образования студента оценивался преподавателями вуза и государственной аттестационной комиссией, здесь предлагается не-гэнтропию измерять в условных единицах, связанных с трудоемкостью отдельных учебных дисциплин

Валерий Юрьевич Столбов, д.т.н., профессор кафедры математического моделирования систем и процессов Тел.: (342) 239-1303, Эл. почта: [email protected] Пермский национальный исследовательский политехнический университет www.pstu.ru

Valery Yu. Stolbov,

Dr.Sci.Tech., professor of chair of Mathematical modeling of systems and processes Ph.: (342) 239-1303 E-mail: [email protected] Perm national research polytechnical university www.pstu.ru

(практических разделов), задаваемой ООП вуза с учётом полученных оценок за усвоение учебного материала. для этого необходимо сначала провести декомпозицию каждой компетенции до уровня измеримости, а затем произвести синтез, используя триадную целостность компетенции.

Считаем, что знания в основном формируются при освоении учебных дисциплин ООП, умения -при выполнении курсовых работ и проектов, НИРС, прохождении учебной практики, а владения -при выполнении инновационных проектов, прохождении производственной практики, подготовке ВКР Кроме того, считается, что составлена матрица отношений между компетенциями и дисциплинами (практическими разделами) ООП. другими словами, считается известным, в рамках освоения каких учебных дисциплин и практических разделов формируется каждая компетенция студента, из каких частей (дисциплинарных компетенций) она состоит и в каких семестрах происходит её формирование.

Как было отмечено выше, текущий уровень сформированности компетенции предлагается сопоставлять с количеством информации, накапливаемой у студента в ходе образовательного процесса и измеряемой в условных единицах. Под введённой условной единицей количества негэнтропии понимается количество информации, усваиваемой в сложившихся педагогических условиях за один час студентом, успешно справляющимся с усвоением информации ровно за то количество часов, которое закреплено за данной дисциплиной (практическим разделом) ООП вуза.

другими словами, считается, что уровень сформированности каждой дисциплинарной компетенции после изучения соответствующей учебной дисциплины можно оценить как некоторое количество негэнтропии (полезной информации), приводящее к упорядочиванию знаний студента в данной предметной области. Чем больше количество негэнтропии, тем выше качество подготовки студента. При этом очевидно, что процесс накоп-

ления знаний (негэнтропии) для каждой дисциплины разный, что задаётся кривой «научения», которую должен предоставить эксперт, в качестве которого может выступать опытный преподаватель вуза, ответственный за ту или иную дисциплину ООП.

3. Методика построения специальных кривых научения

Остановимся подробнее на способах построения классической кривой «научения». Многие исследователи занимались этой проблемой [7-11]. При этом в работе [10] утверждается, что не существует общей (универсальной) кривой «научения». Однако большинство исследователей считают, что существуют общие закономерности для систем живой природы, которые позволяют строить кривые «научения» для конкретных обучаемых систем. При этом исследователи искусственно упрощают модели живых систем, делая их поддающимися анализу.

В монографии [9] приведена попытка обобщения современного научного знания в понимании механизмов функционирования биологических и социальных систем в процессе обучения. В этой работе сформулированы и обоснованы закономерности, которые, во-первых, объясняют экспериментально наблюдаемое поведение обучаемых систем, а во-вторых, обладают максимальной общностью, т.е. применимы для максимально широкого класса объектов обучения. Можно выделить два направления исследований итеративного научения и два способа формулирования и объяснения его механизмов. Первый способ - это анализ экспериментальных данных. В этом случае экспериментальные зависимости аппроксимируются замедленно-асимптотическими кривыми [8]. Второй подход - это создание и анализ моделей итеративного научения, подробно рассмотренных в работе [9].

При обучении в качестве критерия уровня научения могут выступать следующие характеристики [8]:

- временные, например время выполнения обучаемым какого-либо действия;

- скоростные, например скорость принятия решения в той или иной профессиональной ситуации;

- точностные, например количество ошибок при выполнении обучаемыми того или иного действия;

- информационные, например объем заучиваемого материала или переработанной информации.

Следует отметить, что приведенные характеристики применимы только для диадной модели обучения «знания - умения (навыки)», при которой под навыками понимаются умения обучаемых, доведенные до автоматизма.

Особенностями современного этапа процесса образования является компетентностный подход и триадная модель обучения «знания - умения - владения», что требует применения новых характеристик в качестве критерия уровня научения. Такой характеристикой может быть уровень сформиро-ванности компетенции или набора компетенций, заявленных в качестве целей обучения. Это, в свою очередь, обусловливает необходимость построения (обоснования) новых кривых «научения».

Первоначально рассмотрим количественное описание и анализ возможных кривых «научения» (КН), предложенных в работе [9].

Обычно итеративное научение характеризуется замедленно-асимптотическими кривыми научения, аппроксимируемыми экспоненциальными кривыми. В общем виде экспоненциальная кривая описывается зависимостью:

У(Г) = Ушах + (У0 - Ушах)ехр(-уГ),

Г > 0, у > 0, Ушах > У0, (1) где Г - время научения;

у(Г) - уровень наученности в момент времени Г; у0 - начальное значение уровня наученности;

Утах - конечное значение уровня наученности (физиологический предел научения); у - некоторая неотрицательная константа, определяющая скорость научения, зависящую от характера изучаемого материала и применяемых образовательных технологий.

Качественный вид КН, определяемый формулой (1), приведен на рис. 3. При этом количественные характеристики научения (у0, ушах и у) зависят от множества факторов, таких как: применяемые образовательные технологии, особенности изучаемого учебного материала, материально-техническое обеспечение учебного процесса и т.п. В каждом конкретном случае эти константы должны определяться либо из натурных или вычислительных экспериментов, либо обосновываться экспертами.

Помимо экспоненциальных кривых, соответствующих итеративному обучению, при описании образовательных результатов часто используются так называемые логистические КН [8, 10], которые можно описать следующим образом:

У(Г) = Ушах У0 / (Ушах - У))ехр(-уГ)), Г > 0, у > 0, Ушах > У0, (2)

В отличие от кривой (1) логистическая КН (2) характеризуется

У I

Ушах

наличием первоначального пологого участка «накопления» учебной информации, после которого происходит резкое увеличение скорости научения. Это связано со спецификой учебного материала и/или технологией обучения и т.п. Качественный вид КН, определяемый формулой (2), приведен на рис. 4.

В современном образовании при формировании профессиональных навыков возрастает роль междисциплинарных знаний. Поэтому КН может иметь плато, наличие которого объясняется скрытыми поисками обучаемой системой новых путей совершенствования способов выполнения действий, подготовкой к переходу на качественно новый способ овладения деятельностью, к новой стратегии принятия решений [8, 9].

На рис. 5 приведен качественный вид КН с промежуточным плато: две последовательные экспоненты соответствуют получению дополнительных профессиональных навыков после накопления

-> Г

Рис. 3. Экспоненциальная кривая научения

Рис. 4. Логистическая кривая научения

Рис. 6. Кривая научения при формировании компетенции

объема необходимых знаний и умений. Например, первая стадия характеризуется формированием базовых знаний и умений, необходимых для дальнейшего профессионального обучения, а вторая -приобретением знаний, умений и навыков (владений), необходимых для дальнейшей успешной профессиональной деятельности. Хотелось бы отметить тот факт, что одна из составляющих КН (чаще всего вторая) может описываться логистической зависимостью.

Перейдем к описанию КН при реализации компетентностного подхода в высшем профессиональном образовании. Как было отмечено выше, новой нормой качества ВПО становится уровень сформированности заявленного в ООП вуза набора общекультурных

и профессиональных компетенций обучаемого. При этом каждая компетенция состоит из компонентов: знать, уметь и владеть (ЗУВы), которые формируются при освоении студентами теоретических и практических разделов образовательной программы. Согласно три-адной модели компетенции можно считать, что формирование компонентов компетенции происходит во времени последовательно, т.е. первоначально формируются знания, затем умения и владения. Поэтому КН при оценке уровня сфор-мированности компетенции можно качественно представить в виде, изображенном на рис. 6. На данной кривой у3 - уровень полученных обучаемым знаний при освоении компетенции, уу - уровень выработанных умений и у„ - уровень

сформированных владений соответственно.

Следует отметить, что компетенция как междисциплинарная величина формируется в рамках изучения нескольких дисциплин. При этом КН формирования части компетенции в рамках одной дисциплины, в силу принятой гипотезы аддитивности, будет иметь такой же вид, как для всей компетенции в целом. Другими словами, процесс формирования компетенции происходит во времени (параллельно/ последовательно), и следовательно, формирование каждого компонента характеризуется многоэтапной КН. Складывая уровни наученности покомпонентно (отдельно - знания, отдельно - умения и отдельно -владения), можно получить обобщенную кривую, качественный вид которой представлен на рис. 6.

Особый интерес вызывает вид КН при формировании той или другой компетенции. В работе [11] предложена иерархия компетент-ностной модели бакалавра и магистра, в рамках которой выделены отдельно гуманитарные, социальные и экономические (ГСЭ) компетенции, математические и естественно-научные (МЕН) компетенции и профессиональные (П) компетенции. Следуя предложенной иерархии, исследуем вид КН для каждой групп компетенций.

Первоначально рассмотрим группу общекультурных компетенций, формируемых в рамках дисциплин ГСЭ цикла ООП вуза. На наш взгляд, КН для таких компетенций имеет вид, представленный на рис. 6, т.е. все части КН могут быть описаны экспоненциальными зависимостями. Это объясняется тем, что при формировании таких компетенций процесс приобретения знаний, умений и владений на первоначальной стадии происходит быстрее, чем в дальнейшем, вследствие возрастающего объема информации, необходимой для обработки и получения новой информации.

КН для общекультурных компетенций, формируемых в рамках дисциплин МЕН-цикла, имеет более сложный вид (рис. 7), при котором два первых этапа можно

У Ув

Уу

Уз Уо

Рис. 7. Кривая научения при формировании МЕН-компетенции

Ув

Уу

Уз

Уо

Рис. 8. Кривая научения при формировании профессиональной компетенции

I

описать экспоненциальной кривой, а последний - логистической. Это связано с тем, что для формирования знаний и умений таких дисциплин используется итеративный метод обучения, приводящий к более высокой скорости наученности студентов в начальный период обучения. Отметим, что при изучении дисциплин МЕН-цикла у студентов всегда наблюдается первоначальная стадия адаптации полученных знаний и умений, связанная с выработкой новых способов выполнения действий и подготовкой к переходу на качественно новый способ овладения методами исследования, что и приводит к некоторой задержке в формировании владений. Подобное поведение может быть описано логистической кривой научения.

Особый интерес вызывает вид КН для профессиональных компетенций, формируемых в рамках профессионального цикла (рис. 8). В этом случае уже и на этапе формирования умений у студентов наблюдается период осознания полученных междисциплинарных знаний и выработки методов и способов их использования при решении даже стандартных задач профессиональной деятельности. Поэтому КН, представленная тремя участками, на последних двух из них (формирование умений и владений) описывается логистическими зависимостями.

Теперь перейдем к формированию негэнтропийной оценки уровня сформированности компетенций на базе предложенных кривых научения. Первоначально напомним, что, согласно сделанной гипотезе, весь учебный процесс реализации ООП вуза условно разбит на 3 подпроцесса: формирование знаний в рамках изучения учебных дисциплин, формирование умений при выполнении расчетных, лабораторных и курсовых работ и индивидуальных заданий, а также формирование владений при выполнении междисциплинарных практических разделов ООП, в том числе НИРС, практик и ВКР.

Таким образом, можно говорить отдельно о негэнтропийной оценке уровня сформированности знаний,

умений и владений у студентов при освоении ООП вуза. Практически это означает необходимость перехода от экспоненциальных и логистических кривых вида (1) и (2), описывающих уровень формирования знаний, умений и владений во времени, к графику, описывающему зависимость негэнтропийной оценки уровня сформированности каждого компонента компетенции от трудоемкости каждой дисциплины или практического раздела и оценки в баллах, полученных студентом.

Другими словами, необходим переход от КН к негэнтропийной оценке уровня сформированности знаний, умений и владений. Для решения этой задачи введем следующие гипотезы:

- считается, что экспертами построены КН для всех учебных

дисциплин и практических разделов, входящих в ООП вуза;

- считается, что уровень знаний, умений или владений определяется зависимостью (1) или (2) аналогично соответствующей КН;

- полагается, что максимальное значение наученности Утах соответствует максимальной негэнт-ропийной оценке, равной части трудоемкости ООП, выделенной на формирование соответствующего компонента компетенции и задаваемой в академических часах или зачетных единицах, т.е. Е = у = Т ;

тах У тах •

- начальный уровень наученности полагается равным минимальному значению негэнтропий-ной оценки (чаще всего нулю), т.е.

Етт = у0;

- считается, что экспертами установлены уровни негэнтропийной

Ё

Ё

Ё

Ё

(4)

(3)

Ё

Рис. 9. Уровни негэнтропийных оценок

Ё

Ё

Ё

Рис. 10. График зависимости негэнтропийных оценок уровня сформированности компонента компетенции от трудоемкости в 4-балльной шкале

Ё

Ё

Ё

Ё

(4)

(3)

Ё 'ТТ1

оценки, соответствующие оценкам текущей, промежуточной и/или итоговой аттестации в 4-балльной шкале: 2, 3, 4 и 5.

Теперь алгоритм построения негэнтропийной оценки может быть записан в следующем виде.

1. Экспертом выбирается вид КН, соответствующий конкретной дисциплине или практическому разделу, в зависимости от сложности учебного материала и применяемых образовательных технологий.

2. Определяются параметры КН

(Уо, Ушах и у).

3. Экспертом задаются уровни негэнтропийной оценки, соответствующие 4-балльной шкале оценок (рис. 9).

4. Используя полученные в п. 3 уровни негэнтропийной оценки, строится зависимость 4-балльных оценок х от времени t.

5. Производится пересчет не-гэнтропийной оценки, зависящей от времени (рис. 9), в 4-балльную равномерную шкалу оценок (рис. 1о) путем исключения времени в соотношениях (1) или (2), используя полученную функцию x(t).

В результате может быть получена аналитическая зависимость негэнтропийной оценки уровня сформированности частей и компонентов каждой компетенции от трудоемкости дисциплин и оценок, полученных студентами при изучении соответствующих теоретических и практических разделов ООП вуза.

Следует отметить, что процедуру пересчета негэнтропийной оценки, описанной в п. 5 и требующей специального математического (программного) обеспечения, можно значительно упростить, если ввести гипотезу об аппроксимации графика зависимости в классе кусочно-линейных функций (рис. 11).

В этом случае приближенная зависимость может быть записана в следующем виде:

Е (Т, х) =

+ во( х - 2),

+в(х - 3), + в2 (х - 4),

2 < х < 3

3 < х < 4 ,

4 < х < 5

где

Рис. 11. График зависимости негэнтропийных оценок в классе кусочно-линейных функций

в =

Е+1 - Е

I = 0,1,2.

2

3

4

5

Таким образом, используя предложенный алгоритм, можно получить аналитические зависимости негэнтропийной оценки уровня сформированности отдельных частей и компонентов каждой из заявленных компетенций выпускника вуза в 4-балльной шкале, принятой в российской высшей школе.

Необходимо отметить, что полученные оценки могут быть использованы при управлении качеством подготовки студентов путем коррекции ООП вуза. При этом применяются специальные методы агрегирования и декомпозиции для получения комплексной негэнтро-пийной оценки уровня сформиро-

ванности групп компетенций у всех студентов, обучающихся по оцениваемой ООП вуза [12].

Заключение

Предложена методика оценивания качества подготовки студентов вуза, основанная на триадной модели формирования компетенции, что позволяет отдельно оценивать ее компоненты: знания, умения, владения. Вводится негэнтропийная оценка уровня сформированности отдельных частей и компонентов заявленных компетенций, позволяющая учитывать распределение трудоемкостей между дисциплина-

ми и разделами ООП вуза, а также особенности учебного материала каждой дисциплины и применяемых образовательных технологий. Для этого предлагается методика построения специальных кривых научения, использование которых позволяет более точно определять зависимость уровня сформирован-ности компетенции студента от его балльной оценки и трудоемкости соответствующего раздела ООП, участвующего в формировании этой компетенции. Отметим, что предложенная методика позволяет оценивать не только качество подготовки студентов, но и качество реализуемой ООП вуза.

Список литературы:

1. Сибикина И.В. Процедура оценки компетентности студентов вуза, обучающихся по направлению «Информационная безопасность» // Вестник АГТУ Сер.: Управление, вычислительная техника и информатика. - 2011. - № 1. - С. 201-205.

2. Девисилов В.А. Инструментарий квалиметрии компетенций и диагностики знаний (на примере ноксологи-ческих компетенций и дисциплины «Безопасность жизнедеятельности») // Стандарты и мониторинг в образовании. - 2011. - № 1. - С. 3-12.

3. Ефремова Н.Ф. Компетенции в образовании: формирование и оценивание. - М.: Национальное образование, 2012. - 416 с.

4. Гитман М.Б., Данилов А.Н., Столбов В.Ю. Об одном подходе к контролю уровня сформированности базовых компетенций выпускников вуза // Высшее образование в России. - 2012. - № 4. - С. 13-18.

5. Васильев Ю.С., Кимков В.Н., Козлов В.Н., Масленников А.С. Формирование содержания высшего образования на базисных компетентностных моделях знаний, умений и навыков // Alma mater (Вестник высшей школы). - 2011. - № 2. - С. 41-45.

6. Солодова Е.А. Новые модели в системе образования. - М.: Книжный дом, 2012. - 344 с.

7. Бриллюэн Л. Научная неопределенность и информация. - М.: Мир, 1966. - 271 с.

8. Новиков А.М. Процесс и методы формирования трудовых умений: профпедагогика. - М.: Высшая школа, 1986. - 288 с.

9. НовиковД.А. Закономерности итеративного научения. - М.: Институт проблем управления РАН, 1998. - 77 с.

10. Guthrie E.R. The psychology of learning. - New York and London: Harper and Broth. Pub., 1935. - 258 p.

11. Козлов В.Н. Интеллектуальные технологии и теория знаний. - СПб.: Изд-во Политехнического ун-та, 2012. - 157 с.

12. Харитонов В.А., Данилов А.Н., Букалова А.Ю. Алгоритмические основы автоматизированного управления уровнем профессиональной подготовки бакалавров // Вестник Южно-Уральского государственного университета. Серия: математическое моделирование и программирование. - 2013. - Т. 6. - № 4. - С. 108-115.