CC BY
44
Aknowlegments
This article is a result of the project „Doctoral Program and PhD Students in the education research and innovation triangle". This project is co-funded by European Social Fund through The Sectorial Operational Programme for Human Resources Development 2007-2013, coordinated by The Bucharest Academy of Economic Studies.
Bibliography
[IVAL05] Ion IVAN, Feliciaii ALECU - St rue tun HTML. Editura ASE. Bucuresti,2005. ISBN 973-594-586-X, 72 pg.
[IVB004] Ion IVAN, CatalinBOJA - Statistical Methods in Software Analysis, ASE Publishing House, Bucharest, 2004
[IVB007] Ion IVAN, CatalinBOJA, Cristian CTUREA - Metriciale sistemelor colaborative: teorie si practica,Editura ASE, Bucuresti, 2007, ISBN 978-973-594-963-1, 186 pg.
[MCTI08] www.mcti.ro, accesatla data de 05.11.2008
[POIVO8] Marius POP A, Ion IVAN, Dragos PALAGHITÄ, Bogdan VINTILÄ - Quality metrics of citizen oriented informatics applications, Forth International Conference on Applied Statistics - ICAS4, Bucharest-ROMANIA, November20-22, 2008
[ROGH06] Ion Gh. ROSCA, Bogdan GHILIC-MICU, Marian STOICA - Informatica. Societatea infonnationalä. E-Serviciile, Editura Economics, Bucuresti, 2006, ISBN 973-709-266-X, 488 pg.
[XXXX01] http: //www. winhe lp 1 ine. info/forum/ faq-microsoft-office/105 03 5-Screenshot s-office -xp -2002- a.html, accesatla data de 25.10.2008
[XXXX02] http://blogs.msdn.coni/jensenh/archive/2006/03/09/547281.aspx, accesatla data de 25.10.2008
[XXXX03] http://www.banking.ro, accesat la data de 05.11.2008
УДК 378.004.12
НЕЗАВИСИМАЯ СИСТЕМА ОЦЕНИВАНИЯ ВУЗОВ ДЛЯ СОВЕРШЕНСТВОВАНИЯ ИХ ДЕЯТЕЛЬНОСТИ
В.П. Соловьев, к.т.н., проф., зам. директора по науке и стратегическому развитию Тел.: (4725) 46-14-83; E-mail: solovjev@misis.ru Старооскольский филиал МИСиС http://www.sti.oskol.ru А.И. Кочетов, д.т.н., проф., менеджер по качеству Тел.: (495) 955-01-62; E-mail: akochetov@usr.misis.ru Московский институт стали и сплавов
http://www.misis.ru Н.В. Крапухина, к.т.н., проф., директор Тел.: (495) 236-65-81; E-mail: krapuhina@misis.ru Институт экономики и информатики http://www.misis.ru С.В. Проничкин, асп. Тел.: (495) 638-44-63; E-mail:pro11430389@yandex.ru Кафедра Инженерной кибернетики Институт экономики и информатики http://www.kik.misis.ru
The article is devoted to the problem of estimation of educational work of high education institutes. As the instrument of estimation of educational work of high education institute and its improvement a self-estimation is offered to use. The general purposes for the construction of the independent system of estimation are considered, existing approaches to their decision are analyzed, the basic drawbacks are pointed out and decisions for their correction are offered.
Статья посвящена проблеме оценки образовательной деятельности вузов. В качестве инструмента оценки образовательной деятельности вуза и ее совершенствования предлагается использовать самооценку. Рассматриваются общие задачи, необходимые для построения независимой системы оценивания, проанализированы существующие подходы к их решению, выделены основные недостатки, предлагаются решения для их корректировки.
Ключевые слова: качество, всеобщее управление качеством, самооценка, эксперт, экспертная оценка, лицо, принимающее решение, компетентность, компетенция, согласованность, обобщенная оценка, принцип оптимальности, важность критерия, информационная система.
Keywords: quality, total quality management, self-estimation, expert, expert estimation, décision maker, compétence, competency, coordination, generalized estimation, principle of optimality, criterion importance, information system.
Введение
Главной задачей высшего образования было и остается обеспечение качества подготовки выпускников, что невозможно без постоянного совершенствования деятельности вузов на основе данных мониторинга.
Министерством образования и науки Российской Федерации установлена ежегодная система отчетности для подведомственных вузов, которая содержит показатели деятельности образовательного учреждения и его филиалов. Используя данные, полученные от вузов за соответствующий год, Росаккредагентство устанавливает пороговые значения аккредитационных показателей вузов в группе сравнения. Вуз, используя пороговые значения, может оценить соответствие критериям аккредитации в целом и «увидеть» свои сильные и слабые стороны. По запросу вуза Росаккредагентство готовит аналитический отчет, в котором будет представлена лепестковая диаграмма аккредитационных показателей вуза и пороговых значений, диаграммы ранжирования вузов по аккредитационным показателям с нанесением на них медиан и квартилей. Если ежегодно анализировать аккредитационные показатели деятельности вуза, накладывая их на диаграммы ранжирования, то можно вести мониторинг состояния своего вуза в группе сравнения. Важно отметить, что аккредитационные показатели являются количественными, и их совокупность не отражает полностью деятельность вуза. Качество деятельности вуза определяется также эффективностью использования ресурсов, нововведениями, инновациями, структурными изменениями, привлечением партнеров и многими другими факторами.
Все высшие учебные заведения раз в пять лет проходят комплексную оценку своей деятельности, которая проводится комиссией Рособрнадзора. За год до проведения государственной аккредитации вуз проводит самообследование по программе Рособрнадзора. Самообследование в основном констатирует состояние дел, а не выявляет причины изменения результатов, отчет по самообследованию направляется в Рособрнадзор. Таким образом, самообследование проводится не с целью совершенствования своей деятельности, а для аккредитации, при проведении которой. Отчет по самообследованию специально не анализируется, но отдельные эксперты знакомятся с ним по мере необходимости для подготовки заключения.
Для инициирования системного подхода к решению проблемы повышения качества образования Минобрнауки России с 2000 г. проводит конкурс «Системы качества подготовки выпускников образовательных учреждений профессионального образования» (далее - Конкурс). В основу Конкурса положена самооценка.
Самооценка - апробированный международной практикой инструмент, доказавший свою эффективность в конкурсах на Европейскую премию по качеству и ряде национальных премий. Более четырехсот вузов уже приняли участие в Конкурсе, четыре участника стали победителями Премии Правительства РФ в области качества, трое лауреатов Конкурса участвовали в Европейской премии и заняли достойное место. В настоящий момент в Конкурсе участвуют учреждения ВПО, СПО, а с 2009 г. и учреждения НПО. Целью самооценки является совершенст-
вование деятельности организации независимо от ее вида и конечной продукции.
Как показывает практика деятельности вузов [1], несмотря на обилие собираемой ими информации и регулярность комплексной оценки, систему оценивания качества своей деятельности вузам еще надо создавать. Авторами статьи для этого предлагается использовать следующий механизм самооценки (рис. 1).
Рис. 1. Схема процессной модели оценки образовательной деятельности вуза
Этапы проведения самооценки:
1 Ежегодно вуз проводит самооценку своей деятельности и направляет отчет независимым экспертам (добровольная независимая экспертиза). Эксперты подготавливают обратный отчет, где отмечают сильные стороны и области для совершенствования деятельности вуза, выставляют оценки.
2 Раз в 5 лет вуз (с учетом и на базе ежегодных самооценок) направляет отчет (с динамикой по годам) на экспертизу Рособрнадзора (обязательная экспертиза). В этом случае заключение экспертов направляется не в вуз, а в Рособрнадзор, который в зависимости от оценки экспертов может его утвердить, либо направить экспертов для обследования на месте. Однако и в том и в другом случае обратный отчет так же поступит и в вуз для совершенствования его деятельности.
Принятие такой технологии оценивания образовательной деятельности вуза ставит ряд общих и частных задач как для Рособрнадзора, так и для вузов. Среди частных задач для Ро-собрнадзора можно выделить:
• разработка общей программы для самооценки;
• создание общероссийского института независимых экспертов;
• организация экспертизы отчетов вуза и проведение экспертизы непосредственно в вузах.
Частные задачи для вузов:
• создание подразделения, которое постоянно ведет мониторинг образовательной деятельности;
• организация постоянного мониторинга;
• анализ показателей и подготовка отчетов по самооценке.
По мнению авторов, наибольший интерес представляют следующие общие (системообразующие) задачи:
1. Разработка критериальной модели оценки образовательной деятельности вуза.
2. Определение компетентности экспертов и их отбор.
3. Обработка индивидуальных оценок и получение групповых оценок экспертов.
4. Получение информации о предпочтениях ЛПР (лица, принимающего решения) и построение принципа оптимальности.
5. Определение функции важности критериев.
6. Разработка и внедрение единой информационной системы для ввода, хранения, обработки и визуализации информации, необходимой для независимой оценки образовательной деятельности вузов.
Далее в статье приведено описание и предлагаемые решения перечисленных общих задач.
1. Разработка критериальной модели оценки образовательной деятельности вуза
В качестве базы при разработке критериальной модели целесообразно использовать широко применяемые в международной практике и многократно апробированные модели премий в области качества. Особо следует отметить, модель Конкурса, проводимого с 2000 г., которая адаптирована к практике деятельности вузов России [2].
Модель Конкурса позволяет получать всестороннюю оценку деятельности и достигнутых результатов вузов, она построена на базе Премии Правительства РФ в области качества, критерии Конкурса максимально приближены к критериям премии. Однако в целях более детального анализа качества деятельности вузов модель Конкурса считаем целесообразным расширить за счет модели самообследования по программе Рособрнадзора.
В связи с тем, что теоретические аспекты задачи оценивания вузов касаются методов системного анализа, а прикладные аспекты соответствуют методам всеобщего управления качеством в образовании, авторами выявлено некоторое различие в трактовке термина «критерий», используемого в каждом из этих аспектов. Этот термин является одним из ключевых в данной работе. В связи с этим авторами в данной статье принято решение использовать понимание и трактовку термина «критерий», присущее системе управления качеством в образовании. Под критерием будем понимать признак, фактор, атрибут, на основании которого производиться оценивание, определение или классификация.
Предлагаемая авторами критериальная модель имеет иерархическую структуру. Критерии разбиты на две группы по аналогии с моделью Конкурса [2]:
- критерии, характеризующие возможности вуза обеспечить требуемое качество подготовки специалистов;
- критерии, характеризующие достигнутые вузом результаты.
Первая группа критериев показывает ресурсный потенциал вуза, его поддержку и совершенствование со стороны вуза.
1. Организационная структура вуза и система его управления.
2. Лидерство руководства и последовательность в достижении целей.
3. Политика и стратегия вуза в области обеспечения качества его деятельности.
4. Использование потенциала преподавателей, сотрудников и обучающихся.
5. Рациональное использование ресурсов.
6. Управление процессами обеспечения качества деятельности вуза.
Каждый критерий оценивается рядом подкритериев (показателей). В качестве примера рассмотрим содержание первого критерия.
Критерий 1. Организационная структура вуза и система его управления.
Проводится анализ:
• определения приоритетов, стратегии, целей и политики вуза;
• совершенствования структуры вуза, и соответствия деятельности вуза уставным задачам;
• совершенствования в системе управления;
• оптимизации документооборота;
• использования ИКТ в управлении.
Вторая группа критериев показывает, насколько результативно используется потенциал вуза в образовательной, научной и других областях деятельности.
7. Востребованность выпускников, удовлетворенность работодателей.
8. Удовлетворенность преподавателей и сотрудников.
9. Удовлетворенность обучающихся.
10. Влияние вуза на общество.
11. Развитие материально-технической базы (выполнение планов).
12. Мониторинг качества и система подтверждения качества.
В качестве примера рассмотрим содержание шестого критерия во второй группе критериев (двенадцатый критерий в критериальной модели).
Критерий 12. Мониторинг качества и система подтверждения качества.
Проводится анализ:
- измерения характеристик процессов и задания контрольных показателей;
- согласования целей совершенствования процессов со стратегией и целями вуза;
- текущих целей по улучшению процессов в соотнесении с достижениями вуза;
- конкурентоспособности выпускников вуза в образовательной и научной деятельности, в промышленности и других сферах рынка трудовых ресурсов;
- вузовской системы оценки качества процессов;
- вузовской системы анализа качества подготовки специалистов;
- эффективности выполнения рекомендаций долговременных заказчиков выпускников вуза;
- взаимоотношений вуза с партнерами (постоянными, долговременными потребителями выпускников, научных и других разработок вуза);
- рекламаций на качество подготовки специалистов;
- достигнутых результатов в сравнении с другими вузами России и Европы (бенчмаркинг).
Оценка по критериям производиться независимыми экспертами по различным аспектам, используя шкалы интервалов по аналогии с моделью Конкурса [2].
2. Определение компетентности экспертов и их отбор
Осуществлять совершенствование образовательной деятельности вуза возможно только на основе адекватных данных по ее оценке. К оценке вуза должны быть допущены только те эксперты, которые имеют достаточный опыт и знания в этой области. Так, экспертами Конкурса, в основу которого также положена самооценка, являются дипломированные эксперты Премии Правительства РФ в области качества и специально обученные эксперты - ведущие специалисты в соответствующих областях, все они имеют равные шансы войти в экспертную комиссию
[3].
Такой подход является несколько ограниченным, поскольку не учитывает такие составляющие компетенции эксперта, как нонконформизм, коллективизм и др. Совсем необязательно, что эксперт, отвечающий требованиям Конкурса, будет востребован в качестве независимого эксперта вузами. В [4] качество эксперта определяется структурой и весомостью аргументов, послуживших ему основанием для того или иного суждения, а также уровнем его осведомленности в рассматриваемой области экспертизы. Такой подход не учитывает личностные качества эксперта и обратную связь по результатам экспертизы.
В [5,6] рассматриваются отдельные личностные качества, знания, умения и навыки, которыми должны обладать аудиторы. Важно отметить, что деятельность независимого эксперта шире, чем аудитора и не сводится к поиску соответствия критериям аудита. Эксперт осуществляет всесторонний анализ, оценку процессов и результатов деятельности вуза.
Качество процесса отбора экспертов как со стороны вузов, так и со стороны Рособрнадзо-ра находится в зависимости от полноты учета всех компетенций, влияющих на компетентность эксперта. Таким образом, актуальным является выделение компетенций независимого эксперта, осуществляющего экспертизу образовательной деятельности вуза с учетом требований и рекомендаций [3,4,5,6], определение важности компетенций, разработка методики определения общей характеристики эксперта, учитывающей все его компетенции, с одной стороны, и допускающей их измерение, с другой стороны.
Система компетенций эксперта обладает свойством эмерджентности, т.е. свойством, которого нет ни у одной отдельно взятой компетенции. Эксперт осуществляет два вида деятельности: экспертиза отчета по самооценке, обследование вуза на месте. Исходя из этого, авторами выделено две группы компетенций эксперта - общие и специальные:
1. Общие компетенции - личностные качества, знания, умения и навыки эксперта, осуществляющего экспертизу отчета по самооценке.
2. Специальные компетенции - личностные качества, знания, умения и навыки эксперта, осуществляющего обследование вуза на месте.
Рассмотрим содержание каждой группы компетенций эксперта.
Общие компетенции
Социально-личностные - когнитивные, коммуникативные, эмоциональные и волевые особенности психологии личности:
• Порядочность - эксперт должен быть правдивым, искренним, честным, сдержанным, беспристрастным и благоразумным;
• Решительность - эксперт должен своевременно принимать решения на основе логических соображений и анализа;
• Нонконформизм - эксперт должен действовать вопреки мнению (позиции) большинства или авторитета, если это мнение не имеет под собой логического основания.
Инструментальные - знание и умение применять принципы, процедуры и методы экспертизы отчета по самооценке:
• Умение результативно планировать и организовывать работу по экспертизе отчета по самооценке.
• Умение провести экспертизу отчета по самооценке в течение установленного срока.
• Умение проверить достоверность данных представленных в отчете по самооценке, в том числе, используя методы математической статистики.
• Умение видеть общую картину деятельности вуза, с возможностью выделить детали, несмотря на очевидную неясность отдельных составляющих отчета по самооценке.
• Умение подтвердить достаточность и приемлемость описания деятельности вуза и результатов этой деятельности в отчете по самооценке для подкрепления выводов экспертизы и заключений.
• Умение оценить факторы, влияющие на достоверность выводов и заключений по результатам экспертизы отчета по самооценке.
• Умение выделить сильные и слабые стороны в деятельности вуза, и сформулировать области для улучшения.
• Умение показать связь между возможностями и результатами деятельности вуза.
• Умение обосновать выставляемые оценки по результатам экспертизы отчета по самооценке.
• Умение подготовить обратный отчет.
Управленческие - знания и умения в области управления вузом на основе качества:
• Знание терминологии в системе менеджмента качества вуза.
• Знание процессов управления вуза.
• Знание принципов всеобщего менеджмента качества и их применение.
• Знание методов менеджмента качества и их применение.
• Знание критериальной модели независимой оценки образовательной деятельности вуза.
• Знание стандартов по системе менеджмента качества и других документов по системам менеджмента.
• Умение применить систему менеджмента качества к деятельности вуза.
Предметные - понимание принципов работы вуза, знание законов и стандартов, относящихся к предмету экспертизы:
• Знание терминологии в области высшего образования.
• Знание типовой структуры, функций и взаимосвязи подразделений внутри вуза.
• Знание основных и обеспечивающих процессов и продукции вуза, включая их характеристики.
• Знания финансовой стороны деятельности вуза.
• Знание социальных процессов вуза.
• Знание законов и стандартов РФ в области высшего образования.
• Знание международных соглашений, стандартов и рекомендаций в области высшего образования.
Специальные компетенции
Социально-личностные - когнитивные, коммуникативные, эмоциональные и волевые особенности психологии личности:
• Дипломатичность - эксперт должен уметь тактично взаимодействовать с людьми.
• Коллективизм - этика поведения эксперта в коллективе экспертов.
• Наблюдательность - эксперт должен активно знакомиться с окружением и деятельностью вуза.
• Разносторонность - эксперт должен быть готовым к различным ситуациям при обследовании на
месте.
• Проницательность - эксперт должен интуитивно оценивать ситуации, возникающие при обследовании на месте.
• Упорство - эксперт должен быть настойчивым, ориентированным на достижение целей обследования.
• Коммуникабельность - эксперт должен результативно взаимодействовать с сотрудниками проверяемых структурных подразделений.
Инструментальные - знание и умение применять принципы, процедуры и методы обследования вуза на месте:
• Умение результативно планировать и организовывать работу по обследованию вуза.
• Умение провести обследование вуза в течение установленного срока.
• Умение проверить достоверность данных представленных в отчете по самооценке, посредством обследования вуза на месте.
• Умение установить приоритеты и выделить существенные моменты при обследовании вуза на месте.
• Умение собирать данные посредством результативного опроса, интервьюирования, наблюдений и анализа документов, записей и данных.
• Умение подтвердить достаточность и приемлемость свидетельств обследования вуза на месте для подкрепления выводов экспертизы и заключений.
• Умение оценить факторы, влияющие на достоверность выводов и заключений по результатам обследования вуза на месте.
• Умение использовать рабочие документы деятельности вуза и результатов этой деятельности при обследовании.
• Умение обосновать изменение в оценке деятельности вуза по результатам обследования на месте.
• Умение подготовить отчет по результатам обследования на месте.
Компетентность является сложной характеристикой эксперта, поэтому для определения уровня отдельных компетенций должна использоваться не только количественная (например, опыт работы, квалификация, количество проведенных экспертиз, количество часов обучения), но и качественная информация (отзывы других экспертов, положительная и отрицательная обратная связь со стороны руководства вузов и Рособрнадзора, самооценка эксперта). Для получения такой информации обычно используются [4,6,7,8,9,10]: документационный метод, самооценка, взаимооценка, положительная и отрицательная обратная связь. Каждый из этих методов обладает своими достоинствами и недостатками. В данной работе авторами предлагается использовать сочетание этих методов для нивелирования их слабых сторон.
Сущность предлагаемого метода самооценки (взаимооценки) состоит в том, что эксперту предлагается оценить уровень составляющих собственных компетенций и/или компетенций других экспертов. Оценка компетенций осуществляется в шкале интервалов. Уровень отдельной компетенции эксперта по результатам самооценки (взаимооценки) определяется как значение некоторой свертки. Нами предлагается для определения уровня отдельной компетенции эксперта использовать свертку (комбинацию) принципов оптимальности: «идеальная точка», «антиидеальная точка», «относительная уступка» с учетом важности составляющих компетенции. Такая свертка более чувствительна к оценкам составляющих компетенций эксперта, чем линейная свертка. Для определения обобщенной оценки составляющих компетенции эксперта в случае взаимооценки используется коэффициент осведомленности, имеющий субъективную и объективную составляющие, и коэффициент согласованности индивидуальных оценок эксперта с групповой оценкой.
Определение уровня составляющих компетенций эксперта с использованием документа-ционного метода основано только на документально подтвержденных данных. Авторами сформировано множество критериев, допускающих документальное подтверждение, им присвоены соответствующие веса, на основе показателей критериев рассчитывается результирующая оценка уровня составляющих компетенции.
Обратная связь - это оценка независимых экспертов со стороны инициаторов экспертизы руководства вузов и Рособрнадзора на предмет результативности проведенной экспертизы. Причиной низкой результативности могут быть расхождения в результатах добровольной независимой экспертизы, проводимой по инициативе вуза, и обязательной экспертизы, проводимой по инициативе Рособрнадзора.
По результатам самооценки, взаимооценки, документационного метода и обратной связи вычисляется взвешенная свертка - интегрированная оценка компетенции.
Предполагается создание общероссийского института (реестра) независимых экспертов. Задача формирования реестра независимых экспертов должна быть возложена на Рособрнад-зор, который может дать поручение конкретной институции по проведению этой работы. Процедура выделения независимых экспертов из реестра в группу для проведения добровольной (обязательной) экспертизы включает три этапа: определение необходимого числа экспертов, формирование группы экспертов на основе их компетентности, получение согласия экспертов на участие в экспертизе.
При определении числа экспертов для добровольной экспертизы нужно учитывать:
желаемую достоверность (объективность) экспертизы;
финансовые ресурсы, выделенные на проведение независимой экспертизы.
При определении числа экспертов для обязательной экспертизы нужно учитывать:
желаемую достоверность (объективность) экспертизы;
размеры вуза,
план-график комплексной оценки вузов, финансовые ресурсы.
Содержательно задача определения компетентности экспертов и формирования экспертной группы имеет следующий вид. Имеется множество независимых экспертов, каждый из которых описывается набором интегрированных оценок компетенций эксперта (критериев). Требуется из множества независимых экспертов выделить группу экспертов, обладающих максимальной компетентностью, так, чтобы компетентность в группе не сильно отличалась и стоимость участия в экспертизе каждого эксперта не превышала бюджета экспертизы.
Для этого предлагается построить целевую функцию как параметрическую свертку среднего значения и среднего квадратического отклонения коэффициентов компетентности экспертов. Число экспертов и бюджет образуют ограничения. Сформулированная задача является задачей нелинейного программирования с булевыми переменными, для решения которой используются генетические алгоритмы [11,12].
Для определения коэффициента компетентности эксперта предлагается использовать комбинацию принципов оптимальности, а именно принцип «главного критерия» и принцип «идеальной точки». Согласно принципу «главного критерия» все компетенции (критерии) разбиваются на две группы. На основе первой группы компетенций эксперта конструируется функция определения коэффициента компетентности эксперта, а на основе второй группы компетенций конструируется ограничение. Для формирования функции и ограничения используется принцип «идеальной точки». Применительно к вузу для конструирования функции определения компетентности эксперта используются общие компетенции, а специальные - переводятся в ограничение. Применительно к Рособрнадзору для конструирования функции определения компетентности эксперта используются специальные компетенции, а для ограничения - общие.
Важно отметить, что предлагаемая методика определения компетентности экспертов и формирования экспертных групп может использоваться не только для внешней оценки деятельности вуза, но и для внутренней оценки с привлечением собственных экспертов.
3. Обработка индивидуальных оценок и получение групповых оценок экспертов
В предлагаемой технологии независимой системы оценивания вузов процедура проведения экспертизы отчета по самооценки или осуществления экспертизы на месте аналогична процедуре Конкурса, за исключением оформления полученных результатов экспертизы. В процедуре Конкурса, независимо от количества экспертов, вузу по критерию модели выставляется одна общая оценка на консенсусном совещании, на основе индивидуальных оценок экспертов, участвующих в экспертизе. Декларируется [2], что общая оценка выставляется при полном согласии с каждой оценкой всех без исключения экспертов комиссии. Такой подход не свободен от недостатков, поскольку процесс определения общей оценки не формализован:
- при определении общей оценки по критерию на основе индивидуальных оценок экспертов не учитываться компетентность эксперта (в описанном выше смысле);
- теряется информация об индивидуальных оценках экспертов;
- эксперты подвержены влиянию авторитета.
Целью экспертизы является получение от экспертов возможно большей информации, в процедуре Конкурса информация об индивидуальных оценках экспертов не регистрируется и, как следствие, не анализируется со стороны руководства вуза, конкурсной комиссии. Ведущий эксперт имеет больший авторитет, что может привести к потере независимости мнения остальных экспертов. В общем случае мнения экспертов могут не совпадать с мнением ведущего экс-
перта, а поскольку информация об объекте экспертизы у всех экспертов одинаковая - отчет по самооценке, каждый эксперт выставляет оценку в соответствии со своей компетентностью. Информация о результативности предыдущих оценок эксперта заложена в коэффициенте его компетентности.
Учитывая описанные выше недостатки, получение и обработка оценок экспертов в предлагаемой модели основывается на следующих положениях:
- эксперты выставляют оценки независимо;
- при отсутствии согласованности экспертов разбивать их на группы сходных по мнению;
- получение обобщенных оценок осуществлять в выделенных подгруппах с учетом компетентности экспертов.
В связи с этим возникают две важные задачи обработки экспертных оценок:
• выделение подгрупп экспертов с согласованными мнениями;
• определение групповой обобщенной оценки вуза на основе индивидуальных оценок экспертов в выделенных подгруппах с учетом компетентности экспертов.
Для обработки экспертных оценок предлагается использовать алгоритмы, описанные авторами в [13]. В данной работе для выделения подгрупп экспертов с согласованными мнениями предлагается использовать совместно значения коэффициентов конкордации для подгрупп экспертов и стремиться к их суммарной максимизации при условии, что согласованность в подгруппах не сильно отличалась.
Для этого предлагается построить целевую функцию для отдельного критерия как свертку среднего значения и среднего квадратического отклонения коэффициентов конкордации. Тогда для оценки по множеству критериев предлагается построить целевую функцию как свертку среднего значения и среднего квадратического отклонения значений целевой функции, сконструированной для отдельного критерия. Такой подход позволяет выделять подгруппы экспертов с согласованными мнениями по всем критериям с учетом их важности.
Для определения групповой обобщенной оценки используется итеративная процедура. На каждой итерации вычисляется групповая обобщенная оценка вуза как сумма индивидуальных оценок экспертов, взвешенная коэффициентами согласованности их индивидуальных оценок с групповой оценкой, вычисленной на предыдущей итерации.
На первой итерации коэффициенты согласованности одинаковые для всех экспертов. После вычисления групповой обобщенной оценки вуза осуществляется корректировка коэффициентов согласованности при помощи поправочных коэффициентов. В качестве поправочных коэффициентов используются величины, обратно пропорциональные значению целевой функции, сконструированной на основе принципа оптимальности или комбинации принципов оптимальности. После того как от итерации к итерации значения коэффициентов согласованности перестают меняться, вычисляется окончательная групповая обобщенная оценка вуза как сумма индивидуальных оценок экспертов, взвешенная коэффициентами компетентности экспертов и коэффициентами согласованности индивидуальных оценок экспертов с групповой оценкой.
4. Получение информации о предпочтениях ЛПР и построение принципа оптимальности
Критериальная модель, положенная в основу самооценки, едина для всех вузов т.к. она представляет собой формализованное описание процессов вуза и их результатов на определенном уровне абстракции. Принцип оптимальности, позволяющий свернуть оценки по отдельным критериям для каждого вуза и системы надзора в образовании и науки, в общем случае будет свой, поскольку он отражает точку зрения различных людей с конкретными интересами или задачами. В существующих моделях вычисления общей оценки вуза в рамках аккредитации вузов, определения их рейтинга задача построения принципа оптимальности подменяется выбором наиболее популярной линейной свертки («среднее по больнице»), которая дает неадекватные оценки вузов, имеющих крайние показатели по критериям. Таким образом, большую важность при построении независимой системы оценивания вузов приобретает вопрос получения информации о предпочтениях ЛПР (в качестве ЛПР может выступать группа людей, образуя коллективное ЛПР) и построения обоснованного принципа оптимальности.
Построение принципа оптимальности предлагается осуществлять при помощи подхода, описанного в [7]. Подход основан на последовательном применении известных принципов оптимальности или их комбинации для получения решения, удовлетворяющего требованиям ЛПР.
Сравнение принципов оптимальности и соответствующих общих оценок со стороны вузов и системы надзора в образовании и науке представляет известный интерес. Предполагается, что
построенные принципы оптимальности, будут близки к принципу «идеальной точки». Согласно принципу «идеальной точки» лучшим считается вуз, расположенный в пространстве значений критериев ближе всего (в смысле некоторой нормы) к «идеальной точке». «Идеальная точка» взятая формально, как вектор максимальных значений каждого из критериев в отдельности соответствует идеальной модели вуза Конкурса (1000 баллов). Принцип идеальной точки в большей степени соответствует идеологии модели совершенствования, положенной в основу предлагаемой независимой системы оценивания деятельности вузов, чем линейная свертка (принцип «абсолютной уступки»), используемая в Конкурсе.
Роль руководства в организации
работ по обеспечению качества подготовки выпускников
г, = 1
Использование
потенциала преподавателей, сотрудников и обучающихся
у, =1.2
Политика и стратегия в области качества подготовки выпускников
Гг = 1
Рациональное использование
ресурсов (материальных, финансовых и людских)
/4=1
Управление процессами обеспечения качества подготовки выпускников
=1-3
Удовлетворенность преподавателей, сотрудников и обучающихся работой и учебой
Уп = 0.9
Удовлетворенность работодателей качеством подготовки выпускников
У« = 1.2
Влияние образовательного учреждения на общество
У,= 1.2
Результаты, которых добилось образовательное учреждение в отношении запланированных целей повышения качества подготовки выпускников
Ув = I-2
ВОЗМОЖНОСТИ
у = 5.5
/ воз.
РЕЗУЛЬТАТЫ
Урез. = 4.5
Рис. 2. Модель и важность критериев конкурса «Системы качества подготовки выпускников образовательных учреждений профессионального образования» 2008 г.
5. Определение функции важности критериев
В модели Конкурса важность критериев задается непосредственно конкурсной комиссией и не зависит от оценок по критериям. Это является существенным недостатком модели Конкурса. Поскольку такое допущение можно сделать только в том случае, если пренебречь взаимной зависимостью значений критериев на всем диапазоне. А это противоречит идеологии модели совершенствования, положенной в основу Европейской и Российской премий в области качества, Конкурса и соответственно предлагаемой авторами независимой системы оценивания деятельности вузов.
Практическое подтверждение наличия связи между критериями Конкурса получено в [14]. Например, область значений двух критериев модели Конкурса (рис. 2) - «возможности» и «результаты», в которой важность критериев условно постоянная может быть такой, как представлено на рис. 3, где Y - важность соответствующего критерия.
Очевидно, что для вуза, имеющего высокие оценки по первому критерию («возможности») и низкие по второму («результаты»), важность второго критерия будет больше, чем
важность первого, и наоборот.
Учитывая описанный выше недостаток, определение важности в предлагаемой модели основывается на следующих положениях:
1. Различные критерии могут иметь разную важность, с точки зрения Рособрнадзора и руководителей вузов.
2. Важность любого критерия модели в общем случае зависит от величин всех критериев и изменяется при их изменении.
3. Важность критериев нестатическая, она изменяется во времени с развитием системы образования, изменением социально-экономических условий.
Таким образом, при определении функции важности критериев предлагается использовать алгоритм, описанный в [7]. Он основан на итеративной процедуре выделения областей изменения значений критериев, в которых важность критериев, с точки зрения ЛПР, постоянная.
Алгоритм состоит в следующем: от итерации к итерации область изменения значений критериев разбивается на подобласти, для текущей подобласти последовательно для всех критериев рассматриваются их приращения, берется единичное приращение одного критерия, и находится такое приращение другого критерия, которое равно единичному изменению качества по текущему критерию. Используя полученные величины и принцип оптимальности (см. п. 4 «Получение информации о предпочтениях ЛПР и построение принципа оптимальности»), определяется вектор приоритета для подобласти. Вычисления прекращаются, когда последующее деление области на подобласти не приводит к изменению вектора приоритета. Используя вектор приоритета, вычисляется вектор важности критериев для подобласти.
В результате задача определения важности критериев для конкретного вуза сводиться к задаче классификации, в зависимости от оценок вуза по критериям (рис. 3). Важно отметить, что предлагаемый подход определения важности критериев является двусторонним и прозрачным, каждый вуз для себя определяет важность критериев для добровольной экспертизы, в свою очередь, система надзора в образовании и науке может использовать эту информацию для корректировки важности критериев для обязательной экспертизы, и наоборот.
6. Разработка и внедрение единой информационной системы
Для перехода с традиционной системы оценивания вуза к предлагаемой необходимо единое информационное обеспечение, состоящее из методической части и единой информационной системы. Внедрение единой информационной системы позволит объединить усилия вузов, независимых экспертов и Рособрнадзора в единый процесс оценки путем использования разделяемой базы данных, содержащей: необходимую информацию об экспертах, важность критериев, оценки экспертов, принципы оптимальности, отчеты вузов за пять лет (с динамикой по годам) с выявленными сильными сторонами в деятельности вузов и областями для улучшения и т.д.
В качестве архитектуры информационной системы предлагается использовать трехзвен-ную схему «клиент-сервер» с «тонким клиентом». Составные части единой информационной системы, такие как система базы данных (единая база данных вместе с системой управления базами данных), прикладное программное обеспечение и технические средства находятся на «стороне» системы Рособрнадзора. Конечному пользователю для работы достаточно иметь подключенный к Интернету компьютер с любым веб-браузером, никакого дополнительного программного обеспечения не требуется.
Такая организация информационной системы имеет следующие преимущества:
- система доступна всегда с любого компьютера, подключенного к Интернету;
- снимается вопрос о распространении новых версий, т. к. любые изменения и добавления в приложении и базе данных мгновенно становятся доступны всем пользователям;
- имеется единая база данных и, как следствие, полная и доступная в любой момент информация в
ней;
- организовано обеспечение информационной безопасности со стороны Рособрнадзора.
На данном этапе нами разработано программное обеспечение для сбора, хранения, обработки и визуализации информации, необходимой для определения компетентности экспертов и формирования экспертных групп [15]. Структура программного обеспечения реализована как веб-приложение, т.е. функционирует при наличии и как составная часть веб-сервера (IIS). Кроме этого, в ее работе используется SQL-сервер базы данных (MS SQL Server 2005). Для создания динамических веб-страниц использовалась технология ASP.NET, язык программирования C#. В качестве технологии доступа к данным использовалась ADO.NET. Программное обеспечение разработано в интегрированной среде Microsoft Visual Studio 2005.
Заключение
С развитием системы образования, изменением социально-экономических условий должно совершенствоваться и модифицироваться содержание предлагаемой критериальной модели самооценки. Предлагаемый подход определения компетентности и отбора экспертов позволит принимать обоснованные решения по включению того или иного эксперта в экспертную группу, учитывая компетентность эксперта и предпочтения лица, принимающего решения (руководства вузов и Рособрнадзора). Более адекватными будут решения, принимаемые на основе анализа результатов независимой экспертизы, которая может проводиться, используя единую информационную систему, в любой момент времени. Методика обновления данных о деятельности вузов позволит проводить мониторинговые исследования состояния системы образования и судить о приоритетных направлениях ее развития. Важно отметить, что показатели, используемые для принятия решений, будут выступать в качестве вектора целенаправленного движения всей системы образования и определять ее развитие.
Литература
1. Соловьев В.П., Кочетов А.И., Проничкин С.В. Разработка независимой системы оценивания образовательной деятельности вуза с целью обеспечения качества подготовки специалистов // Изв. вузов. -2009. - № 3. - С. 62-64.
2. Руководство для участников конкурса 2008 года «Системы качества подготовки выпускников образовательных учреждений профессионального образования» / В.П. Соловьев и др. - М: Исслед. центр проблем качества подготовки специалистов, 2008. - 33 с.
3. Положение об экспертах по оценке организаций-участников конкурса на соискание премий Правительства Российской Федерации в области качества http://www.vniis.ru/5544/Awards/Expert_Provision/ (дата обращения: 2.04.2009).
4. Шибанов Г.П. Порядок формирования экспертных групп и проведения коллективной экспертизы // Информационные технологии. - 2003. - № 12. - С. 19-22.
5. К.Н. Spencer Pickett. The essential handbook of internal auditing. - Chichester: John Wiley & Sons,
2005. - 298 p.
6. ГОСТ Р ИСО 19011-2003 «Руководящие указания по аудиту систем менеджмента качества и/или систем экологического менеджмента» - М.: Изд-во стандартов, 2004. - 25 с.
7. Рыков А.С. Модели и методы системного анализа: принятие решений и оптимизация: Уч. пособие для вузов. - М.: «МИСИС», Изд. дом «Руда и металлы», 2005. - 352 с.
8. Литвак Б.Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1982. -184 с.
9. Тоценко В.Г. Методы и системы поддержки принятия решений. - Киев: Наукова думка, 2002. -381 с.
10. Об определении компетентности экспертов методом взаимооценки // Автоматика и телемеханика / А.П. Адамов и др. - 1989. - № 3. - С. 185-189.
11. Генетические алгоритмы / Под ред. В.М. Курейчика. - 2-е изд., испр. и доп. - М. ФИЗМАТЛИТ,
2006. - 320 с.
12. Koza J.R. Genetic Programming. - Cambridge: Mit Press, 1992. - 840 p.
13. Крапухина Н.В., Проничкин С.В. Алгоритмы обработки экспертных оценок многопризнаковых объектов. Сб. матер. IX междунар. научн.-технич. конф. «Кибернетика и высокие технологии XXI века», 13-15 мая 2008 года, ГУ ВПО «Воронежский государственный университет «ВГУ». - Воронеж.: ВГУ, 2008. - С. 230-236.
14. Блинкова О. В. Разработка модели и критериев самооценки вузов для совершенствования их деятельности: Автореферат дис. ... канд. тех. наук / Моск. ин-т стали и сплавов. - М., 2006. - 25 с.
15. Проничкин С.В. Компьютерная система определения компетентности экспертов и формирования экспертных групп для независимой оценки образовательной деятельности вузов // Тр. VI Всеросс. конф. студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования», 1-2 апреля 2009 года, ГТУ ВПО «Московский авиационный институт «МАИ». - М: Вузовская книга, 2009, С. 128-129.
