CC BY
10
УДК 378
Е. В. Компанченко, Ю. Д. Мишин, Л. Л. Никитина О ПОИСКЕ ОБЪЕКТИВНЫХ СРЕДСТВ ОЦЕНКИ РЕЗУЛЬТАТОВ РАБОТЫ ВУЗОВ В РАМКАХ ФГОС ВПО ПО ПОДГОТОВКЕ КОНКУРЕНТОСПОСОБНЫХ И ВОСТРЕБОВАННЫХ СПЕЦИАЛИСТОВ ВЫСШЕЙ КВАЛИФИКАЦИИ
Ключевые слова: оценка результатов работы высших учебных заведений, экспертная оценка, компетенции выпускников.
В статье авторы рассматривают метод рандомизации для оценки компетентности, привлекаемых Ростех-надзором и Минобрнауки РФ экспертов для аккредитации вузов, что позволит им формировать более компетентные и авторитетные комиссии. Следовательно, вузы будут объективно оцениваться аккредитационны-ми комиссиями, а результаты аттестации окажут им помощь в достижении более качественных аккреди-тационных показателей и гарантировать себе высокую оценку работодателя.
Keywords: performance evaluation of higher éducation institutions, expert évaluation, competence of graduates.
In this article the authors examine the method of competence evaluating, experts attracted by RTN and Russian Ministry of Education for the universities accreditation, that allow them to form a more competent and authoritative commission. Consequently, universities will be evaluated objectively by Accreditation Commission, and the assessment results will help them achieve better accreditation marks and ensure high employer appreciation.
Повышение эффективности и качества подготовки будущих специалистов требует дифференциации и индивидуализации учебной деятельности; четкой организации самостоятельной работы, основанной на проектировании ее целей, содержания обучения студентов научной организации учебного труда, методикам работы с информационными системами выбора форм и видов самостоятельной работы, наиболее соответствующих индивидуальным особенностям студентов.
Инновационной экономике нужны не «трудолюбивые пчелки», а оригинально мыслящие специалисты, подготовленные в рамках ФГОС ВПО. Это все в полной мере относится и к России и к её регионам. Задача их подготовки и должна быть решена в ходе дальнейшего совершенствования системы образования в стране.
Главное сегодня состоит в том, чтобы научить человека мыслить самостоятельно. Книги, Интернет, да зачастую и преподаватели питают студента, аспиранта огромным объемом информации, но они никак не влияют на формирование научного мышления, способности современно, нешаблонно, творчески мыслить, ответственно решать возникающие задачи. Можно заставить человека заучить наизусть стихи, поэмы, формулы и параграфы, даже целые учебники, что и делается у нас в настоящее время во множестве учебных заведений, но в результате получается не интеллектуальное развитие молодежи посредством мыслительной деятельности, а многознание. Но надо помнить, что многознание уму не учит.
Поэтому при переходе к инновационной экономике в России и в её регионам требуется новая парадигма образования: учения вместо обучения. В парадигме обучения учебные заведения ставят своей целью передачу знаний от преподавателей к студентам. Цель парадигмы учения - не усвоение готовых знаний, а развитие способностей, дающих возможность самостоятельно добывать знания, творчески
их перерабатывать, создавать новое и внедрять его в практику.
Обязательное условие - полная компьютеризация образовательного процесса и соединение его с Всемирной сетью, что даст возможность всем студентам страны пользоваться библиотеками, достижениями мировой науки, участвовать в видеоконференциях, общаться по интересам со своими сверстниками из других государств и т.д. Большие перспективы для развития открывает дистанционное обучение, позволяющее через онлайновое общение с профессорско-преподавательским составом постоянно пополнять свои знания.
Здесь правомочно было бы отдать предпочтение в большей степени профессиональной компетенции, понимая, что студент уже за два года учебы адаптировался и к формам самого учебного процесса, так и к его наполнению, как по содержанию, так и по значимости в рамках реализации этих самых компетенций.
Выпускник должен обладать следующими профессиональными компетенциями:
• критически переосмысливать накопленный опыт, изменять при необходимости профиль своей профессиональной деятельности;
• применять в профессиональной деятельности основные законы естественнонаучных дисциплин и элементы экономического анализа;
• разрабатывать и использовать ресурсосберегающие и экологически чистые технологии в производстве изделий легкой промышленности, основные методы защиты и профилактики производственного персонала и населения от возможных последствий аварий, катастроф, стихийных бедствий.
• проводить анализ состояния и динамики показателей качества материалов и изделий легкой промышленности с использованием необходимых методов и средств исследований;
• изучать научно-техническую информацию, отечественный и зарубежный опыт, участвовать в исследованиях по совершенствованию технологиче-
ских процессов и оборудования, применять полученные результаты на практике;
• подготавливать презентации, научно -технические отчеты и доклады по результатам выполненных исследований;
• вести профессиональную деятельность с применением классических и инновационных технологий в проектировании и изготовлении швейных, трикотажных изделий, обуви, аксессуаров, кожи, меха, кожгалантереи;
• обосновывать принятие конкретного технического решения при разработке технологических процессов и изделий легкой промышленности;
• эффективно и научно-обоснованно использовать основные и вспомогательные материалы, оборудование, соответствующие алгоритмы и программы расчетов параметров технологического процесса;
• осуществлять проектирование производственного процесса изготовления изделий легкой промышленности с учетом конкретных производственных ограничений;
• оценивать производственные и непроизводственные затраты на обеспечение качества продукции и находить компромисс между различными требованиями (стоимости, качества, безопасности и сроков исполнения) при долгосрочном и краткосрочном планировании и принимать оптимальные решения;
• систематизировать и обобщать информацию по формированию и использованию ресурсов предприятия;
• принимать управленческие и хозяйственные решения на основе конструктивного диалога, с учетом различных подходов и мнений в малых и больших коллективах исполнителей на принципах маркетинга;
• подготавливать исходные данные для составления планов, смет, заявок на материалы и оборудование и оформлять производственную документацию;
• разрабатывать конструкторскую и технологическую документацию для производства изделий легкой промышленности с учетом конструктивно технологических, эстетических, экономических, экологических и иных параметров;
• применять информационные технологии при проектировании процессов изготовления изделий легкой промышленности;
• проектировать конструкции изделий легкой промышленности и технологические процессы с использованием систем автоматизированного проектирования [1].
Парадигма обеспечения реализации компетенции предполагает методическое обеспечение, для чего необходимы:
1) разработка системы стандартов оценочной процедуры (периодичность проведения оценки уровня сформированности компетенций, соответствие оценочных средств каждому уровню развития компетенций и т.д.);
2) порядок разработки и экспертизы оценочных средств и целесообразность выделения ядра компетенций для внешней оценки представителями работодателей.
Есть уверенность, что реализация компетенций, сформулированных в ФГОС ВПО, обеспечит высокое качество подготовки специалистов. Но последнее слово принадлежит аккредитационным комиссиям, которые и выносят вердикт - продлить вузу право продолжить образовательных услуг, и тем самым подтвердить высокое качество подготовки специалистов и их востребованность работодателями, или же отказать вузу в таком праве. Понимая значимость и ответственность такого решения для вуза, авторы предлагают Ростехнадзору и Миноб-рауки РФ перед формированием аккредитационных комиссий повести для привлекаемых специалистов-экспертов оценку из компетентности с помощью ранговой корреляции.
Порядок экспертной оценки включает в себя определение:
1) уровня профессиональной компетенции экспертов;
2) оценки аргументированности мнений экспертов;
3) степень знакомства каждого эксперта с исследуемой проблемой;
4) наиболее эффективных маркетинговых коммуникаций при оценке аккредитационной комиссией деятельности вуза;
5) характеристика рекламных коммуникаций, используемых вузом для достижения высоких результатов своей деятельности;
6) ранжирование рекламных коммуникаций с использованием результатов расчетов коэффициента конкордации (") и критерия Пирсона х2 с учетом «связанных» рангов.
В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта. Существуют различные подходы к оценке данного показателя. В соответствии с одной из методик оценка компетентности экспертов основывается на расчете коэффициента компетентности К], который вычисляется на основе суждения эксперта о степени информированности по решаемой проблеме и указания источников аргументации собственного мнения. Коэффициент компетентности рассчитывается по формуле [2]:
К]=\/2*(Ки]+Ка]), (1)
где Кщ - коэффициент информированности по проблеме; Ка] - коэффициент аргументации.
Коэффициент информированности эксперта рассчитывается на основе самооценки эксперта. Эксперту предлагается анкета, в которой проставляются оценки по следующим показателям:
1) осведомленность о состоянии положения дел высшей школы;
2) осведомленность о состоянии дел в отечественных ВУЗах;
3) компетентность в сфере маркетинговых коммуникаций;
4) компетентность в вопросах использования рекламных коммуникаций при формировании контрольных цифр приёма абитуриентов.
В табл. 1 эксперт проставляет балл самооценки (от 1 до 10), причем максимальному баллу (10) соответствует знакомство на уровне авторства (соавторства) в разработке конкретных подходов к решению предложенной ему проблемы, минимальному баллу (1) - полное отсутствие знакомства с рассматриваемой проблемой. Хотя такой случай и мало вероятно, но он имеет место быть.
Таблица 1 - Уровень профессиональной компетенции экспертов
Эксперт Самооценка эксперта (баллы)
1 2 3 4
1 7 7 5 5
2 7 7 6 6
3 5 10 3 2
4 5 6 4 5
5 7 7 4 5
6 8 4 6 6
7 4 6 2 1
8 7 7 5 5
9 6 7 1 2
10 10 10 7 9
После завершения экспертами самооценки производится корректировка балльной оценки, т.е. полученная величина умножается на коэффициент, равный 0,1. Таким образом, производится перевод баллов в диапазон значений от 0 до 1, который наиболее распространенный для расчета коэффициента компетентности - Щ. [2].
Определение коэффициента аргументации производится путем суммирования баллов по следующим критериям оценки аргументированности мнений экспертов:
1) теоретический анализ оценки экспертом состояния высшей школы (на основе опубликованных работ) -0,3 - высокий, 0,2 - средний, 0,1- низкий;
2) педагогический опыт эксперта (0,5 - высокий, 0,4 - средний, 0,2 - низкий);
3) результаты оценки обобщенных работ отечественных экспертов по высшей школе (0,05);
4) результаты оценки обобщенных работ зарубежных экспертов по высшей школе (0,05);
5) результаты личной оценки экспертом о состоянии дел в высшей школе (0,05);
6) интуиция эксперта (0,05).
Ниже приведен пример расчета коэффициента аргументации по сгруппированным мнениям всех экспертов:
1 0,3+0,2+0,05 +0,05+ 0,05 +0,05= 0,7;
2 0,2 + 0,2 +0,05+ 0,05+0,05+0,05= 0,6;
3 0,2 + 0,4 + 0,05 +0,05+0,05+0,05= 0,8;
4 0,2 +0,2 +0,05+0,05+0,05+0,05= 0,6;
5 0,3 + 0,2 +0,05+0,05+0,05+0,05= 0,7;
6 0,3+0,2+0,05+0,05+0,05+0,05 = 0,7;
7 0,2 +0,2+0,05+0,05+0,05+0,05= 0,6;
8 0,2+0,2+0,05+0,05+0,05+0,05= 0,6;
9 0,2+0,4+0,05+0,05+0,05+0,05= 0,8;
10 0,3+0,4+0,05+0,05+0,05+0,05= 0,9.
Определение степени знакомства каждого эксперта с исследуемой проблемой (компетентность) осуществляется по следующим вопросам:
1) состояние современной зарубежной высшей школы;
2) состояние дел в отечественной высшей школе;
3) состояние дел в сфере маркетинговых коммуникаций;
4) состояние дел в вопросах использования рекламных коммуникаций для формирования набора абитуриентов.
Примеры расчета степени знакомства каждого эксперта с исследуемой проблемой:
1. (0,7 + 0,7) / 2 = 0,7 (0,7 + 0,7) / 2 = 0,7 (0,7 + 0,5) / 2 = 0,6 (0,7 + 0,5) / 2 = 0,6
2. (0,6 + 0,7) / 2 = 0,65 (0,6 + 0,7) / 2 = 0,65 (0,6 + 0,6) / 2 = 0,6 (0,6 + 0,6) / 2 = 0,6
3. (0,8 + 0,5) / 2 = 0,65 (0,8 + 1) / 2 = 0,9 (0,8+0,3)/2 = 0,55 (0,8 + 0,2) / 2= 0,5
4. (0,6 + 0,5) / 2 = 0,55 (0,6 + 0,6) / 2 = 0,6 (0,6 + 0,4) / 2 = 0,5 (0,6 + 0,5) / 2 = 0,55
5. (0,7 + 0,7) / 2 = 0,7 (0,7 + 0,7) / 2 = 0,7 (0,7 + 0,4) / 2 = 0,55 (0,7 + 0,5) / 2 = 0,6
6. (0,7 + 0,8) / 2 = 0,75 (0,7 + 0,4) / 2 = 0,55 (0,7 + 0,6) / 2 = 0,65 (0,7 + 0,6) / 2 = 0,65
7. (0,6 + 0,4) / 2 = 0,5 (0,6 + 0,6) / 2 = 0,6 (0,6 + 0,2) / 2 = 0,4 (0,6 + 0,1) / 2 = 0,35
8. (0,6 + 0,7) / 2 = 0,65 (0,6 + 0,7) / 2 = 0,65 (0,6 + 0,5) / 2 = 0,55 (0,6 + 0,5) / 2 = 0,85
9. (0,8 +0,6) / 2 = 0,7 (0,8 +0,7) / 2 = 0,75 (0,8 +0,4) / 2 = 0,6 (0,8 +0,2) / 2 = 0,5
10. (0,9 + 1) / 2 = 0,95 (0,9 + 1) / 2 = 0,95 (0,9 + 0,7) / 2 = 0,8 (0,9 + 0,9) / 2 = 0,9.
Таким образом, наиболее компетентен в вопросе состояния современной зарубежной высшей школы является эксперт 10, т.к. степень знакомства у него самая высокая (0,95), также компетентные эксперты 6 (0,75) и 1, 5, 9 (0,7). В вопросе состояния дел в отечественной высшей школе наиболее компетентный эксперт 3 (0,95) и 10 (0,9), так же компетентные эксперты 1, 9 (0,75) и 2, 5 (0,7). Наиболее компетентен в вопросе состояния дел в сфере маркетинговых коммуникаций - эксперт 10 (0,8); эксперт 6 имеет коэффициент, равный 0,65; эксперты 1, 2, 9 - 0,6. В вопросе состояния дел в вопросах использования рекламных коммуникаций для формирования набора абитуриентов наиболее компетентен эксперт 10 (0,9); компетентны эксперты 8 (0,85), 6 (0,65), 1, 2, 5 - 0,6.
Общий вывод: наиболее компетентны по всем вопросам эксперты 1, 2, 5, 6, 8, 9, 10.
На следующем этапе осуществляется определение наиболее предпочтительных маркетинговых коммуникаций для оценки результатов деятельности высшего учебного заведения при его аккредитации с помощью оценок экспертов. Сведенные анкетные
данные позволяют определить наиболее эффективные маркетинговые коммуникации для оценки результатов деятельности вуза при проведении его аккредитации экспертами. Результаты следующие:
1 место - эффективность использования рекламы (оценка экспертов - 21);
2 место - связи вуза с зарубежными и отечественными научными школами (24);
3 место - факторы, стимулирующие результаты деятельности вуза (25);
4 место - личная оценка эксперта (34).
Как видно, эксперты отдали предпочтение рекламе в качестве главного средства маркетинговых коммуникаций для оценки результатов деятельности вуза, на втором месте экспертами предпочтение было отдано связи вуза с зарубежными и отечественными научными школами, третье место - факторы, стимулирующие результаты деятельности вуза и четвёртое место - личная оценка эксперта.
Проверка данных осуществляется путем исключения экспертов с наименьшей компетентностью по итогам всех исследований. Из приведенных примеров наиболее компетентны эксперты под номерами 1,2,5,6,8,9,10. Проверка данных показала, что в этом случае эксперты отдают предпочтение уже факторам, стимулирующим результаты деятельности вуза, и эффективности использования рекламы при аккредитации вуза.
Таблица 2 - Преобразованная матрица рангов и р>
Следующим этапом является определение наиболее предпочтительных рекламных коммуникаций для оценки результатов деятельности вуза при его аккредитации с помощью оценок экспертов. В качестве рекламных коммуникаций предлагается использовать: радио, телевидение, печать, «Директ мэил», Public relations, телемаркетинг, стимулирование профориентационной работы среди школьников, специальная реклама, рекламные сооружения, а так же другие виды продвижения, как флаерсы, постеры, раздаточные материал, воздушные шары.
Результаты анкетирования показали, что эксперты отдали предпочтение телевидению, стимулированию профориентационной работы и печати в качестве главных средств рекламных коммуникаций, используемые вузами для достижения обеспечения себе высоких результатов деятельности. Анализ заполнения анкет показал, что все эксперты компетентны и у них нет сомнений по оценки значимости рекламных коммуникаций при аккредитации вузов. Но так не может быть. Чаще всего эксперты прибегают к использованию так называемых «связанных» рангов, когда из-за сомнений они присваивают двум и более факторам-показателям одно и тоже место. В этом случае, с помощью разработанного авторами программного обеспечения, такие анкеты подвергаются математической обработке.
Результаты такой обработки приведены в табл. 2 и представлены на рис. 1 и 2.
1ты расчетов W и /2 с учетом «связанных» рангов
Рекламные коммуникации X X m X X V! X X г- X 00 X С\ X X10 а Шаг
Эксперт
1 10 1,5 1,5 3,5 5,5 3,5 5,5 7 8 9 18 0,953752 4
2 8 1,5 3,5 1,5 3,5 5,5 5,5 7 9 10 18 0,922752 3
3 9,5 1,5 3 4 5 6 1,5 7 8 9,5 12
4 10 4 1,5 1,5 4 4 6 7 9 8 30 0,898456 2
5 10 1,5 3 4 5 6 1,5 7 8 9 6
6 10 1 4,5 4,5 4,5 4,5 2 7 8 9 60
7 4 1 6 7 9 10 2 3 5 8 0 0,872211 1
8 10 1,5 6 4 4 4 1,5 7,5 7,5 9 36
9 10 1,5 4,5 4,5 4,5 4,5 1,5 7 9 8 66
10 10 1 3 5,5 3 5,5 3 7 9 8 30 0,96478 5
276
Суммы рангов 91,5 16 36,5 40 48 53,5 30 66,5 80,5 87,5 55
Квад. откл. 1332,25 1521 342,25 225 49 2,25 625 132,25 650,25 1056,25 5935,5
Все эксперты Без еретиков Еретики КК без него Не еретики
Коэф. конкорд. 0,740087 0,96478 7 0,872211 3
Крит. Пирсона 66,60786 20,97645 4 0,898456 5
Факторы, упорядоченные по рангам 2 0,922752 6
2 16 2 7 1 0,953752 8
7 30 7 8 10 0,96478 9
3 36,5 3 21
4 40 4 21
5 48 5 23
6 53,5 6 25
8 66,5 8 35,5
9 80,5 9 40,5
10 87,5 10 44,5
1 91,5 1 49,5
и
о ^
ft
tf
О
Диаграмма рангов без еретиков
49,5
40,5 Г" ,5 -
35 ,5
2 2 2 2 3 5
П П
7345689 10 1
Элементы рекламных коммуникаций
Рис. 1 - Результаты анкетирования экспертами рекламных коммуникаций на их предпочтения без еретиков
Диаграмма рангов
90 80
га
S 70
li 60 ра 50
а
S 40 ^ 30
U 20 10 0
Элементы рекламных коммуникаций
Рис. 2 - Результаты анкетирования экспертов рекламных коммуникаций на их предпочтения с учетом еретиков
В этом случае мы получили те же самые результаты, но мнение экспертов оказалось не столь единодушно (коэффициент конкордации "= 0,74, а критерий Пирсона х2 =66,6), хотя они единодушны в том, что при аккредитации вуза главным средством рекламных коммуникаций и в том и в другом случае было ими отдано телевидению.
Таким образом, авторы смогли показать возможность метода ранговой корреляции для оценки компетентности привлекаемых Ростехнадзором и Минобрнауки РФ экспертов для аккредитации ву-
зов, что позволит им формировать более компетентные и авторитетные комиссии. Следовательно, вузы будут объективно оцениваться аккредитационными комиссиями, а результаты аттестации окажут им помощь в достижении более качественных аккреди-тационных показателей и гарантировать себе высокую оценку работодателей о качестве подготовленных ими высококвалифицированных специалистов. И что очень важно, итоговые оценочные средства для подтверждения эффективного их освоения в рамках ООП предусмотрены в самой ООП, а именно [3]:
• государственный междисциплинарный экзамен, который и является одним из завершающих этапов установления уровня полготовки выпускника к выполнению им профессиональных задач и соответствие его подготовки требованиям ФГОС ВПО;
• выполнение курсовых и дипломных проектов по индивидуальным заданиям и их оценка ГЭК;
• все виды практик и итоговая аттестация выпускника после трех лет его работы на предприятии совместной комиссией из работодателей и представителей ВУЗа.
Если такая схема оценки качества подготовки выпускника будет реализована, то можно с уверенностью ожидать, что цели и задачи, сформулированные ФГОС ВПО по подготовке высококвалифицированных специалистов, будут достигнуты.
Литература
1. Гаврилова, О.Е. Подготовка компетентных специалистов легкой промышленности в системе непрерывного профессионального образования технологического университета / О.Е.Гаврилова, Л.Л.Никитина, В.И.Богданова, Ф.Т.Шагеева // Вестник Казанского технологического университета. - 2010. - №12 - С.73-78.
2. Черепанов, В.С. Экспертные оценки в педагогических исследованиях. / В.С.Черепанов. - М.: Педагогика, 1989 - 152 с.
3. Федеральный государственный образовательный стандарт высшего профессионального образования по направлению подготовки 262200 Конструирование изделий легкой промышленности (квалификация (степень) «бакалавр»). - введ. 2010-08-12. - М.,2010.
60
10
91,5
805
6_.
53,5
48
40
30
16
2
10 1
© Е. В. Компанченко - ассистент кафедры рекламы ИСОиП (филиал) ФГБОУ ВПО «ДГТУ». E-mail: prohorov@sssu.ru, Ю. Д. Мишин - канд. фил. наук, доцент кафедры философии ФГБОУ ВПО «СУПиС», Л. Л. Никитина - канд. пед. наук, доцент кафедры конструирования одежды и обуви ФГБОУ ВПО «КНИТУ», naik@bk.ru.
© E. V. ^mpanchenko - ass., Degestanskiy state technological university, prohorov@sssu.ru; Yu. D. Mishin - Ph.D., the docent of the department of the philosophy, SUPS; L. L. Nikitina - Ph.D in Pedagogy, Associate Professor, KNRTU, naik@bk.ru.
