CC BY
48
Вестник Нижегородского университета им. Н.И. Лобачевского. Серия: Социальные науки, 2015, N° 2 (38), с. 133-138
133
УДК 316.1
АПРОБАЦИЯ МЕТОДА КОНЦЕПТУАЛЬНЫХ КАРТ ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ОБРАЗОВАТЕЛЬНОЙ ПРОГРАММЫ
ДЛЯ МЕНЕДЖЕРОВ В ВУЗАХ
© 2015 г. Н.В. Абрамова
Государственный академический университет гуманитарных наук, Москва
urannew@yandex.ru
Поступила в редакцию 05.05.2015
Рассматривается процедура построения концептуальных карт для программы переподготовки менеджеров в вузах. Данный метод применяется в российской практике впервые. Он позволяет повысить валидность инструментария исследования и может быть использован для разработки образовательной программы. Проведена апробация метода концептуальных карт для программы переподготовки менеджеров в вузах. В построенной модели представлены основные эффекты образовательной программы. Для вузов данная модель может стать основой для разработки компетентностно-ориентированных программ обучения.
Ключевые слова: концептуальные карты, оценочные исследования, повышение валидности.
Оценочные исследования в сфере образования стали очень актуальны и востребованы в России в последние годы, что связано с проведением масштабных образовательных реформ. Особый интерес представляют исследования программ переподготовки взрослых в высших учебных заведениях, поскольку в ситуации быстрых экономических и технологических изменений существует потребность в непрерывном обновлении знаний и навыков у специалистов. При анализе оценочных исследований мы опирались не только на российские, но и на зарубежные работы [1]. Анализ литературы позволил установить недостаточность проработки методологии оценочных исследований в рассматриваемой сфере, а также недостаточность исследований в сфере образования взрослых (при этом имеются исследования в следующих сферах: в дошкольной подготовке, в школьном обучении, в обычном вузовском обучении).
Оценочными исследованиями называют особый тип прикладных социальных исследований, в которых методология социальных наук используется для изучения эффективности и других важных аспектов социальных программ.
Оценочные исследования в сфере образования проводились в англосаксонских странах в разные годы, но в большинстве этих исследований имелась одна проблема- отсутствие связи между теоретической рамкой и практическим результатом. Одним из ярких примеров этого стало оценочное исследование, проводившееся в процессе реализации программы «Хед Старт» [1], где отсутствовала теоретическая модель и
оценивались только явные индикаторы (когнитивные способности детей) и не были учтены неявные результаты (повышение мобильности, отсутствие ранних беременностей). Анализ работ по оценочным исследованиям позволил установить, что в большинстве из них не применялись теоретические модели и возникла потребность в построении «вспомогательной теории измерения», то есть методики, связывающей теорию с эмпирикой [1].
Чтобы рассмотреть эффект от использования социальных программ при обучении взрослых в высших учебных учреждениях в России, обратимся к одной из них - к программе переподготовки менеджеров. В программе принимает участие большое количество стейкхолдеров: менеджеры, преподаватели высших учебных заведений, представители администраций, чиновники. И с нашей точки зрения, очень важно учитывать мнения всех акторов при определении эффекта данной социальной программы. Мы провели вторичный анализ инструментария и отчётов указанной программы и пришли к выводу, что при создании инструментария не было учтено мнение основных стейкхолдеров. Мы обратились к данной программе, чтобы предложить модель по связи теории и практики, то есть методику построения вспомогательной теории измерения, поскольку без чётко определённых, измеряемых и надёжных конструктов, ожидаемых в качестве прогнозируемых изменений, которые также чётко выражены и непрерывно контролируются, сложно получить значимый результат. Необходимо заранее иметь
чёткое представление о модели измеряемого процесса, будь то оценка эффективности социальных программ или классическое социологическое исследование. Для построения модели измеряемого процесса американский социолог У. Трочим в 1989 г. предложил метод построения концептуальной карты, который имеет относительное преимущество в стандартизации и структурировании, а также в наглядном представлении [2].
Концептуальная карта - это графическое представление экспертного заключения, отражающего основные идеи, выработанные группой в ходе обсуждения проблемы, а также показывающие связи одних положений с другими. Концептуальная карта визуально отражает набор смысловых единиц (концептов), объединённых в конструкты с целью более точного отслеживания прогнозируемых результатов.
Апробация метода концептуальных карт
Апробация метода концептуальных карт проводилась применительно к практической задаче - оценке полноты методологической корректности образовательной программы. Программа подготовки управленческих кадров началась в 1997 г. Цель программы - обеспечение отраслей народного хозяйства высококвалифицированными менеджерами среднего и высшего звена.
Программа предназначена для специалистов, имеющих высшее образование, но желающих усовершенствовать свои управленческие навыки. В ней принимают участие менеджеры среднего и высшего звена, которые несколько лет проработали на предприятиях и у которых возникла необходимость в дополнительных знаниях по менеджменту и маркетингу. Зачисление в программу происходит на основе конкурсного отбора по результатам экзаменов.
Обучение происходит в вузах, аккредитованных для работы в проекте, удовлетворяющих определённым требованиям к преподавательскому составу, методической базе, планам учебных программ и техническим возможностям учебного заведения, от наличия необходимой литературы до возможности обеспечить доступ к международным и национальным электронным ресурсам.
Итак, перечислим основных участников данной образовательной программы: вузы (предоставляют образовательные услуги), учащиеся-менеджеры (получают образование), работодатели (получают компетентных управленцев), государство (инвестор данной программы). Работодатель - это реальный игрок на рынке образовательных услуг. Он рассчитывает
получить готового управленца, который немедленно включится в управленческий процесс. Помимо общих и специальных знаний работодатель ожидает от молодого управленца следующих компетенций: контролировать совершенствование услуг, контролировать ресурсы, нанимать кадры, собирать внутреннюю информацию, укреплять рабочие связи. Компетент-ностный подход во главу угла ставит не наличие определенных научных знаний, а способности человека осуществлять конкретную производственную деятельность в рамках принятых стандартов. Компетентностный подход напрямую связан с образовательным процессом и требует особого подхода. При разработке ком-петентностно ориентированных образовательных программ любая компетенция представляется как синтез трёх компонентов: когнитивного, включающего систему предметных («знаю, что»), процедурных («знаю, как») и методологических («знаю, как узнать») знаний конкретной области; деятельностного (уметь, владеть, приобрести опыт деятельности), состоящего из совокупности профессионально-ориентированных умений; мотивационно-ценностного (отношение, стремление), позволяющего соотносить профессиональную реальность со взглядами, представлениями и убеждениями студента
[3].
Теперь обратимся к самой методике.
Шаг 1. Подготовка
На первом шаге проводилась подготовка к исследованию: во-первых, определялись будущие участники, а во-вторых, определялся фокус мозгового штурма.
Отбор участников - это один из важных этапов. В нашем исследовании приняли участие социальные исследователи, специализирующиеся на изучении социальной политики. Большая часть участников имеет преподавательский стаж и большой опыт в проведении исследований, а также академические степени в области социальных наук. Участники приехали из многих российских регионов и стран бывшего СНГ (Республика Беларусь и Республика Кыргызстан). Исследование было осуществлено в июне 2010 г. в санатории «Волжские дали» во время проведения летней школы для социологов и социальных работников. Была выбрана эта группа, поскольку эти специалисты уже имели опыт планирования и реализации проектов в социальной сфере и в сфере образования. Количество участников на этапе генерирования идей - 20 человек. Хотя для более полного представления оценки программы нужно было включить администраторов программы, клиентов и чле-
нов целевых сообществ, мы были вынуждены ограничиться только доступной нам группой.
Фокус «мозгового штурма». В нашем исследовании было сфокусировано внимание на вопросе эффективности обучения по программе подготовки управленческих кадров. Поскольку участники данного исследования являются независимыми экспертами, вначале они были ознакомлены с историей, целями и задачами программы подготовки (ПП). В качестве фокуса обсуждения был взят результат проведения обучающей программы для всех участников этого процесса. Участники в основном слышали о существовании данной программы, но имели ряд вопросов относительно формата обучения и требований к потенциальным участникам.
Шаг 2. Генерирование утверждений
После небольшого вступительного слова экспертам было предложено принять участие в проведении мозгового штурма по теме «Эффективность обучения в программе переподготовки управленческих кадров». Были описаны его правила. В ходе проведения мозгового штурма участники могли высказывать свои утверждения и понимали, что их утверждения не будут подвергнуты критике. Утверждения записывались на флип-чарте, чтобы все участники могли их видеть во время дискуссии. Кроме того, все участники получили листки чистой бумаги и им было предложено записать свои утверждения на этих листках, если они не хотят высказывать их публично. В результате мозгового штурма было сгенерировано 70 утверждений. Затем все утверждения были зачитаны участникам и из них были выбраны несколько утверждений, которые участникам были непонятны. Авторов высказываний попросили дать пояснения по каждому из них.
Шаг 3. Структурирование утверждений
После того как были сформулированы высказывания по ключевой области, мы приступили к выявлению связей между утверждениями. Кроме того, осуществлялась оценка каждого утверждения (по пятибалльной шкале Лай-керта, где 1 представляет наименьшую значимость для результата ПП, а 5 - наибольшую значимость для результата ПП).
Проводилась сортировка сгенерированных утверждений. Каждое из утверждений было написано на листке размером 3*5 см. Кроме карточек с утверждениями каждому участнику выдавалась карточка со шкалой важности. Набор выдавался каждому участнику на руки. Затем ведущий зачитывал инструкцию по проведению сортировки. Участнику нужно было объединять карточки в группы «способом, ко-
торый имеет смысл для самого участника». Имелось несколько ограничений: каждое утверждение могло быть помещено только в одну группу; все утверждения не могли быть помещены в одну группу; каждое утверждение не могло образовывать отдельную группу.
После проведения сортировки каждым участником результаты всех участников объединялись. Это делалось в два этапа. Сначала результаты сортировки преобразовывались в индивидуальную бинарную матрицу, где количество срок и столбцов равно количеству утверждений (в нашем случае - 70 на 70). На пересечении столбца и строки ставится 1 или 0.1, если одно утверждение помещено в одну группу с другим утверждением.
Затем индивидуальные матрицы объединялись. Для процедуры агрегирования достаточно представить трёхмерный параллелепипед данных с ответами участников. Эта матрица имеет столько же колонок и столбцов, сколько есть утверждений. Цифра в матрице означает, сколько людей поместило утверждение в эту позицию.
Шаг 4. Статистическая обработка
Прежде чем перейти к шагу 4, нужно принять во внимание очень важное дополнение У. Трочима о создании «реляционной концептуальной карты» (которая изоморфно отражает отношение между понятиями), а не о воссоздании из данных о различиях/сходствах точной карты расстояний (как это обычно делается в многомерном шкалировании).
На данном шаге проводилось непараметрическое многомерное шкалирование, в результате которого получили карту точек (каждая точка - это утверждение). Затем был осуществлён иерархический кластерный анализ методом Варда на основе координат точек, полученных в непараметрическом многомерном шкалировании. Далее - последовательно реализован анализ количества кластеров, начиная с двадцати кластеров. С точки зрения возможностей интерпретации, оптимальным оказалось решение, содержавшее 9 кластеров.
У. Трочимом установлено, что двухмерное решение универсально и приемлемо, поэтому при построении нашей концептуальной карты было использовано двухмерное шкалирование, чтобы нанести точки на карту (уровни стресса при двумерном и трёхмерном шкалировании были практически одинаковыми).
Второй вид анализа, который проводился для представления концептуальной области, называют иерархическим кластерным анализом. В результате кластерного анализа происходили
группировка или разделение точек на карте, которая была построена в результате многомерного шкалирования. Для этого использовались координаты точек, полученные в результате многомерного шкалирования (а не оригинальная матрица подобия), как основа для кластерного анализа. Кроме того, алгоритм Варда был применён для кластерного анализа. Результаты кластерного анализа хуже поддаются интерпретации по сравнению с результатами многомерного шкалирования, поскольку кластерный анализ используется как наводящий на размышления и в некотором роде «визуально определяет» группы для разделения результатов многомерного шкалирования. Ключевая идея заключалась в том, чтобы поддержать целостность результатов многомерных шкалирования, то есть найти решение, при котором группы не перекрывают друг друга (например, оптимальное разделение пространства).
После проведения многомерного шкалирования и кластерного анализа мы в состоянии интерпретировать концептуальную карту группы.
Шаг 5. Интерпретация результатов
В связи с тем что не было возможности повторно собрать вместе всех участников первоначальной группы, каждому участнику были высланы все результаты по электронной почте, а также даны подробные пояснения по картам и спискам высказываний. Участникам предлагалось дать название каждому из кластеров.
Чтобы интерпретировать результат, мы отправили определенный набор материалов, состоящий из следующих материалов:
- лист утверждений (лист с утверждениями участников после проведения мозгового штурма);
- лист с кластерами (лист, где утверждения объединены в кластеры после кластерного анализа);
- карта с точками (которая получена после проведения многомерного шкалирования);
- кластерная карта (рисунок, где показано, как утверждения объединялись в кластеры);
- карта точек с оценками важности;
- карта кластеров с оценками важности.
Карта кластеров с названиями представляет
собой концептуальную основу и ключевой результат процесса картографии. Заключительная карта - это собственный продукт участников. Карта полностью основана на утверждениях, которые участники исследования сгенерировали своими словами и которые они сгруппировали. Названия кластеров на карте - это также итог их работы. У участников исследования была также возможность изменять или пере-
страивать карту - до тех пор, пока все элементы не станут понятны для них и будут соответствовать задаче, которая сформулирована участниками.
В процессе интерпретации участники внесли ряд изменений в первоначальные кластеры. Кластер 9, в который было включено два фактора (развитие международных связей и межотраслевые связи), был слит с кластером 8. С чем это было связано? Участники затруднялись дать какое-либо название этому кластеру, и, внимательно изучив карту с точками, они пришли к выводу, что этот кластер семантически близок кластеру 8 «Коммуникации и сети». Кроме того, в результате анализа карты с точками утверждение 59 «катарсис» было перенесено из исходного кластера в кластер «Альтернативные личные выгоды», так как на карте это утверждение расположено ближе к данному кластеру.
Участники обратили внимание на кластер «Преимущества для организации». Дело в том, что внутри этого кластера выделяются две подгруппы: «преимущества» и «недостатки». В подгруппу «преимущества» вошли следующие утверждения: увеличение доходов компании, ротация кадров, рост статуса организации, модернизация структуры управления организацией. В подгруппу «недостатки» были отнесены инновационные методы управления, повышение премий топ-менеджерам, расслоение сообщества управленцев, давление со стороны компании. Это говорит о сложностях, с которыми сталкивается слушатель программы после окончания обучения.
Участники выделили один интересный момент: кластер «Карьера и мобильность» близко расположен к кластеру «Коммуникация и сети», что, по мнению наших экспертов, говорит о большой взаимосвязанности этих кластеров. То есть чем лучше человек способен налаживать новые связи и обмениваться опытом, тем выше его мобильность.
Шаг 6. Применение карты
Участникам было предложено определить, каким образом можно использовать концептуальную карту для проведения оценки результатов программы переподготовки. Участники предложили разработать анкету и провести опрос специалистов. Так как анкета уже существовала, было предложено повысить ее содержательную валидность с помощью концептуальной карты.
В результате обсуждения было получено 8 кластеров: «Совершенствование собственных качеств» (3.58), «Коммуникации и сети» (3.39), «Преимущества для организации» (3.20), «До-
Рис. 1. Концептуальная карта «Эффективность программы подготовки менеджеров»
стижения в профессиональной сфере» (3.19), «Преимущества для вузов» (2.91), «Карьерная мобильность» (2.79), «Политические и экономические факторы» (2.73), «Альтернативные и личные выгоды» (2.43). Результат построения концептуальных карт схематически представлен на рис. 1.
Четыре кластера из восьми связаны непосредственно с результатами слушателя пр о-граммы: совершенствование собственных качеств, достижения в профессиональной сфере, карьерная мобильность, альтернативные личные выгоды. Можно сделать вывод, что, с точки зрения наших экспертов, важнейшим результатом является развитие профессиональных качеств слушателей. Можно сказать, что эти четыре кластера являются сформир о-ванной компетентностной картой профессиональной деятельности выпускника данной программы.
Участники построения концептуальных карт для ПП предложили также следующие области применения.
Для слушателей. В начале каждого учебного года можно применять этот метод для построения концептуальной карты группы слушателей. Люди, пришедшие в программу, имеют смутные представления о целях своей дальнейшей учёбы, и поэтому если построить концептуальную карту, то это очень поможет слушателям чётко и более детально представить свои цели. Концептуальная карта позволит слушателям понять ожидания своих однокурсников, также это станет своеобразной визитной карточкой группы. Располагая концептуальной картой, в течение года слушатели могли бы расставить приоритеты своей дальнейшей учёбы и обсудить с преподавателями наиболее важные направления. Например, в кластере «Совершенствование собственных качеств» самыми важ-
ными были названы такие качества: аналитическое мышление, получение новых знаний, коммуникативные навыки. Эти вопросы могут более детально быть обсуждены в группе слушателей. Если речь идёт о коммуникативных навыках, то, вероятно, очень важна работа в группе, когда участники могут обсуждать совместно какие-то вопросы. Участники могут написать свои ожидания на бумаге и передать всю информацию в учебный отдел. То есть, по сути, это поможет адаптировать учебный процесс под ожидания слушателей.
Для преподавателей. Преподаватели в начале учебного года получают концептуальную карту, и данная карта может стать основой для разработки компетентностно ориентированной программы обучения. Преподавателям предоставляется структурированное описание программы профессиональной деятельности выпускника, включающей профессиональные умения, профессиональные знания. Карта профессиональной деятельности выпускника является важным методическим пособием, учитывающим потребности рынка труда.
Для администрации программы. Одним из возможных направлений применения концептуальных карт для данной группы является подготовка рекламного буклета, рекламного ролика и информации на сайте вуза. На этапе выбора образовательного центра потенциальный слушатель подробно изучает информацию о нём. Перед слушателем стоят конкретные жизненные проблемы, и он будет искать информацию, какой образовательный центр лучше всего ему подходит. Например, слушателю очень важно расширить свои профессиональные связи, и, если в описании курса он прочтёт, что в определенном вузе данному вопросу уделяется большое внимание, слушатель с большой вероятностью остановит свой выбор именно на этом вузе.
Для предприятия. Предприятие также может использовать концептуальную карту в своей работе. Слушатель может принести концептуальную карту в свою кадровую службу и согласовать, какие вопросы актуальны для развития его отдела в данный момент. На основе данной карты может быть составлен план развития профессиональных навыков отдела и конкретных специалистов. Кроме того, слушатель программы может обсуждать результаты своей научной работы со своим непосредственным руководителем.
В построенной модели представлены основные эффекты образовательной программы для взрослых и наиболее значимые факторы, формирующие результат от прохождения подготовки. Участники построения модели предложили направления применения данной модели для
слушателей программы, для преподавателей, для организаторов проведения программы, для предприятий. Для вузов построенная модель может дать основу для разработки компетент-ностно ориентированных программ обучения.
Список литературы
1. Cicirelli V.G. The impact of Head Start. Athens, OH: Westinghouse Learning Corporation and Ohio University, 1969. 148 p.
2. Trochim W. Concept mapping: soft science or hard art? // Evaluation and Program Planning. 1989. V. 12. P. 87-110.
3. Петухова Т.П., Глотова М.И. Самостоятельная работа как средство развития информационной компетенции // Высшее образование в России. 2008. № 12. С. 121-126.
TESTING THE CONCEPT MAPPING METHOD FOR EVALUATION OF THE EFFECTIVENESS OF THE EDUCATIONAL PROGRAM FOR MANAGERS IN UNIVERSITIES
N.V. Abramova
State Academic University for the Humanities
The article discusses the procedure for constructing concept maps for the retraining program of managers in universities. This technique is used for the first time in Russian practice. We present the results of the testing of this method in the form of a concept map that shows the effect of an educational program for adults. This technique allows to increase the validity of research instruments and can be used to develop an educational program at the university.
We have tested the method of concept mapping for a managers retraining program at the university. The constructed model shows the main effects of the educational program. For universities, this model can provide the basis for the development of competence-oriented training programs.
Keywords: concept maps, evaluation studies, validity enhancement.
