CC BY
22
УДК 387
АКТУАЛИЗАЦИЯ РАМОК КВАЛИФИКАЦИЙ НА ОСНОВЕ ЭФФЕКТИВНОЙ ОБРАТНОЙ СВЯЗИ ОТ ЗАИНТЕРЕСОВАННЫХ СТОРОН
Аннотация. Приводятся доводы, обосновывающие необходимость регулярной актуализации для обеспечения качества разрабатываемых рамок квалификаций. Аргументирована приоритетность обратной связи от заинтересованных сторон при совершенствовании образовательных программ. С точки зрения совершенствования образовательных программ выделены наиболее важные заинтересованные стороны. Рассмотрены и систематизированы основные вопросы, которые необходимо задать себе перед началом анкетирования. Обсуждаются некоторые рекомендации и предостережения, которые предлагается учитывать при разработке анкет и проведении анкетирования.
Ключевые слова: рамка квалификаций, заинтересованные стороны, анкета, анкетирование, актуализация.
ACTUALIZATION OF QUALIFICATIONS FRAMEWORKS BASED ON AN EFFECTIVE FEEDBACK FROM STAKEHOLDERS
Abstract. The reasons proving necessity of regular actualization to ensure the quality of developed qualifications frameworks are presented. Priority of feedback from stakeholders in improving educational programs is argumented. From the viewpoint of improving the educational programs the most important stakeholders are highlighted. Key issues that need to ask yourself before you start questioning reviewed and systematized. Some guidelines and warnings, which are recommended to be taken into account when designing questionnaires and conducting the survey are discussed.
Keywords: qualifications framework, stakeholders, questionnaire, survey, actualization.
Актуализация рамок квалификаций является одним из ключевых этапов разработки, призванным поставить содержательную часть рамок квалификаций в соответствие с современными требованиями и запросами всех сторон, заинтересованных в качестве образования [1]. Эффективность и четкость реализации этого этапа во многом определяет качество разработанной рамки квалификаций и, следовательно, качество и востребованность специалистов подготовленных на ее основе. При этом очевидно, что специальные учебные заведения, в частности университеты, играют центральную и решающую роль в формировании знаний, умений и навыков в процессе подготовки своих выпускников к практической работе на современном рынке труда. Вместе с тем перспективы трудоустройства выпускников на национальном, а часто и международном рынке труда являются важнейшим показателем в конкуренции университетов в процессе привлечения новых студентов [2].
Учитывая вышеизложенное, одним из приоритетов университетов является выявление основных заинтересованных сторон, обратная связь от которых важна в стремлении повысить привлекательность своего учреждения за счет непрерывного совершенствования предлагаемых образовательных программ [3].
© Г.И. Маргаров, Е.А. Митрофанова, Р.В. Аггашян, К.Рапп, 2014
Г.И. Маргаров Е.А. Митрофанова Р.В. Аггашян К.Рапп
R. Aghgashyan G. Margarov E. Mitrofanova Ch. Rapp
Анализ процессов управления качеством учебной деятельности передовых университетов позволяет сделать вывод, что с точки зрения совершенствования образовательных программ наиболее важными заинтересованными сторонами являются:
- потенциальные работодатели;
- недавние выпускники;
- преподаватели;
- студенты.
Вообще говоря, все перечисленные заинтересованные стороны довольно тесно взаимодействуют, имея одну общую глобальную цель - обеспечение высокого качества образования. При этом первые две из перечисленных являются внешними заинтересованными сторонами, которых в первую очередь обеспокоены тем, что преподается в университетах - то есть, в структуре образовательных программ и, как следствие, в результатах обучения. Вместе с тем, последние две в списке являются внутренними заинтересованными сторонами, которые в первую очередь обеспокоены тем, как осуществляется процесс обучения (в качестве поставщиков или получателей знаний, умений и навыков) - то есть, в используемых принципах, методиках и инструментах.
В процессе совершенствования образовательных программ, университеты должны принимать во внимание мнения всех этих заинтересованных сторон, что подразумевает получение от них на регулярной основе объективной и полноценной обратной связи, в первую очередь посредством соответствующего анкетирования [4]. Не смотря на то, что мы предлагаем использовать анкетирование для обратной связи с заинтересованными сторонами, другие методы, такие как интервью и фокус-группы могут быть полезными. Эти методы могут быть особенно полезными на ранних стадиях исследований для того, чтобы получить представление о том какие вопросы необходимо задавать при анкетировании, а также для более детального исследования отдельных аспектов [5].
Опыт показывает, что для получения значительно большей доли осмысленных и полезных ответов, предпочтительно сосредоточиться на онлайн анкетировании с использованием хорошо известных инструментов (Google Forms, QuizMaker, ProProfs и т.д.) или созданиим специализированного программного обеспечения [6]. Во всех случаях, результаты этих мероприятий во многом будут зависеть от качества соответствующих анкет [7].
Когда необходимо собрать информацию от больших групп заинтересованных сторон, действительно наиболее эффективной идеей может являться анкетирование. Вместе с тем основная проблема заключается в том, что подготовить анкеты хорошего качества довольно трудно. Существует огромное множество способов формулирования вопросов, и если задавать не правильные вопросы будет невозможно получить искомую обратную связь, которая будет действительно полезной при совершенствовании образовательных программ [7]. Вот почему представляется полезным рассмотреть технику задавания правильных вопросов с тем, чтобы подготовка анкетирования стала менее проблематичной и более продуктивной.
Прежде всего, следует отметить, что до начала анкетирования других, вы должны провести честное и беспристрастное самоанкетирование. Формально говоря, если вы собираетесь провести онлайн анкетирование то вы, вероятно, уже имеете в виду некоторые вопросы, которые необходимо задать заинтересованным сторонам.
Очевидно, что вопросы, которые будут заданы заинтересованным сторонам, должны быть хорошо продуманы. Не менее важно и совершенно уместно до отправки анкет задать себе несколько конкретизирующих вопросов. Основные вопросы, которые
вы должны задать себе самому (Почему?, Кого?, Что?, Как? и Когда?), как правило, не привлекают такого внимания, как вопросы, которые будут включены в анкеты. Тем не менее, если вы предоставите достаточно времени, чтобы ответить на эти вопросы, без всякого сомнения, результаты анкетирования могут оказаться гораздо полезнее с практической точки зрения.
Наиболее важным вопросом, на который вам необходимо ответить является: Почему я хочу спросить? Иными словами, наиболее важным шагом в анкетировании является выяснение того, какую информацию вы на самом деле хотите получить. Важно предварительно сделать ваши цели действительно понятными, в противном случае дальнейшие шаги могут просто не пойти в том направлении, на которое вы рассчитывали. Например, избегать расплывчатых целей, таких как количественная оценка степени «удовлетворенности». Вместо этого, вы должны сосредоточиться на конечной цели, а именно на том, какое дальнейшее решение вы должны принять или что вы должны изменить, на основе обратной связи от заинтересованных сторон. Таким образом, вы не только будете иметь четкое восприятие обратной связи, которая необходима для анализа образовательных процессов, но и сделаете очень важный практический шаг в направлении конкретизации и упрощения вопросов создаваемой анкеты, что, несомненно, будет должным образом оценено анкетируемыми.
Вторым важным вопросом является: Кого я хочу спросить? На первый взгляд этот вопрос может показаться несколько бессмысленным, но на самом деле крайне важно тщательно подобрать правильный список заинтересованных сторон, чтобы получить действительно полезную и ценную обратную связь. По сути, этот вопрос должен быть сфокусирован на главные цели, и четкости ответа на него во многом будет определяться эффективность анкетирования в целом. Иными словами, выбор потенциальных респондентов должен быть напрямую связан, прежде всего, с основными задачами анкетирования. Например, если необходимо убедиться, что используемые в процессе обучения инструменты и/или методы достаточно понятны, то необходимо в первую очередь анкетировать нынешних студентов. Естественно при этом необходимо учитывать мнения недавних выпускников и преподавателей, которые могут также быть очень ценным в этом процессе.
Следующим важным вопросом является: Что я хочу спросить? На этом этапе уточнена основная цель и выбран примерный список заинтересованных сторон для опроса, но анкета по-прежнему пуста и фундаментальной проблемой является то, какими вопросами ее заполнить. На самом деле, это достаточно сложная проблема, и здесь не может быть окончательно верного или короткого ответа. Важно, чтобы задаваемые вопросы позволили оценить то, что является предметом вашей заботы. Естественно будет значительно проще достичь конечной цели если у вас есть четкое представление о том какая обратная связь вам для этого необходима. Разработка анкет осложняется тем, что иногда приходится оперировать не достаточно четкими концепциями, что попросту означает, что вы должны определить, как задавать вопросы, таким образом, чтоб они помогли количественно оценить нематериальные или нечеткое понятие.
Далее следует важный вопрос, который имеет преимущественно техническую природу: Как я хочу спросить? Существует большое множество техник и конструкций формулирования вопросов, а также факторов, которые могут напрямую влиять на непредвзятость и релевантность ответов [8]. Для лучшего восприятия множества возможных конструкций вопросов и их места в реальных анкетах можно, например, просмотреть типы вопросов для анкетирования в инструменте Формы Google (Google Forms - docs.google.com/forms). Они включают в себя как открытые вопросы (комментарии или эссе) так и закрытые вопросы (да/нет, множественный выбор, рейтинговая шкала и т. д.) и могут иметь множество вариантов форматирования. Самое
важное, что необходимо помнить при создании анкеты это то, что вопросы должны быть по возможности простыми, прямыми и краткими. Это позволит сделать анкету проще с точки зрения восприятия заинтересованными сторонами, чтобы в свою очередь существенно упростит и сделает более целенаправленным дальнейший анализ полученных ответов.
И наконец, последний, но не менее важный вопрос: Когда я хочу спросить? Для того чтобы понять, когда вы должны провести анкетирование, необходимо учитывать множество факторов, таких как удобство для большинства вовлеченных заинтересованных сторон, временных рамок соответствующих реформ в университете и т.д. Вообще говоря, при анкетировании, в зависимости от того, кого вы хотите привлечь, вы возможно должны разослать приглашения в различные дни недели, и оставить анкетирование открытым на различные периоды времени, имея в виду естественный компромисс между желанием завершить работу и обобщить результаты быстрее и стремлением получить предельно высокую долю ответов. Преждевременное закрытие анкетирования может помешать респондентам, которые собирались ответить, но были действительно очень заняты, а также может исключить респондентов, которые по своей природе несколько медленнее реагируют на запросы. Потенциально это может негативно исказить выводы и общую картину анкетирования. Более того, например, в стремлении привлечь новых респондентов, вы можете быть заинтересованы в том, что бы мотивировать заинтересованные стороны, которые не имеют тенденцию быстро и точно реагирования на запросы.
Таким образом, мы бы порекомендовали изначально, перед тем как начать разработку анкет сориентироваться, имея ввиду ответы на пять вышеприведенных вопросов.
При разработке анкет и проведении анкетирования может быть полезным рассмотреть некоторые из основных рекомендаций и предостережений, которые мы аккумулировали ниже исходя из собственного опыта, а также из анализа доступных источников [7, 8].
Эффективное анкетирование должно протекать организованно и логически, помогая стимулировать отклик (при необходимости), и мотивировать респондентов на искренний ответ. В этой связи передовой практикой может рассматриваться учет следующих рекомендуемых руководящих принципов:
- Четко определите свои намерения. Прежде всего, помните ваш вопрос «Почему?», а именно, то, что является единственной, наиболее важной причиной проведения анкетирования. В само начале анкеты это должно быть представлено респондентам, чтоб они могли определить свою роль в достижении вами поставленной цели. Если ваша анкета не имеют четко видимый цели, вряд ли кто-либо из заинтересованных сторон доведет процесс до конца. В начале анкеты необходимо разместить краткое введение, такое как, «Спасибо, что нашли время, чтобы ответить на нашу анкету. Мы ценим Ваши ответы, которые помогут усовершенствовать наши образовательные программы. Обратите внимание, что ваши ответы останутся полностью конфиденциальными».
- Составляйте анкеты короткими. Разработка кратких анкет помогает гарантировать, что заинтересованные стороны начнут свой процесс анкетирования и доведут его до конца. Как правило, заинтересованные стороны будет гораздо более отзывчивы (доведут анкетирование до конца), если они будут знать, что участие в анкетировании не займет слишком много времени. Вероятнее всего они гораздо больше времени посвятят ответам на отдельные вопросы, если будут видеть, что анкета не очень
длинная. Следовательно, при этом вы, скорее всего, получите более точную обратную связь. Краткость также заставляет вас сосредоточиться на вашем «Почему?» и, соответственно, сконцентрироваться на основной цели проведения анкетирования. Это поможет вам продумать наиболее критичные, с точки зрения получения необходимого результата, вопросы.
- Начинайте широко и далее сужайте предмет опроса. Вообще говоря, логичное общее взаимное расположение вопросов исключительно важно, так как оно может непосредственно влиять искренность и полноту ответов. Именно поэтому лучше всего начать широко и позже, по ходу сужать фокус в последующих вопросах. Начните с самых общих вопросов, просто, чтобы предоставить ясное понимание предмета анкетирования. Например, при анкетировании с цель оценки образовательной программы общее впечатление респондента должно стоять на первом месте. Таким образом, вы будете знать их мнение на основе общего впечатления, а не отдельных деталей таких, как некоторые результаты обучения.
- Используйте слова вместо чисел. Если вы собираетесь предоставить заинтересованным сторонам выбор из возможных ответов, не приводите слишком много вариантов для каждого отдельного вопроса с тем, чтобы не перегрузить их. Для рейтинговых вопросов подпишите (назовите) возможные ответы, и ограничить количество вариантов не более семью. Большее количество вариантов большинство людей могут, как правило, рассматривать сразу. Так, например, не просите респондентов оценить, насколько они довольны образовательной программой по шкале от 1 до 5. Лучше предложить выбрать один из вариантов: «Чрезвычайно доволен», «Очень доволен», «Умеренно доволен», «Частично доволен» или «Вовсе не доволен». Как правило, при этом слова проще воспринимаются большинством людей, цифры. В более сложных случаях, если вы пытаетесь количественно измерить чьи-то отношения или поведения, рассмотрите возможность использования вопросов по Шкале Лайкерта (Likert scale) [13]. Это один из самых популярных и надежных способов измерения мнение респондентов от одной крайности до противоположной (например, от «Полностью согласен» до «Полностью не согласен»).
- Используйте открытые вопросы умеренно. Использование открытых вопросов, таких как «Что вам нравится в наших учебных программ?» может быть вполне приемлемым или даже эффективным для качественного исследования. Однако основная проблема с вопросами такого типа заключается в том, что они не сфокусированы, и поэтому сложны для количественного анализа, так как оценки могут иметь слишком большой разброс, а зачастую и вовсе быть несопоставимыми. Кроме того, сами вопросы легко быть игнорированы респондентами, так как они занимают больше времени и требуют больше размышлений для подготовки ответа. Мы рекомендуем использовать не более одного или двух открытых вопросов в одной анкете, тем самым экономя не только время респондентов при ответе, но и ваше время на этапе анализа.
- Позволяйте оттенки ответов. Иногда может быть заманчивым использование вопросов, которые снабжены вариантами простых ответов типа «Да» или «Нет», так как они очень удобны для ответа заинтересованных сторон, а также просты для дальнейшего анализа. Даже с учетом того, вопросы типа «Да»/«Нет» кажутся достаточно привлекательным, пытайтесь использовать их умеренно по двум основным
причинам. Во-первых, взгляды и поведение людей могут быть нечеткими (не всегда черно-белыми, так что их мнения о том, что вы измеряете не всегда совпадает с одним из двух предопределенных ответов. Во-вторых, предложение вопросов, которые позволяют видеть мнения заинтересованных сторон в различных оттенках от «Да» до «Нет» или от «Согласен» до «Не согласен» (например, по Шкале Лайкерта), на самом деле обеспечивает достаточную дисперсия для статистического анализа, и предоставляет дополнительная информация, так как позволяет произвести не только качественную, но и количественную оценку мнения заинтересованных сторон.
- Задавайте только такие вопросы, ответы на которые ведут к конкретным действиям. Основной целью анкетирования является получение ключевой информации для реального изменения чего-либо в выбранной образовательной области, например, в образовательной программе. Включая в анкету вопросы, ответы на которые не планируете использовать для реальных действий, вы тем самым попросту тратите в пустую как ваши время и энергию, так и время и энергию вовлеченных заинтересованных сторон. Так что, задавайте только вопросы для получения ответов, которые можно будет использовать для конкретных преобразований и будьте готовы осуществить некоторые «непредвиденные» изменения, основанные на реально полученных данных, а не только данных, которые вы надеялись получить.
В общем, хорошая анкета подобна хорошему разговору, в том, что если она написана персонализировано, логично и таким тоном, к которому респонденты могут относиться доверительно, то у них может сложиться обоснованное убеждение, что они будут услышаны. Зачастую, это главная причина, почему заинтересованные стороны соглашаются принимать участие в анкетировании, в первую очередь они хотят быть услышанными. Если заинтересованная сторона тратит определенное время, чтобы ответить на ваши вопросы, то она как правило рассчитывает на некое продолжение диалога хотя бы в форме общего резюме о произведенных в результате анкетирования преобразованиях.
При подготовке анкеты вы должны остерегаться повторения некоторых из наиболее распространенных ошибок, среди которых можно выделить следующие:
- Не используйте наводящие вопросы. Очевидно, что вы не должны пытаться привести респондентов к определенному ответу посредством соответствующей формулировки вопросов. Например, не нужно формулировать вопрос как: «Недавно мы обновили нашу образовательную программу, чтобы в полной мере соответствовать всем требованиям Международной аккредитации. Что вы думаете о нашей образовательной программе мирового класса?». В данном случае указывая, что у вас образовательная программа мирового класса, вы фактически принуждаете заинтересованные стороны к позитивному реагированию на обновления образовательной программы. Вместо этого целесообразнее заменить вопрос чем-то на подобии: «Что вы думаете об изменениях в нашей образовательной программе?»». Удаление предвзятости позволяет заинтересованным сторонам ответить более объективно. При этом они, так или иначе, смогут без всяких «направляющих» свободно сконцентрироваться на том, какие изменения в образовательной программе им нравятся или не нравятся.
- Не используйте загруженные вопросы. Загруженные вопросы содержат некие эмоциональные предположения, которые могут подтолкнуть заинтересованные стороны к выбору конкретного ответа. Отвечая они, как правило, невольно соглашаются предпосылками, озвученными в вопросе. На пример: «Насколько ужасно использование этого инструмента в аудитории?». Отвечая на такой вопрос заинтересованные стороны, обычно безоговорочно соглашаются, что инструмент практически бесполезен. Вместо этого попробуйте сформулировать вопрос на подобии: «Как вы думаете, этот инструмент в аудитории полезен или бесполезен?» При этом заинтересованные стороны должны быть в состоянии определить, является ли этот инструмент полезным, выбирая из сбалансированного набора опций.
- Не используйте двойные отрицания. Двойные отрицания требуют от заинтересованных сторон большей концентрации при выборе ответа на вопрос, что может сделать их подсознательно раздражительными и нетерпеливыми. В итоге они могут выбрать случайный ответ или вовсе отказаться от продолжения анкетирования. На пример: «Какие из этих инструментов не бесполезны?». При этом респондент может подумать: «Подождите... они спрашивают ... инструмент полезен или бесполезен ... или что? Давай ка еще раз прочитаю вопрос ...». Вместо этого, почему бы не спросить: «Какие из этих инструментов полезны?». На этом примере нетрудно заметить, насколько проще ответить на более прямой вопрос без двойных отрицаний.
- Не используйте двойные вопросы. Двойные вопросы по существу задают два вопроса одновременно. Вообще говоря в процессе анкетирования совместное представление нескольких идей или вопросов может препятствовать получению полезных и измеримых ответов. Примером двойного вопроса может быть: «Насколько полезными вы находите Google Drive и Picasa?». Заинтересованные стороны могут найти, например, Google Drive очень полезным, а Picasa не столь полезным, но такая постановка вопроса попросту не дает им никакой возможности ответить дифференцированно. Вместо этого можно попробовать задать два отдельных вопроса: «Насколько полезными вы находите Google Drive?» и «Насколько полезными вы находите Picasa?». Разделение двойного вопроса на два автономных позволяет заинтересованным сторонам сосредоточиться на полезности каждого инструмента в отдельности и предоставляет вам больше значимых данных для анализа.
- Не используйте провокации отказа от ответа. Когда вы предоставляете заинтересованным сторонам возможность ответить на вопрос опциями «Нет ответа», «Не знаю», или «Не применимо», вы тем самым уже признаете, что это нормально, если заинтересованная сторона не дает значимого ответа. По существу тем самым вы провоцируете заинтересованную сторону отказаться от ответа, что противоречит основной идее проведения анкетирования. На самом деле необходимо заставить респондентов предоставить значимый ответ обеспечив достаточное количество вариантов для выбора. Постарайтесь избегать вопросов, которые включают опцию «Нет ответа» и только в исключительных случаях допускайте опцию «Я не знаю» для действительно сложных вопросов. Таким образом, вместо того чтобы допускать «Не применимо» в качестве варианта ответа, в сложных случаях используйте логику пропуска вопроса.
Например, вместо вопрос «Насколько полезна наш блог?» с опцией ответа «Не применимо» перефразируйте в «Посещали ли Вы наш блог?» с опциями ответов «Да» и «Нет». По существу ответ «Нет» равносилен пропуску данного вопроса с переходом к следующему, но он не провоцирует отказ от ответа и тем более от продолжения анкетирования.
Подводя итог можно заметить, что анкеты должны создаваться очень внимательно и вдумчиво. Затратив достаточно много времени на подготовку действительно качественной анкеты, вы существенно упрощаете работу заинтересованных сторон по ее заполнению, тем самым обеспечиваете высокий процент откликов с ответами, пригодными для дальнейшего анализа. Анкетирование должно иметь ясную и значимую цель, логический порядок представления вопросов, простой и понятный стиль изложения, а также по возможности не содержать вопросы «утомительных» типов (например, ранжирование или матричные вопросы). Если разработанная анкета по какой-то причине окажется слишком сложной для понимания, это будет попросту раздражать респондентов, провоцируя их на отказ от отклика. При этом в лучшем случаи вы получите массу непригодных данных, с которыми вы не сможете сделать ничего полезного. Это естественным образом противоречит самой идее и смыслу проведения анкетирования.
Необходимо помнить, что плохие данные могут быть хуже, чем отсутствие данных вообще. Недостоверные данные, полученные в результате использования некачественно разработанной анкеты могут привести к принятию неправильных решений, что в конечном счете может разрушить образовательный процесс, а не способствовать повышению повышения его качества.
Библиографический список
1. M.C. Lennon, B. Frank, J. Humphreys, R. Lenton, K. Madsen, A. Omri, R. Turner, Tuning: Identifying and Measuring Sector-Based Learning Outcomes in Postsecondary Education, Toronto: Higher Education Quality Council of Ontario, 2014.
2. L.K. Childress, Internationalization Plans for Higher Education Institutions, Journal of Studies in International Education, Volume 13, No. 3, 2009, 289-309.
3. D.W. Butin, Service-Learning in Theory and Practice: The Future of Community Engagement in Higher Education, Palgrave Macmillan, 2010.
4. P. Chatterton, J. Goddard, The Response of Higher Education Institutions to Regional Needs, European Journal of Education, Volume 35, Issue 4, 2000, 475-496.
5. W.L. Neuman, Social research methods: Quantitative and qualitative approaches, Allyn and Bacon, 2005.
6. B. Duffy, K. Smith, G. Terhanian, J. Bremer, Comparing data from online and face-to-face surveys, International Journal of Market Research, Volume 47, Issue 6, 2005, 615-639.
7. D. De Vaus, Surveys in social research. Routledge, 2014.
8. D. Collins, Pretesting survey instruments: An overview of cognitive methods, Quality of Life Research, Volume 12, Issue 3, 2003, 229-238.
9. L.M. Rea, R.A. Parker, Designing and Conducting Survey Research: A Comprehensive Guide, John Wiley & Sons, 2012.
10. D. Bertram, Likert scales, Calgary, Alberta, Canada, 2012.
