CC BY
70
ПСИХОЛОГИЯ, СОЦИОЛОГИЯ
ПРАКТИКА РАЗРАБОТКИ КОМПЕТЕНТНОСТНО-ОРИЕНТИРОВАННОГО ТЕСТОВОГО ЗАДАНИЯ (НА ПРИМЕРЕ УЧЕБНОЙ ДИСЦИПЛИНЫ «МАРКЕТИНГ»)
Аннотация. В статье определяются подходы к созданию оценочных средств для оценки компетенций студентов (тестовых заданий, кейс-измерителей). Приводится классификация тестовых заданий. На примере задания по маркетингу показано применение различных форм при создании кейс-измерителя. Раскрывается процесс создания компетентностно-ориентированного задания - от определения компетенций, проверяемых с помощью конкретного кейс-измерителя, до разработки оценочной шкалы для подсчета результатов выполнения задания.
Ключевые слова: компетенция, кейс-измеритель, тестовое задание, компетентностно-ориентированное задание, дескриптор, маркетинг, шкала оценивания.
PRACTICE DEVELOPMENT OF COMPETENCE ORIENTED TEST TASK (BY THE EXAMPLE OF DISCIPLINE «MARKETING»)
Annotation. The article briefly refers to the approaches to the creation of assessment tools to assess the competencies of students (tests, case-gauges). The classification of the test tasks. On the example of the job of marketing shows the use of different forms of tasks when creating a case-meter. Reveals the process of creating a competence-oriented tasks - from the definition of competencies that are scanned by a particular case-meter, to the development of the rating scale for calculating results meet the following tasks.
Keywords: competence, case-meter test task, competence-oriented task, handle marketing, scale evaluation.
Опыт многих десятилетий развития образования в России на основе парадигмы «знаний, умений, навыков» показал, что часто студенты, получавшие отличные и хорошие оценки на экзаменах и зачетах в процессе обучения, после выпуска из вуза не могли проявить себя в достаточно успешной степени в профессиональной деятельности. Это наблюдение подтверждает убеждение многих исследователей [2, 3, 11] в том, что компетенции носят латентный, скрытый характер, и получить объективную информацию об уровне сформированности компетенций студентов традиционными для российского образования способами довольно сложно.
Традиционные средства оценивания - устный экзамен, письменная контрольная работа, решение задач - в лучшем случае выявляют знания студента по 2-3-4 вопросам экзамена, но они не показывают, как студент овладел всей необходимой суммой знаний и умений по учебной дисциплине (модулю). В тоже время, компетенции, имеющие сложный и скрытый характер, весьма затруднительно проверить простейшими оценочными средствами. Многие развитые страны, давно практикующие в своей системе среднего и профессионального образования тестовые технологии оценивания уровня учебных достижений, имеют уже значительный опыт по формированию и оцениванию компетенций. Деятельность по разработке компетентностно-ориентированных заданий в нашей стране находится в начальном состоянии, хотя в связи с принятием новых ФГОС сейчас перед российской высшей школой встала очевидная задача разработки фондов оценочных средств нового типа [9].
УДК 378.146 Е.Н. Бейгул О.В. Давыдова
Ekaterina Beygul Olga Davydova
© Бейгул Е.Н., Давыдова О.В., 2015
Приступая к созданию оценочных средств, их разработчику необходимо определиться с тем, что проверяет каждое задание или группа заданий. При этом цели задания должны:
- соотноситься с компетенциями, зафиксированными в государственном образовательном стандарте или в оригинальном образовательном стандарте вуза в соответствии с задачами будущей профессиональной деятельности бакалавров;
- носить междисциплинарный характер, т.к. в формировании каждой компетенции может участвовать совокупность дисциплин [7].
Внешне наблюдаемые признаки проявления компетенций называют операционализируемыми признаками или дескрипторами (от лат. descriptor - описывающий). Различные дескрипторы могут быть проверены с помощью тестовых заданий различных форм. Мастерство разработчика теста состоит в том, чтобы подобрать к каждому дескриптору наиболее оптимальную форму задания [4].
В настоящей статье используется следующая классификация форм тестовых заданий, наиболее широко принятая в России:
1. ТЗ с выбором ответа из нескольких предложенных вариантов:
1.1. с выбором одного варианта ответа;
1.2. с выбором нескольких вариантов ответа;
2. ТЗ на установление соответствия;
3. ТЗ на установление последовательности;
4. ТЗ с самостоятельно конструируемым ответом:
4.1. ТЗ с кратким регламентируемым ответом (дополнения) (в виде незаконченного предложения, или предложения с пропущенным словом, или вопроса, предполагающего ответ в виде од-ного-двух слов);
4.2. ТЗ со свободно конструируемым ответом (с развернутым ответом в произвольной форме) [5].
Классификации форм тестовых заданий, принципам их создания, возможностям использования каждой из форм тестовых заданий посвящен ряд исследований и учебных пособий [1; 2; 8; 10; 12; 16; 17]. В данной статье мы подробнее остановимся на конкретном примере применения различных форм заданий в реальной учебной практике.
Наиболее широко в настоящее время в нашей стране используются задания с выбором одного или нескольких правильных ответов, задания на установления последовательности, соответствия и задания с кратким регламентируемым ответом. Но все эти задания часто бывают направлены на проверку умения воспроизводить известный учебный материал по памяти. Компетентностный подход к обучению требует создания компетентностно-ориентированных заданий, проверяющих способность применять знания для решения профессиональных или социальных задач, имитирующих реальные проблемы современной жизни.
Надо заметить, что компетентностно-ориентированные задания несут в себе и большой обучающий потенциал. Выполнение компетентностно-ориентированных заданий возможно в аудитории в условиях сотрудничества преподавателя и студентов во время лекции или семинара. Если такие задания будут снабжены эталонами ответа и критериями оценивания к ним, то они будут выполнять и функцию оценки уровня сформированности компетенций [9]. Эталоны ответов и критерии оценивания могут быть довольно значительными по объему и превышать размер самого задания [14]. Кроме того, формы заданий при осуществлении компетентностного похода используются те же, что и для традиционных тестов. В настоящей статье мы приведем пример подхода к созданию компетентност-но-ориентированного задания для бакалавров по учебной дисциплине «Маркетинг».
Для создания любых компетентностно-ориентированных заданий разработчику необходимо выполнить ряд действий [17]:
- определить компетенцию или совокупность компетенций, на оценку сформированности которых направлено данное задание, и дескрипторы (операционализируемые признаки) компетенций;
- определить содержание учебной информации, которая ляжет в основу задания;
- определить, какие формы тестовых заданий будут применяться для оценки данных компетенций или их отдельных дескрипторов;
- определить способы проверки результатов выполнения заданий, а также виды шкал для подсчета результатов.
В структуре компетентностно-ориентированных заданий чаще всего присутствует так называемая стимульная часть в виде текста, рисунка, графика, таблицы, схемы и т.п. Стимульная часть служит основой для разработки проблемной части, включающей вопросы и задания, часто с дополнительной информацией для размышления над различными способами и приемами решения проблем, предложенных в задании. В примере, приведенном в настоящей статье, стимульная часть представляет собой мини-кейс - описание ситуации, возникшей в области маркетинга у сервиса «Экофуд».
Данный мини-кейс сопровождают задания, имеющие различную форму, но отвечающие основному требованию, предъявляемому к компетентностно-ориентированным заданиям - для их выполнения тестируемым необходимо применить теоретическую учебную информацию для решения практической профессиональной задачи. Разработчик задания сначала определил компетенции, формируемые в процессе освоения дисциплины «Маркетинг» (в нашем примере это четыре компетенции). Затем выделил дескрипторы, с помощью которых можно оценить уровень овладения каждой из компетенций на определенном уровне - минимальном, базовом, продвинутом [15]. Компетенции и дескрипторы показаны в таблице 1.
Таблица 1
Компетенции и дескрипторы для учебной дисциплины «Маркетинг»
№ п/п Содержание компетенции Дескрипторы (основные оцениваемые признаки освоения компетенции)
1 Способность участвовать в разработке маркетинговой стратегии организаций, планировать и осуществлять мероприятия, направленные на ее реализацию Знает основы стратегического управления маркетингом, основные стратегические решения маркетинга, роль и значение маркетинговой стратегии в деятельности организации, основные элементы стратегии, этапы процесса ее разработки и реализации и элементов комплекса маркетинга (м) Умеет анализировать маркетинговую среду организации, использовать методы стратегического управления маркетингом под руководством старших специалистов (б) Владеет методами анализа маркетинговой среды организации, разработки и реализации стратегических маркетинговых решений в составе групп специалистов (п)
2 Готовность участвовать во внедрении технологических и продуктовых инноваций Знает основы маркетинговой и инновационной классификации продуктов, уровневую концепцию продукта, маркетинговые аспекты жизненного цикла продукта, этапы процесса разработки нового продукта, назначение и содержание элементов комплекса маркетинга (концепцию продукта, ценообразование, распространение, продвижение и др.), основы брэндинга и стратегии позиционирования (м) Умеет планировать разработку нового продукта; разрабатывать стратегии рыночного позиционирования продукта, товарного ассортимента, марок, распределения и ценообразования; оценивать эффективность выпуска нового продукта; анализировать жизненный цикл продукта; использовать инструменты продвижения и устанавливать цену (б)
№ п/п Содержание компетенции Дескрипторы (основные оцениваемые признаки освоения компетенции)
3 Способность анализировать поведение потребителей экономических благ и формирование спроса Знает основы поведения потребителей; процесс решения потребителя о покупке, его социально-психологические факторы; модели, методы анализа и управления поведением потребителей средствами маркетинга (м) Умеет использовать модели поведения потребителей для анализа и управления им, разработки маркетинговых решений: идентификация потребностей, сегментация рынка, выбор целевого сегмента, позиционирование, комплекс маркетинга, оценка результатов (б)
4 Способность проводить анализ конкурентной среды отрасли Знает принципы функционирования организации, ориентированной на рынок; теорию жизненного цикла организации и маркетинговые аспекты управления им; составляющие маркетинговой среды фирмы; особенности рынков и маркетинга в зависимости от типа конкуренции; методы и технологии сбора, обработки и анализа информации о конкурентах (м) Умеет анализировать степень рыночной ориентации организации, ее жизненный цикл и влияние факторов ее маркетинговой среды; определять типы рынков, анализировать и оценивать деятельности конкурентов (б) Владеет методами анализа рыночной среды, технологиями анализа масштабов и структуры рынков, деятельности компании и конкурентов (п)
Примечание: буквами обозначены уровни сложности заданий, проверяющих соответствующий дескриптор компетенций («м» - минимальный, «б» - базовый; «п» - продвинутый)
Пример компетентностно-ориентированного задания по учебной дисциплине «Маркетинг» представлен ниже [6; 13].
Прочитайте приведенный ниже текст и выполните задания 1-7
Экофуд
(1) Потребителю необходимы качественные, экологически чистые продукты питания по приемлемой цене. «Экофуд» представляет собой интернет-платформу для размещения фермерами своих продуктов и приема заказов на них и предлагает именно такой ассортимент продуктов. Это экологически чистые и качественные фермерские овощи и фрукты, выращенные на земле без вредных для здоровья удобрений, а также молочные деревенские продукты, масло, хлеб и парное деревенское мясо.
(2) ИТ-сервис от «Экофуд» позволяет принимать через интернет и обрабатывать заказы на продукцию фермеров от розничных покупателей. С помощью такой платформы фермеры получают новый канал продажи и удобный интерфейс для взаимодействия с покупателями. А покупатели получают возможность заказать продукты напрямую у фермеров.
(3) Клиенты фермеров - это обеспеченные жители больших городов. Среди них: молодые семьи с детьми; люди, заботящиеся о своем здоровье и экологии; люди со средним достатком и выше. Следовательно, «Экофуд» удовлетворяет потребности как покупателя со средним достатком, так и гурмана-трудоголика с доходом, значительно превышающим средний. Отсюда диапазон цен на продукты платформы широк: от среднерыночных и выше.
(4) Многие покупатели, к сожалению, пока не располагают обширной информацией об «Эко-фуде» и плохо осведомлены о данной платформе, ее работе и ассортименте, так как в прессе, интернет-среде и в целом по Москве отсутствует активная реклама сервиса.
(5) На сегодняшний момент времени с «Экофуд» работают 4 крестьянско-фермерских хозяйства России, а клиентская база насчитывает 200 покупателе, из которых 80 % покупали через плат-
форму несколько раз, и около 10 розничных продуктовых магазинов.
1. Выберите один правильный ответ.
При реализации сбыта своих продуктов фермеры используют каналы распределения
1) длинный и короткий;
2) короткий и прямой;
3) прямой и косвенный;
4) косвенный и длинный.
2. Установите правильное соответствие между элементами комплекса маркетинга и примерами их реализации сервисом «Экофуд», которые в тексте обозначены цифрами (см. таблицу 2). Ответ запишите в виде сочетания букв и цифр. Учтите, что один из элементов правого столбца лишний.
Таблица 2
Элементы комплекса маркетинга и примеры их реализации «Экофуд»
Элемент комплекса Пример его реализации
маркетинга «Экофуд»
Продукт 1. (1)
Продвижение 2. (2)
Распределение 3. (3)
Цена 4. (4)
5. (5)
3. Выберите несколько правильных ответов. Ответ запишите в виде последовательности цифр, под которыми указаны критерии сегментации.
При определении целевого рынка фермеров использовались критерии сегментации:
1. культурный;
2. географический;
3. демографический;
4. социально-экономический;
5. психографический;
6. покупательские мотивы;
7. покупательское поведение;
8. чувствительность к инструментам комплекса маркетинга.
4. Из текста следует, что основная проблема маркетинговой деятельности «Экофуд» состоит в отсутствии активного продвижения. Оно может помочь привлечь дополнительных клиентов, а также повысить осведомленности о работе платформы «Экофуд» и ее ассортименте. Из каких последовательных этапов состоит процесс разработки программы продвижения?
Установите правильную последовательность этапов. Ответ запишите в виде правильной последовательности цифр, под которыми даны соответствующие этапы процесса разработки программы продвижения:
1. принятие решений о средствах продвижения;
2. определение целей и задач продвижения и целевой аудитории;
3. создание информационных сообщений (идеи, концепции, содержания);
4. оценка результатов реализации программы продвижения и координация процесса продвижения;
5. выбор каналов коммуникации;
6. определение бюджета маркетинговых коммуникаций;
7. выбор стратегии продвижения.
5. Дополните предложение, вписав недостающее число клиентов.
Согласно правилу Парето, из 200 покупателей сервиса «Экофуд» число клиентов -_- дают
ему 80 % дохода.
В заданиях 6 и 7 дайте развернутый ответ в свободной форме.
6. Проанализируйте ключевые факторы макросреды «Экофуд». Сначала укажите название фактора макросреды (не менее 4-х), а затем к каждому из них приведите соответствующий пример фактора, отражающий деятельность сервиса «Экофуд».
7. Проанализируйте ключевые факторы микросреды «Экофуд». Приведите примеры не менее 4-х ключевые факторов микросреды компании «Экофуд». Сначала укажите название фактора микросреды (не менее 4-х), а затем к каждому из них приведите соответствующий пример фактора, отражающий деятельность сервиса «Экофуд».
В силу ограниченного объема статьи мы не можем привести эталоны развернутых ответов на задания 6 и 7.
Шкала оценивания данного задания представлена в таблице 3.
Таблица 3
Шкала оценивания кейсового задания «Экофуд»
№ задания Эталон ответа (ключ) Возможный балл за выполнение задания
1 Правильный ответ 3 0-1
2 Правильный ответ А1В4С2Б3 0-2 (1 балл - в случае, если допущена одна ошибка)
3 Правильный ответ 345 0-2 (1 балл - в случае, если допущена одна ошибка)
4 Правильный ответ 2761354 0-1
5 Правильный ответ 40 0-1
6
7
Итого максимальный балл за выполнение задания
Выводы. Выбор формы тестовых заданий определяется особенностями содержания - учебной дисциплины и целями создания теста. Каждая из форм тестовых заданий имеет свои достоинства и недостатки, свою область для применения и целевую аудиторию. Разработка тестов и тестовых заданий подчиняется определенным устоявшимся правилам и принципам. Наибольшую актуальность в условиях перехода к компетентностно-ориентированной модели обучения приобретает создание заданий, направленных на формирование и оценку уровня сформированности компетенций. В рамках компетентностного подхода могут быть использованы задания каждой из форм, описанных в данном пособии.
Преподавателям вузов предстоит проделать большую работу с тем, чтобы научиться разрабатывать качественные компетентностно-ориентированные задания всех форм. Особенно сложно будет овладеть умением создавать задания со свободно конструируемым ответом и критерии оценивания к ним. Однако усилия того стоят, поскольку задания с развернутым ответом обладают большим обучающим потенциалом.
Библиографический список
1. Аванесов, В. С. Композиция тестовых заданий : учеб. книга / В. С. Аванесов. - 3 изд. доп. - М. : Центр тестирования, 2002. - 240 с.
2. Анастази, А. Психологическое тестирование / А. Анастази, С. Урбина - СПб. : Питер, 2007. - 688 с.
3. Андерсен, П. Разработка тестов и анкет для национальной оценки учебных достижений / П. Андерсен, Дж. Морган ; пер. с англ. В. Н. Симкина; науч. ред. В. И. Звонников. - М. : Логос, 2011. - 196 с.
4. Бляхеров, И. С. Основные принципы построения системы понятий и терминов педагогического тестирования / И. С. Бляхеров, Л. Н. Савинова, Т. Г. Михалева [и др.] // Стандарты и мониторинг в образовании. -2003. -№3,-С. 14-20.
5. Давыдова, О. В. Создание измерителей для оценки компетенций обучающихся / О. В. Давыдова // Вестник Университета (Государственный университет управления). - 2012. - № 12. - С. 77-83.
6. Демоверсии, спецификации, кодификаторы [Электронный ресурс]. - Режим доступа : http://www.fipi.ru/ege-i-gve-11/demoversii-speciiikacii-kodifikatory (дата обращения : 17.02.15).
7. Ефремова, Н. Ф. Формирование и оценивание компетенций в образовании : монография / Н. Ф. Ефремова. - Ростов н/Д. : Аркол, 2010. - 386 с.
8. Звонников, В. И. Оценка качества результатов обучения при аттестации (компетентностный подход) : учеб. пособ. / В. И. Звонников, М. Б. Челышкова. - изд. 2-е, перераб. и доп. - М. : Логос, 2012. - 280 с.
9. Зимняя, И. А. Компетентностный подход: каково его место в системе современных подходов к проблеме образования? (теоретико-методологический аспект) / И. А. Зимняя // Высшее образование сегодня. -2008.-№ 8.-С. 35-41
10. Клайн, П. Справочное руководство по конструированию тестов: Введение в психометрическое проектирование / П. Клайн; пер. с англ. ; под ред. Л. Ф. Бурлачука. - Киев : ПАН Лтд., 1994. - 288 с.
11. Крокер, Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина. -М. : Логос, 2010. - 668 с.
12. Майоров, А. Н. Теория и практика создания тестов для системы образования / А. Н. Майоров. - М. : Интеллект-центр, 2002. - 296 с.
13. Методическая поддержка для разработчиков АПИМ [Электронный ресурс]. - Режим доступа : 1Шр://Гсро-nica.ru/index.php?menu=devapim (дата обращения : 20.02.15).
14. Переверзев, В. Ю. Критериально-ориентированное педагогическое тестирование : учеб. пособ. / В. Ю. Пе-реверзев. - М. : Логос, 2003. - 120 с.
15. Хуторской, А. В. Ключевые компетенции как компонент личностно-ориентированной парадигмы образования / А. В. Хуторской // Народное образование. - 2003. - № 5. - С. 67-73
16. Челышкова, М. Б. Теория и практика конструирования педагогических тестов : учеб. пособ. / М. Б. Челышкова. - М. : Исследовательский центр проблем качества подготовки специалистов, 2001. - 432 с.
17. Челышкова, М. Б. Оценивание компетенций в образовании : учеб. пособ. / М. Б. Челышкова, В. И. Звонни-ков, О. В. Давыдова. - М. : Логос, 2011. - 229 с.
