CC BY
59
УДК 331.54 JEL: I25, М12, O15
DO110.24147/1812-3988.2021.19(2).56-68
АССЕССМЕНТ-ЦЕНТР КОМПЕТЕНЦИЙ ОНЛАЙН: ВОЗМОЖНОСТИ И МЕТОДОЛОГИЯ
А.В. Пеша1, М.Н. Шавровская1, М.А. Николаева2
1 Уральский государственный экономический университет (Екатеринбург, Россия)
2 Уральский государственный педагогический университет (Екатеринбург, Россия)
Информация о статье
Дата поступления 26 февраля 2021 г.
Дата принятия в печать 25 марта 2021 г.
Тип статьи
Исследовательская статья
Ключевые слова
Надпрофессиональные компетенции, онлайн-ассессмент, оценка, цифровые компетенции
Аннотация. Темпы технологического развития и вызовы 2020 г., связанные с пандемией COVID-19, актуализируют необходимость сокращения цифрового разрыва, наблюдаемого последние годы в сфере образования, а также поиск новых возможностей применения цифровых технологий высшими учебными заведениями. Авторами раскрывается методология проведения онлайн-оценки надпрофессиональных компетенций студентов и молодых специалистов в области управления персоналом и педагогики. Проведенный контент-анализ предыдущих исследований демонстрирует актуальность и перспективность оценки компетенций в вузе посредством онлайн-инструментов, а ассессмент-центр является одной из самых валидных и надежных технологий при оценке надпрофессиональных компетенций. В эмпирической части статьи представлены результаты Всероссийского конкурса надпрофессиональных компетенций «Таланты XXI века» с использованием цифровых технологий. Применение ассессмент-центра онлайн позволяет провести оценку надпрофессиональных компетенций студентов одновременно по разным направлениям подготовки. Актуальность, своевременность и перспективность такой формы проведения мероприятия подтверждается обратной связью экспертов, участников и организаторов конкурса. В итоге сформулирован ряд преимуществ онлайн-ассессмента: точность, бюджетность, объективность, удобство организации. Результаты проведенного исследования могут быть интересны педагогам вузов, организаторам конкурсов для студентов и исследователям, изучающим вопросы оценки компетенций.
Финансирование. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-29-07435.
OPPORTUNITIES AND METHODOLOGY OF COMPETENCE ASSESSMENT CENTER IN ONLINE FORMAT
A.V. Pesha1, M.N. Shavrovskaya1, M.A. Nikolaeva2
1 Ural State University of Economics (Yekaterinburg, Russia)
2 Ural State Pedagogical University (Yekaterinburg, Russia)
Article info Abstract. The pace of technological development and the challenges of 2020 associated with
Received the COVID-19 pandemic actualize the need to bridge the digital divide that has been observed
February 26, 2021 in recent years in education, as well as to search for new opportunities for the use of digital
technologies in higher education institutions. In the work, the authors reveal the methodology Accepted for conducting an online assessment of the supra-professional competencies of students and
March 25, 2021 young specialists in the field of personnel management and pedagogy. The conducted content
analysis of previous studies demonstrates the relevance and perspective of assessing compe-Type paper tencies at a university using online tools, and the assessment center is one of the most valid
Research paper and reliable technologies for assessing supra-professional competencies. The empirical part
of the article presents the results of the All-Russian competition of supra-professional competencies "Talents of the 21st century" using digital technologies. The use of the assessment center in the online format makes it possible to assess the supra-professional competencies of students simultaneously in different areas of training. The relevance, timeliness and prospects of this form of the event are confirmed by feedback from experts, participants and organizers Keywords of the competition. As a result, a number of advantages of the online assessment were formu-
Supra-professional competen- lated: accuracy, budget, objectivity, convenience of organization. The results of the study may cies, online assessment, as- be of interest to university teachers, organizers of competitions for students and researchers sessment, digital competencies studying the issues of assessing competencies.
Acknowledgement. The reported study was funded by RFBR, project number 19-29-07435.
1. Введение. В настоящее время как в науке, так и в практике особое внимание уделяют развитию и оценке надпрофессиональных компетенций будущих профессионалов. Авторы ряда статей, ссылаясь на проведенные исследования, указывают, что надпрофессиональные компетенции вносят гораздо больший вклад в эффективность сотрудников по сравнению с профессиональными компетенциями [1-3]. Кроме того, сегодня большое внимание уделяется идее индивидуальных траекторий обучения студентов [4; 5].
Определив уровень развития социо-эмо-циональных, когнитивных, коммуникативных и цифровых компетенций, можно выстраивать обучающий путь студента, понимать, развитию каких навыков стоит уделять больше внимания, формировать проектные команды, а также оценивать динамику их развития.
Оценка надпрофессиональных компетенций является системообразующей функцией в управлении персоналом, поэтому ей уделяют особое внимание в организациях.
Изучаемая нами проблематика отражена в целом ряде трудов представителей научно-педагогического сообщества [6-8]. Среди проанализированных работ внимание исследователей уделяется вопросам формирования надпро-фессиональных компетенций студентов вузов и динамичной оценке их развития [8-11].
Стоит отметить, что сама оценка уже рассматривается как обучение: «ясность в процедурах оценки, процессах и критериях лежит в основе широкого использования коучинга, практики и обеспечения развивающей обратной связи для повышения достижений» [12, р. 282]. Также оценка позволяет наполнять портфолио студентов, которое важно формировать еще на этапе обучения в вузе [13; 14].
Результаты ассессмент-центра представляют важную информацию о развитии надпро-фессиональных компетенций, позволяя прогнозировать успешное выполнение будущим специалистом профессиональных задач.
Ассессмент-центр является одним из самых объективных методов, применяемых для оценки надпрофессиональных и профессиональных компетенций [15; 16]. Его объективность обеспечивается использованием различных инструментов (деловых игр, кейсов, интервью, баскет-метода и др.), четко прописанными поведенческими индикаторами, привлечением экспертов, прошедших специальную
подготовку [17]. Разные ученые посвящают свои работы ассессменту надпрофессиональных компетенций студентов [18-20], указывая, как он может встраиваться в образовательный процесс и какое значение имеет для стейкхолдеров образовательного процесса. Ассессмент используется ведущими вузами России. Например, Московским государственным университетом им. М.В. Ломоносова реализуется проект MAX, цель которого заключается в «создании среды максимального развития и карьерного становления учащихся за счет системного взаимодействия с компаниями» (https://www.econ.msu.ru/ students/bachelor/mng/Proj ect-MAX/about/).
В связи с распространением COVID-19 многие функции управления персоналом перешли в онлайн, в том числе больше внимания стало уделяться развитию и оценке надпро-фессиональных компетенций. Ведущие компании стали предлагать услуги по ассессмент-центру онлайн, среди таковых SHL (https:// www.shl.ru), «Экопси» (https://digital.ecopsy.ru), Talent Q (https://talent-q.ru).
Целью работы является представление результатов и выводов реализации авторской методики организации ассессмент-центра над-профессиональных компетенций онлайн.
2. Методика исследования
2.1. Материалы и методы. Для проведения ассессмент-центра применялись инструменты онлайн-коллаборации, что позволило провести наиболее качественную оценку цифровых компетенций. Адресная рассылка участникам осуществлялась через сервисы рас-сылок SendPulse (https://www.sendpulse.com) и UniSender (https://www.unisender.com) - каждый из них обладает своими достоинствами и ограничениями, для нивелирования последних они применялись в паре.
Ассессмент-центр проводился в четыре этапа. Первые три предполагали индивидуальную работу и оценку компетенций асинхронно.
На первом этапе участники проходили регистрацию, где указывали ФИО, город, вуз, курс, направление подготовки, а также основные мотивы участия в мероприятии.
Представление студентов о ключевых компетенциях специалиста в выбранном ими направлении подготовки для современной экономики позволило провести корреляцию с мнениями экспертов и пулом оцениваемых компетенций в конкурсе. Инструменты этапа: Google Forms.
На втором этапе конкурсантам предстояло пройти серию тестов способностей, которые позволяли оценить уровень развития вербальных, числовых и логических способностей участников, важных в проявлении таких надпрофессиональных (ключевых) компетенций, как вычислительное мышление, понимание смыслов и системное мышление. Инструменты этапа: OnlineTestPаd.
На третьем и четвертом этапах к оценке результатов работы участников подключились эксперты.
Третий этап предоставлял участникам, успешно справившимся с предыдущими заданиями (набравшими положительную сумму баллов по тестам), возможность проявить свои ключевые и профессиональные компетенции в решении двух мини-кейсов. Кейсы были подготовлены экспертами в соответствии с профессиональной спецификой направлений подготовки участников - 44.03.01 «Педагогическое образование» и 38.03.03 «Управление персоналом». Ключевые оцениваемые компетенции: креативность и инновативность, про-
Механика оценки компетенций на четвертом этапе: в ходе выполнения заданий все участники оцениваются экспертами по специально разработанным поведенческим индикаторам (примеры индикаторов представлены в табл. 2). Для каждого эксперта создана и настроена таблица в Google Docs для внесения оценок, что позволило оперативно вести подсчет результатов. Итоговые данные по оценке компетенций в рамках всей совокупности заданий формировались автоматически по уча-
ектное мышление, управление информацией, системное мышление. Инструменты этапа: Google Forms.
Четвертый этап проводился в формате синхронного взаимодействия всех участников ассессмент-центра, который предполагал выполнение серии заданий с использованием широкого спектра инструментов для оценки участников по четырем кластерам компетенций: социо-эмоциональные, когнитивные, коммуникационные, цифровые (табл. 1). Инструменты этапа: Zoom, приборная доска Padlet, Jamboard, Google Calendar, Mentimeter.
Например, при выполнении задания «Самопрезентация» участникам предложили сделать визитку с использованием приложения Padlet, для решения кейса In basket - создать план в Google Calendar или любом другом приложении электронного планирования. Такая работа позволила оценить не только то, насколько быстро и легко студент смог освоить новую программу, но и уровень его ориентации в функциональных возможностях, на которых был сделан акцент в ходе объяснения задания.
стникам и интегрировались в общий итоговый оценочный лист.
По итогам конкурса каждый из участников получил отчет, содержащий визуализацию результатов оценки развития компетенций конкурсанта, с определением сильных сторон и «зон развития» компетенций, с перечнем рекомендаций. В качестве «зон роста» участникам были даны конкретные рекомендации по развитию двух-трех ключевых компетенций, с перечнем техник, книг и развивающих филь-
Таблица 1. Надпрофессиональные компетенции, оцениваемые в ассессмент-центре онлайн Table 1. Supra-professional competencies evaluated in the online assessment center
Кластер компетенций Компетенции
Социо-эмоциональные Взаимодействие с людьми
Работа в режиме высокой неопределенности и быстрой смены условий задач
Уверенность в себе
Компетенции в области эмоционального интеллекта
Когнитивные Вычислительное мышление
Креативное мышление и инновативность
Проектное мышление и управление проектами
Системное мышление
Управление информацией
Понимание смыслов
Коммуникативные Ведение переговоров
Цифровые Общая техническая грамотность
мов. Такая структура отчета позволила студенту не только увидеть свои сильные и слабые стороны, но и понять, что важно делать для
того, чтобы «усиливать» ту или иную надпро-фессиональную компетенцию.
Таблица 2. Примеры компетенций и поведенческих индикаторов для задания «Самопрезентация»
Table 2. Examples of competencies and behavioral indicators for the "Self-presentation" task
Баллы Поведенческие индикаторы
Социо-эмоциональные компетенции
0 Работа в режиме высокой неопределенности и быстрой смены условий задач не представляется возможной
1-3 Теряется при изменении условий, требуется время, чтобы продолжить выполнять поставленную задачу
4-6 Испытывает незначительные сложности при адаптации к имеющимся условиям
7-9 Быстро адаптируется к меняющимся условиям, без особых усилий продолжает выполнять поставленную задачу
Когнитивные компетенции: креативное мышление и инновативность
0 Не представляет свою презентацию, говорит, что это для него сложно, или использует одну-две фразы
1-3 Представляет презентацию согласно шаблону, предложенному в ходе объяснения задания
4-6 Добавляет в предложенный шаблон самопрезентации свои идеи
7-9 Представляет самопрезентацию в необычном и интересном формате
Когнитивные компетенции: управление информацией
0 Мыслит хаотично, спутано представляет себя
1-3 Не структурированно представляет презентацию, отсутствует единая логика
При представлении себя уходит в детали
4-6 Представляет себя в структурированном виде, переходит от общего к частному
7-9 Презентация носит системный характер, рассказывает факты о себе из разных сфер жизни
Цифровые: общая техническая грамотность
0 Не делает задание в предложенной программе
1-3 Испытывает сложности в освоении программы, задает много простых вопросов
Не понимает до конца, что необходимо делать
4-6 Задает один-два вопроса о программе
Использует стандартные (показанные в ходе объяснения задания) функции
7-9 Быстро и легко осваивает предложенную программу
Хорошо ориентируется в программе, задействует различные ее функции (в том числе не показанные в ходе объяснения задания)
2.1. Участники. Во Всероссийском конкурсе надпрофессиональных компетенций «Таланты XXI века» (далее - Конкурс) приняли участие 82 студента из 19 вузов России и молодые специалисты - педагоги и менеджеры по управлению персоналом (один педагог и пять специалистов в области HR). Конкурс проводился по двум направлениям - «Педагоги XXI века» и «HR: пул талантов». География конкурсантов отражена на рис. 1. В мероприятии принимали участие студенты, обучающиеся по программам бакалавриата - 76,8 % и магистратуры - 12,25 %, а также аспиранты - 3,65 % и молодые специалисты - 7,3 %.
3. Результаты. На рис. 2 представлена воронка участников Конкурса по всем этапам. Конверсия составила 20,73 % в целом: 22,6 %
по конкурсу «Педагоги XXI века» и 21,57 % по конкурсу «ИЯ: пул талантов».
Этап 1. Регистрация. Мотивы участия в конкурсе, наиболее часто встречаемые в ответах респондентов, связаны с приобретением нового опыта и контактов в профессиональном и экспертном ИЯ-сообществе, проверкой себя, своих знаний, навыков, личностных качеств и компетенций, а также с развитием компетенций (рис. 3). Кроме того, участники отметили и эмоциональную сторону конкурса, что связано с получением положительных эмоций от взаимодействия друг с другом и с экспертами, тренировкой стрессоустойчивости, желанием победить и формированием уверенности в себе и своих силах.
Каменск-Уральский Симферополь Тобольск Ульяновск Казань Ставрополь Москва Иркутск Красноярск Омск Майкоп Новосибирск Челябинск Уфа
Екатеринбург
О 5 10 15 20 25 30
Рис. 1. География участников конкурса (чел.) Fig. 1. Geography of the contest participants (people)
Рис. 2. Воронка отбора участников Конкурса (чел.) Fig. 2. The selection funnel of the contest participants (people)
ЛлереокРеиатиКейси
ПроверкаСпособностей
■ ■ ^^F J^^k. ГкгрзЬоаатыЧто
НовыиОпыт-
о; .....^ПроверитьЗнания
™ I,—,— I
ЦенныйОпыт
' CKpù Tuciaji a i ьО тЭ ■:: лср тааыДэу rvuy^aciw ■
ro
X.JZ
опробоватьСебя
IfrmpKMO
СНратмаяСвя l ыОтЭ ютсртсвиДзу гижУ4аст>*1сов
Пс»»Кт Kv tii' Ei li fterfci J .. ТИ
мм ГфпнмммЗмамЛВфа >™ >:c I—j^mr 1 1
ПроверитьСебя
«•IW^™.,™., |--------.M«...«™-,
IT ) *"-»——»'-—™-НовыеКокпетенции
юкаСгитлиЗшмлй
НовьГёЗнания
РазвйтйёКомпетенций
Рис. 3. Основные мотивы участия в конкурсе (сост. с помощью сервиса wordscloud) Fig. 3. The main motives for participation in the contest (comp. using the wordscloud service)
Отмеченные участниками как наиболее важные в XXI в. для специалистов по управлению персоналом и педагогов надпрофессио-нальные компетенции представлены в табл. 3. Как видно по результатам анализа, конкурсанты выделили схожие ключевые компетенции. Это обусловлено тем, что направления подготовки 44.03.01 «Педагогическое образование» и 38.03.03 «Управление персоналом» относят-
ся к типу профессий «человек - человек» (по Е.А. Климову) [21]. Следовательно, для будущих специалистов важно научиться понимать, устанавливать и поддерживать коммуникационные связи с разными типами аудиторий, а также владеть необходимым объемом знаний в соответствующей области образования, производства и науки.
Таблица 3. Топ-10 компетенций, важных для специалистов в XXI в. по направлениям конкурса (чел.)
Table 3. Top-10 competencies that are important for specialists in the 21st century
in the areas of the contest (people)
Компетенция Направление конкурса
HR: пул талантов Педагоги XXI века
Взаимодействие с людьми 23 16
Коммуникабельность 18 17
Ответственность 11 6
Организация и планирование 11 -
Аналитические способности 11 -
Самоорганизация 7 7
Способность обучать и обучаемость 6 17
Компетенции в области эмоционального интеллекта 6 3
Креативность 5 9
Стратегическое мышление 5 2
Цифровые компетенции - 4
Многозадачность - 2
Этап 2. Тестирование. Самые высокие результаты участники обеих групп Конкурса («Ж: пул талантов» и «Педагоги XXI века»)
показали при прохождении теста вербальных способностей, по которому средний балл составил 6,38 из 10 возможных (рис. 4).
-7,00
□ числовой тест □ логический тест □ вербальный тест
10
9 8 7 6 5 4 3 2 1 О
Вид теста способностей
Рис. 4. Результаты прохождения участниками тестов способностей (по десятибалльной шкале) Fig. 4. The results of the participants passing the ability tests (on a ten-point scale)
Ю
о
о M
10,00
s /СЕЛ
00 эе-?-
—i^rOO
Самые низкие показатели были при решении заданий теста вычислительных способностей (средний балл 4,0 из 10 возможных). Наибольший интерквартильный размах (IQR) итогов теста виден на диаграмме размаха по тесту логических способностей и числовому тесту (3 балла). По тесту логических способностей наблюдается наибольшая разница минимального и максимального значений. Выбросы данных результатов теста видны по итогам всех трех тестов, как среди низких, так и среди высоких оценок. Результаты показывают, что более 50 % участников продемонстрировали уровень развития вычислительного мышления ниже среднего (3,38 балла и ниже), лишь 25 % показали средний уровень развития данной компетенции - набрали 5 баллов. Понимание смыслов и системное мышление находятся на среднем уровне развития у более чем 50 % участников (показатели по логическому и вербальному тестам выше средних значений), в то же время у более чем 25 % участников данные компетенции развиты слабо.
Тестирование показало, что конкурсантам необходимо обратить внимание на разви-
тие способности решать сложные проблемы при помощи алгоритмов и автоматизации; определять более глубокое значение, или значение того, что выражается; комплексно воспринимать задачи и процессы с учетом их взаимосвязей, обусловливающих причины и следствия.
Этап 3. Согласно результатам оценки компетенций по решению кейсов предварительного этапа, средний балл, полученный участниками за решение кейсов, составил 8,24 из 9. Студенты и молодые специалисты в области педагогики и управления персоналом проявили выше среднего уровень развития креативности и инновативности, проектного мышления, управления информацией и системного мышления. Средняя оценка уровня развития компетенций участников по направлению «HR: пул талантов» составила 8,4 балла, среди конкурсантов направления «Педагоги XXI века» - 8 баллов.
Этап 4. Результаты синхронной оценки в онлайн-формате ассессмент-центра, в совокупности с итогами предварительных этапов, представлены в диаграмме размаха на рис. 5.
Рис. 5. Диаграмма размаха итоговых оценок участников Конкурса (по девятибалльной шкале) Fig. 5. Diagram of the scope of the final assessments of the contest participants (on a nine-point scale)
По итогам конкурса наименьшие оценки участники обоих направлений получили по компетенции в области эмоционального интеллекта, связанной с умением управлять своими эмоциями, понимать и воздействовать на эмоции других людей. Средний балл по данной компетенции составил 4,2 балла, а 25 % участников набрали не более 1,5 балла, что является очень низким показателем и требует серьезного внимания при выборе траекторий индивидуального развития. По данной же компетенции наблюдается наибольший интерквар-тильный размах, который составил 5,5 балла -это значит, что 50 % участников набрали очень разные баллы в диапазоне от 1,5 до 7,0. Наименьший интерквартильный размах наблюдается в оценках поведенческих проявлений компетенций «креативное мышление и инноватив-ность» - 1,5 балла. Данные оценки показывают, что подавляющее большинство участников обладает уровнем развития креативности и инновативности выше среднего, демонстрируя схожие индикаторы проявления. Наилучшие показатели продемонстрировали конкурсанты по компетенциям «ведение переговоров», «понимание смыслов», «проектное мышление» и «вычислительное мышление», по которым 25 % участников получали наивысшие оценки в одном или нескольких упражнениях (9 баллов). Эксперты отметили, что конкурсанты нашли возможность договориться друг с другом при принятии групповых решений, ориентировались в данных для анализа, были способны увидеть глубокий смысл информации и составить взаимосвязи отдельных элементов. Если брать средние оценки по проявленным компетенциям, то можно отметить, что все они (кроме компетенции в области ведения переговоров - 6,5 балла) лежат в балльной зоне среднего развития (4-6 баллов). Диапазон средних оценок составил 4,2-5,9 балла. Полученные средние баллы демонстрируют владение участниками неполным объемом дескрипторов компетенций. В результате можно выделить особенность - эффективно действовать только в привычных ситуациях и слабо проявлять себя в нестандартных условиях, выполнять не все задания и не в полном объеме.
Корреляция мнений студентов относительно важных для современного специалиста по управлению персоналом и педагога компетенций, которые участники отметили на этапе регистрации, а также с учетом оценок, полу-
ченных по результатам Конкурса, позволяет сделать следующие выводы:
1. Коммуникативные компетенции. Наиболее важная компетенция, отмеченная участниками во время регистрации на Конкурс, -«взаимодействие с людьми» (48 % конкурсантов указали ее в своих ответах). Средний балл по компетенции 5,7. Исходя из полученных оценок, большая часть участников получила рекомендации направлять усилия на развитие именно этой компетенции, как одной из ключевых для построения карьеры в выбранной профессиональной области.
В первую очередь, необходимо выделить компетенции в области «ведения переговоров», так как на ней был сделан акцент в проведении оценки. Данная компетенция высоко развита у большинства конкурсантов, что отмечалось выше. Участники, набравшие по данной компетенции средние и низкие баллы, получили экспертную рекомендацию о развитии каждого навыка ведения переговоров в отдельности, например в течение трех недель тренировать навык задавания эффективных вопросов, с фиксацией удачных формулировок, или три недели практиковать техники ведения малого разговора, при этом перед собой поставить цель инициировать не менее трех разговоров в день.
2. Проектное мышление и управление проектами. В данной компетенции оценивались поведенческие индикаторы, связанные со способностью определить конкретные цели, спланировать действия и найти баланс между объемом работ, ресурсами, временем, качеством и рисками в работе над проектом. Выделенные студентами в качестве важных ответственность, организация и планирование, самоорганизация и стратегическое мышление можно связать с проявлением в поведении проектного мышления. Интерквартильный размах оценок данной компетенции составил 5,5 балла, есть оценки «0» и «9», что показывает очень разный уровень сформированности проектного мышления участников. В качестве рекомендаций участникам, для кого развитие данной компетенции было определено ключевым на ближайшее время, было предложено работать с каждой задачей как с отдельным проектом -составлять план, анализировать необходимые ресурсы и их возможности, прогнозировать результат, а также входить в состав проектных групп и развивать компетенцию в практической деятельности.
4. Обсуждение результатов и выводы.
В настоящее время возрастает научно-практическая активность ученых и педагогов относительно развития тематики развития и оценки компетенций студентов университетов посредством онлайн-технологий [22]. Актуальность применения цифровых инструментов в оценке компетенций студентов, подбора валидных и надежных методик и технологий определяется вызовом пандемии СОУГО-19, ускорившей внедрение онлайн-инструментов в практику педагогов высшей школы и определившей целый ряд существующих проблем [23]. Проведенный анализ публикаций по вопросам оценки над-профессиональных компетенций, в том числе в онлайн-формате, показал, что тематика актуальна для реализации учебных программ в рамках ФГОС 3++ и приведения уровня развития над-профессиональных компетенций в соответствие с требованиями профессиональных стандартов, утвержденных и действующих в Российской Федерации [1; 9; 22]. Необходимо также подчеркнуть, что проводимые исследования показывают равный уровень значимости профессиональных и надпрофессиональных компетенций специалистов на рынке труда [24; 25]. Проведение оценки надпрофессиональных компетенций в онлайн-формате ассессмент-центра является релевантной формой определения уровня развития компетенций и разработки индивидуальных траекторий развития современных студентов вуза [15; 18].
По результатам проведения Конкурса организаторами была получена обратная связь от всех задействованных в его проведении лиц. Анализ отзывов позволяет выделить ряд моментов, которые необходимо учитывать:
• Обучение экспертов. Помимо обучения технологии ассессмента, обязательно перед проведением мероприятия онлайн следует организовывать обучение экспертов работе с программным обеспечением и цифровыми технологиями, которые будут применяться в синхронном формате. Обучение помогает впоследствии более объективно и точно определить уровень развития цифровых компетенций участников и не отвлекаться на объяснения.
• Автоматизация процессов оценки и сбора данных. Оценочные листы должны быть электронными, информация должна автоматически аккумулироваться в итоговых оценочных листах по участникам ассессмента. Данная настройка позволяет получать быстрые
результаты и нивелировать вычислительные ошибки.
• Подбор и экспертная оценка заданий ассессмента. Поскольку оценка надпрофес-сиональных компетенций осуществляется по нескольким направлениям подготовки, выбор заданий должен подразумевать готовность и способность всех без исключения участников с ними справиться, продемонстрировав определенный набор поведенческих индикаторов.
• Наличие резервного плана. При реализации оценки компетенций онлайн следует учесть технические риски, связанные с качеством интернет-связи, наличием необходимого оборудования у участников и экспертов ассессмен-та. Поэтому на каждое сложное с точки зрения технической организации задание необходимо продумать упрощенную, но релевантную целям оценки форму работы.
Важно отметить ряд преимуществ онлайн-формата, которые выделили участники и организаторы Конкурса:
1. Точность получаемых результатов. Расчет итогов ведется автоматически. Алгоритм подведения результатов можно прописать заранее.
2. Удобство организации оценки. Здесь имеется в виду то обстоятельство, что участники находятся в привычной обстановке, впрочем, как и ведущий, эксперты; возможность гибко спланировать дату и время проведения.
3. Территориальная мобильность. Благодаря онлайн-формату появляется возможность проводить конкурс и принимать в нем участие, находясь в любой географической точке.
4. Бюджетность. Собрать участников из разных регионов в одном месте - это очень затратно, удаленный формат такие затраты значительно снижает.
5. Объективность. Участники оцениваются независимыми экспертами. В каждом упражнении эксперты оценивают разных участников.
Возможные ограничения:
1. Трудозатратность. Если внедрить ас-сессмент-центр в онлайн-формате в регулярную оценку надпрофессиональных компетенций студентов при реализации учебных дисциплин, то в нагрузке преподавателя необходимо заложить дополнительные часы.
2. Высокий уровень экспертности. Преподаватель, осуществляющий оценку компетенций студентов онлайн, должен обладать высо-
кой экспертностью не только в профессиональной области, но и в сфере определения индикаторов компетенций, их набора и подбора упражнений для оценки.
3. Цифровой разрыв. Технические ресурсы университетов и цифровые компетенции преподавателей вузов могут являться ограничением при настройке онлайн-оценки компетенций студентов в формате ассессмент-центра.
Все перечисленные выше ограничения можно нивелировать благодаря созданию еди-
ного онлайн-ресурса, в котором можно будет подобрать компетенции, выбрать упражнения с уже прописанными компетенциями и их индикаторами для их оценки. В научно-исследовательских планах коллектива одной из ключевых задач стоит разработка платформы компетенций, которая будет доступна для применения в педагогической практике для преподавателей и студентов университетов.
Литература
1. Платонова Р. И., Михина Г. Б. Актуальность soft skills в профессиональном плане будущих специалистов // Азимут научных исследований: педагогика и психология. - 2018. - № 4 (25). -С.177-181.
2. Cimatti B. Definition, development, assessment of soft skills and their role for the quality of organizations and enterprises // International Journal for Quality Research. - 2016. - Vol. 10, iss. 1. -P. 97-130.
3. Mann C. R. A study of engineering education. - New York, 1918. - 189 p. - (The Carnegie Foundation for the Advancement of Teaching. Bulletin No. 11).
4. Вдовина С. А., Кунгурова И. М. Сущность и направления реализации индивидуальной образовательной траектории // Науковедение. - 2013. - № 6 (19). - URL: https://naukovedenie.ru/PDF/ 40PVN613.pdf (дата обращения: 24.01.2021).
5. Зеер Э. Ф., Сыманюк Э. Э. Индивидуальные образовательные траектории в системе непрерывного образования // Педагогическое образование в России. - 2014. - № 3. - С. 74-82.
6. Smidt W. Big Five personality traits as predictors of the academic success of university and college students in early childhood education // Journal of Education for Teaching. - 2015. - Vol. 41. -P. 385-403. - DOI: 10.1080/02607476.2015.1080419.
7. Thongthew S. Changes in teacher education in Thailand 1978-2014 // Journal of Education for Teaching. - 2014. - Vol. 40, iss. 5. - P. 543-550. - DOI: 10.1080/02607476.2014.956539.
8. Wats M., Kumar R. Developing Soft Skills in Students // International Journal of Learning. -2009. - Vol. 15, iss. 12. - P. 1-10.
9. Стромов В. Ю., Сысоев П. В., Завьялов В. В. «Школа компетенций» - технология формирования дополнительных компетенций у студентов классического вуза // Высшее образование в России. - 2018. - Т. 25, № 5. - С. 20-29.
10. Сырямкина Е. Г., Румянцева Т. Б., Ливенцова Е. Ю. Практика развития надпрофессио-нальных компетенций студентов в современном университете // Образование и наука. - 2016. -№ 7 (136). - С. 117-135. - DOI: 10.17853/1994-5639-2016-7-117-135.
11. Beard D., Schweiger D., Surendran K. Integrating Soft Skills Assessment through University, College, and Programmatic Efforts at an AACSB Accredited Institution // Journal of Information Systems Education. - 2008. - Vol. 19, iss. 2. - P. 229-240.
12. Torrance H. Assessment as learning? How the use of explicit learning objectives, assessment criteria and feedback in post - secondary education and training can come to dominate learning // Assessment in Education: Principles, Policy & Practice. - 2007. - Vol. 14, iss. 3. - P. 281-294. - DOI: 10.1080/09695940701591867.
13. Paulson F. L., Paulson P. R., Meyer C. A. What makes a portfolio a portfolio // Educational leadership. - 1991. - Vol. 48, iss. 5. - P. 60-64.
14. Tochel C., Haig A., Hesketh A., Cadzow A., Beggs K., ColthartI., PeacockH. The effectiveness of portfolios for post-graduate assessment and education: BEME Guide No 12 // Medical Teacher. -2009. - Vol. 31, iss. 4. - P. 299-318. - DOI: 10.1080/01421590902883056.
15. Nikolaeva M. А., Pesha A. V., Shramko N. V. Assessment of Students' Supra-Professional Competencies in an Online Format // ISCDE 2020 : 2nd International Scientific and Practical Conference on Digital Economy. - Atlantis Press, 2020. - P. 138-145. - DOI: 10.2991/aebmr.k.201205.022.
16. Stange C., Helker H. Assessment of innovation behaviour-how to train the assessors of complex competencies // INTED2018 Proceedings : 12th International Technology, Education and Development Conference, March 5-7, 2018, Valencia, Spain. - IATED, 2018. - P. 5665-5673. - DOI: 10.21125/inted.2018.1348.
17. Mayeshiba M., Jansen K. R., Mihlbauer L. An Evaluation of Critical Thinking in Competency-Based and Traditional Online Learning Environments // Online Learning. - 2018. - Vol. 22, iss. 2. -P. 77-89. - DOI: 10.24059/olj.v22i2.1365.
18. Oliver T., Hausdorf O. T., Lievens F., Conlon P. Interpersonal dynamics in assessment center exercises: Effects of role player portrayed disposition // Journal of Management. - 2016. - Vol. 42, iss. 7. -P.1992-2017.
19. Pereira D., Flores M., Niklasson L. Assessment revisited: A review of research in assessment and evaluation in higher education // Assessment & Evaluationin Higher Education. - 2016. - Vol. 41, iss. 7. - P. 1008-1032.
20. Rashidi Abbas F. A. A. K., Azmie I. A. G. Integrating soft skills assessment through soft skills workshop program for engineering students at University of Pahang: an analysis // International Journal of Research in Social Sciences. - 2013. - Vol. 2, iss. 1. - P. 33-46.
21. Климов Е. А. Психология профессионального самоопределения. - Ростов н/Д. : Феникс, 1996. - 304 c.
22. Пеша А. В. Развитие надпрофессиональных компетенций студентов в формате онлайн // Мир науки. Педагогика и психология. - 2020. - № 3, Т. 8. - URL: https://mir-nauki.com/PDF/83PDMN320.pdf.
23. Williamson B., Eynon R., Potter J. Pandemic politics, pedagogies and practices: digital technologies and distance education during the coronavirus emergency // Learning, Media and Technology. -2020. - Vol. 45, iss. 2. - P. 107-114. - DOI: 10.1080/17439884.2020.1761641.
24. Higson A. H. Graduate employability, 'soft skills' versus 'hard' business knowledge: A European study // Higher education in Europe. - 2008. - Vol. 33, iss. 4. - P. 411-422.
25. Ritter B. A., Small E. E., Mortimer J. W., Doll J. L. Designing management curriculum for workplace readiness: Developing students' soft skills // Journal of Management Education. - 2018. -Vol. 42, iss. 1. - P. 80-103.
References
1. Platonova R.I., Mikhina G.B. Soft skills actuality in the professional plan of future specialists. Azimuth of scientific research: pedagogy and psychology, 2018, no. 4 (25), pp. 177-181. (in Russian).
2. Cimatti B. Definition, development, assessment of soft skills and their role for the quality of organizations and enterprises. International Journal for Quality Research, 2016, Vol. 10, iss. 1, pp. 97-130.
3. Mann C.R. A study of engineering education, The Carnegie Foundation for the Advancement of Teaching, Bulletin No. 11. New York, 1918. 189 p.
4. Vdovina S., Kungurova I. The nature and directions of the individual educational trajectory. Naukovedenie, 2013, no. 6 (19), available at: https://naukovedenie.ru/PDF/40PVN613.pdf (accessed: January 24, 2021). (in Russian).
5. Zeer E.F., Symaniuk E.E. Individual educational trajectories in the system of continuous education. Pedagogical Education in Russia, 2014, no. 3, pp. 74-82. (in Russian).
6. Smidt W. Big Five personality traits as predictors of the academic success of university and college students in early childhood education. Journal of Education for Teaching, 2015, Vol. 41, pp. 385403. DOI: 10.1080/02607476.2015.1080419.
7. Thongthew S. Changes in teacher education in Thailand 1978-2014. Journal of Education for Teaching, 2014, Vol. 40, iss. 5, pp. 543-550. DOI: 10.1080/02607476.2014.956539.
8. Wats M., Kumar R. Developing Soft Skills in Students. International Journal of Learning, 2009, Vol. 15, iss. 12, pp. 1-10.
9. Stromov V.Yu., Sysoyev P.V., Zavyalov V.V. "School of competencies" as a technology for the development of students' additional competencies at classical university. Higher Education in Russia, 2018, Vol. 27, no. 5, pp. 20-29. (in Russian).
10. Syryamkina E.G., Rumyantseva T.B., Liventsova E.Yu. Practice of development of students' additional interdisciplinary competencies in a modern university. The Education and Science Journal, 2016, no. 7 (136), pp. 117-135. DOI: 10.17853/1994-5639-2016-7-117-135. (in Russian).
11. Beard D., Schweiger D., Surendran K. Integrating Soft Skills Assessment through University, College, and Programmatic Efforts at an AACSB Accredited Institution. Journal of Information Systems Education, 2008, Vol. 19, iss. 2, pp. 229-240.
12. Torrance H. Assessment as learning? How the use of explicit learning objectives, assessment criteria and feedback in post - secondary education and training can come to dominate learning. Assessment in Education: Principles, Policy & Practice, 2007, Vol. 14, iss. 3, pp. 281-294. DOI: 10.1080/09695940701591867.
13. Paulson F.L., Paulson P.R., Meyer C.A. What makes a portfolio a portfolio. Educational leadership, 1991, Vol. 48, iss. 5, pp. 60-64.
14. Tochel C., Haig A., Hesketh A., Cadzow A., Beggs K., Colthart I., Peacock H. The effectiveness of portfolios for post-graduate assessment and education: BEME Guide No. 12. Medical Teacher, 2009, Vol. 31, iss. 4, pp. 299-318. DOI: 10.1080/01421590902883056.
15. Nikolaeva M.A., Pesha A.V., Shramko N.V. Assessment of Students' Supra-Professional Competencies in an Online Format, in: ISCDE 2020, 2nd International Scientific and Practical Conference on Digital Economy, Atlantis Press, 2020, pp. 138-145. DOI: 10.2991/aebmr.k.201205.022.
16. Stange C., Helker H. Assessment of innovation behaviour-how to train the assessors of complex competencies, in: INTED2018 Proceedings, 12th International Technology, Education and Development Conference, March 5-7, 2018, Valencia, Spain, IATED publ., 2018, pp. 5665-5673. DOI: 10.21125/inted.2018.1348.
17. Mayeshiba M., Jansen K.R., Mihlbauer L. An Evaluation of Critical Thinking in Competency-Based and Traditional Online Learning Environments. Online Learning, 2018, Vol. 22, iss. 2, pp. 77-89. DOI: 10.24059/olj.v22i2.1365.
18. Oliver T., Hausdorf O.T., Lievens F., Conlon P. Interpersonal dynamics in assessment center exercises: Effects of role player portrayed disposition. Journal of Management, 2016, Vol. 42, iss. 7, pp. 1992-2017.
19. Pereira D., Flores M., Niklasson L. Assessment revisited: A review of research in assessment and evaluation in higher education. Assessment & Evaluationin Higher Education, 2016, Vol. 41, iss. 7, pp. 1008-1032.
20. Rashidi Abbas F.A.A.K., Azmie I.A.G. Integrating soft skills assessment through soft skills workshop program for engineering students at University of Pahang: an analysis. International Journal of Research in Social Sciences, 2013, Vol. 2, iss. 1, pp. 33-46.
21. Klimov E.A. Psikhologiya professional'nogo samoopredeleniya [Psychology of professional self-determination]. Rostov-on-Don, Feniks publ., 1996. 304 p. (in Russian).
22. Pesha A.V. Students supra-professional competencies development in the online format. World of Science. Pedagogy and psychology, 2020, No. 3, vol. 8, available at: https://mir-nauki.com/PDF/83PDMN320.pdf. (in Russian).
23. Williamson B., Eynon R., Potter J. Pandemic politics, pedagogies and practices: digital technologies and distance education during the coronavirus emergency. Learning, Media and Technology, 2020, Vol. 45, iss. 2, pp. 107-114. DOI: 10.1080/17439884.2020.1761641.
24. Higson A.H. Graduate employability, 'soft skills' versus 'hard' business knowledge: A European study. Higher education in Europe, 2008, Vol. 33, iss. 4, pp. 411-422.
25. Ritter B.A., Small E.E., Mortimer J.W., Doll J.L. Designing management curriculum for workplace readiness: Developing students' soft skills. Journal of Management Education, 2018, Vol. 42, iss. 1, pp. 80-103.
Сведения об авторах
Пеша Анастасия Владимировна - канд. экон. наук, доцент кафедры экономики труда и управления персоналом
Адрес для корреспонденции: 620144, Россия, Екатеринбург, ул. 8 Марта / Народной Воли, 62/45 E-mail: [email protected] ORCID: 0000-0002-7614-3118 Scopus AuthorlD: 57216646149 ResearcherlD: M-4223-2017 РИНЦ AuthorlD: 864622
Шавровская Марина Николаевна - канд. экон. наук, доцент кафедры экономики труда и управления персоналом
Адрес для корреспонденции: 620144, Россия, Екатеринбург, ул. 8 Марта / Народной Воли, 62/45 E-mail: [email protected] ORCID: 0000-0001-8137-4829 РИНЦ AuthorlD: 593628
Николаева Марина Алексеевна - канд. пед. наук, доцент кафедры педагогики и педагогической компаративистики Института общественных наук Адрес для корреспонденции: 620144, Россия, Екатеринбург, пр. Космонавтов, 26 E-mail: [email protected] РИНЦ AuthorlD: 733175
Вклад авторов
Пеша А.В. - планирование исследования, постановка целей и задач, руководство проведением исследования; сбор информации; анализ данных; разработка методики исследования; визуализация и представление данных
Шавровская М.Н. - сбор информации; анализ данных; разработка методики исследования; визуализация и представление данных Николаева М.А. - сбор информации; разработка методики исследования; визуализация и представление данных
About the authors
Anastasia V. Pesha - PhD in Economic Sciences, Associate Professor of the Labour Economics and Personnel Management Department Postal address: 62/45, 8 Marta / Narodnoi Voli ul., Yekaterinburg, 620144, Russia E-mail: [email protected] ORCID: 0000-0002-7614-3118 Scopus AuthorlD: 57216646149 ResearcherlD: M-4223-2017 RSCI AuthorlD: 864622
Marina N. Shavrovskaya - PhD in Economic Sciences, Associate Professor of the Labour Economics and Personnel Management Department Postal address: 62/45, 8 Marta / Narodnoi Voli ul., Yekaterinburg, 620144, Russia E-mail: [email protected] ORCID: 0000-0001-8137-4829 RSCI AuthorlD: 593628
Marina A. Nikolaeva - PhD in Pedagogical Sciences, Associate Professor of the Department of Pedagogy and Pedagogical Comparative Studies of the Institute of Social Sciences
Postal address: 26, Kosmonavtov pr., Yekaterinburg, 620144, Russia
E-mail: [email protected] RSCI AuthorID: 733175
Authors' contributions
Pesha A.V. - Conceptualization Ideas, Data curation, Formal analysis, Investigation, Methodology and project, Visualization, Writing - review Shavrovskaya M.N. - Formal analysis, Investigation, Methodology and project, Visualization, Writing - review Nikolaeva M.A. - Formal analysis, Methodology and project, Visualization, Writing - review
Для цитирования
Пеша А. В., Шавровская М. Н., Николаева М. А. Ас-сессмент-центр компетенций онлайн: возможности и методология // Вестник Омского университета. Серия «Экономика». - 2021. - Т. 19, № 2. - С. 56-68. - DOI: 10.24147/1812-3988.2021.19(2).56-68.
For citations
Pesha A.V., Shavrovskaya M.N., Nikolaeva M.A. Opportunities and methodology of competence assessment center in online format. Herald of Omsk University. Series "Economics", 2021, Vol. 19, no. 2, pp. 56-68. DOI: 10.24147/1812-3988.2021.19(2).56-68. (in Russian).
