CC BY
21
УДК 159.9.072
МЕТОДОЛОГИЯ ОТБОРА СУБЪЕКТА АКМЕОЛОГИЧЕСКОИ
КВАЛИМЕТРИИ
Кириченко Александр Викторович — доктор психологических наук, профессор кафедры акмеологии и психологии профессиональной деятельности Института общественных наук Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (РАНХиГС); пр. Вернадского, 84, Москва, Россия, 119606; e-mail: [email protected]
Жук Игорь Александрович — кандидат экономических наук, доцент кафедры Института права и национальной безопасности Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (РАНХиГС); пр. Вернадского, 84, Москва, Россия, 119606; e-mail: [email protected]
РЕЗЮМЕ
Данная работа посвящена технологиям отбора субъекта акмеологической квалиметрии. Авторы обосновывают необходимость использования достижения квалиметрической науки для уменьшения погрешности и увеличения надёжности полученных результатов, существенно влияющих на эффективность профессиональной деятельности.
Рассмотрены различные подходы к отбору субъекта акмеологической квалиметрии. Приведено обоснование акмеологической квалиметрии как прикладного направления, предметом которого является разработка методологических основ измерительных процедур в ак-меологии.
Доказывается острая потребность овладения новыми методами, методиками и технологиями акмеологической квалиметрии профессиональной деятельности специалистов различного профиля.
Обоснована актуальность использования валидных квалиметрических процедур в акмеологической науке. Предложена компьютерная модель сбора информации по субъекту акмеологической квалиметрии.
Ключевые слова: акмеология, квалиметрия, акмеологическая квалиметрия, профессиональная деятельность, модель сбора информации по субъекту акмеологической квалиметрии, экспертное оценивание, эксперт, анкета, тест, интервью.
Успешное завоевание акмеологической наукой доминирующего положения в системе научных
дисциплин современного человековедения продиктовано высокой востребованностью в подготовке профессионалов третьего тысячелетия, а также необходимостью достижения такого уровня развития акмеологической методологии, который способен обеспечить высокую эффективность профессиональной деятельности. При этом акмеологическая квалиметрия, предметом которой является разработка валидной методологии оценочных процедур акмеологии, играет в этом процессе доминирующую роль [2].
Важной составляющей технологии оценивания является процедура отбора субъекта акмеологической квалиметрии, который выступает, по сути дела, в качестве эксперта.
В работах таких известных учёных, как Г.Г. Аз-гальдов, С.Д. Бешелев, Л.Г. Евланов, Ф.Г. Гурвич, О.И. Ларичев, Б.Г. Литвак, Д.А. Новиков, А.И Орлов, И.П. Райхман, Ю.В. Сидельников и многих других авторов рассмотрены процедуры отбора экспертов [1; 3-6; 8-10; 14-16].
При этом используются различные подходы к подбору субъектов измерительных процедур — экспертов.
Так, в работе Л.Г. Евланова [7] для отбора экспертов применяется следующая процедура.
1. Выбирается группа специалистов.
2. Строится матрица мнений специалистов о коллегах.
3. Обрабатываются результаты оценки.
4. Формируется экспертная группа.
Математическая модель этой процедуры содержит следующие алгоритмы.
По результатам опроса специалистов переменная Ху принимает следующие значения:
Xij =
1, если .¡-й специалист назвад ьго специалиста 0, если ^й специалист нен^вад ьго специалиста
Причём каждый специалист может включать или не включать себя в экспертную группу. По данным матрицы вычисляются коэффициенты компетентности как относительные веса специалистов по формуле
Е'
к = —-0 = 1 т)
ЕЕ х
I =1 у=1
где к,- — коэффициент компетентности /-го специалиста, претендующего войти в экспертную группу, т — количество специалистов. Коэффициенты компетентности нормированы так, что их сумма равна единице:
Е k = i.
I=1
Следующим способом отбора субъектов измерительных процедур является анкетирование, которое представляет собой опрос экспертов с помощью заранее составленной анкеты [3; 6]. В анкете содержатся вопросы, которые можно классифицировать по содержанию и типу. По содержанию вопросы делятся на три группы.
1. Объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т.д.).
2. Основные вопросы по сути анализируемой проблемы.
3. Дополнительные вопросы, позволяющие выяснить источники информации, аргументацию ответов, самооценку компетентности эксперта и т.п.
По типу вопросы анкеты классифицируются на открытые, закрытые и с веером ответов.
Открытые вопросы предполагают ответ в произвольной форме. Закрытые вопросы — это вопросы, на которые ответ может быть дан в виде «да», «нет», «не знаю». Вопросы с веером ответов предполагают, что эксперт выберет один из совокупности предлагаемых ответов.
Открытые вопросы целесообразно применять в случае большой неопределённости проблемы. Этот тип вопросов позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.
Закрытые вопросы применяются в случае рассмотрения чётко определённых альтернативных вариантов, когда требуется определить степень большинства мнений по этим альтернативам. Обработка закрытых вопросов не вызывает каких-либо трудностей.
Вопросы с веером ответов целесообразно использовать при наличии нескольких определённых альтернативных вариантов. Эти варианты формируют для ориентации экспертов по возможному кругу направлений решения проблемы. Для получения более детальной информации по каждому вопросу могут быть предложены порядковая и балльная шкалы. Эксперт по каждому ответу выбирает значение порядковой и балльной оценок. Например, значениями оценки порядковой шкалы могут быть такие: «очень хорошо», «хорошо», «удовлетворительно», «неудовлетворительно» или «значительно», «незначительно», «не влияет».
Если анкетирование проводится в несколько туров, то при большой сложности и неопределённости проблемы целесообразно использовать в первом туре открытые вопросы, а в последующих турах — вопросы с веером ответов и закрытые вопросы.
Интервьюирование — это устный опрос, проводимый в форме беседы-интервью. До начала беседы интервьюер готовит несколько вопросов эксперту. Характерной особенностью этих вопросов является возможность быстрого ответа на них, поскольку интервьюируемый практически не имеет времени на его обдумывание.
Тематика интервью может сообщаться эксперту заранее, но конкретные вопросы ему задают непосредственно в процессе беседы. Целесообразно в связи с этим готовить последовательность вопросов, которая начинается с простого вопроса, а затем вопросы постепенно усложняются, но вместе с тем и конкретизируются.
Достоинством интервью является непрерывный живой контакт интервьюера с экспертом, что позволяет быстро получить необходимую информацию путём прямых и уточняющих вопросов в зависимости от ответов эксперта.
Недостатками интервью являются возможность сильного влияния интервьюера на ответы эксперта, а также отсутствие у эксперта времени для глубокого продумывания ответов и большие временные затраты на опрос всего состава экспертов.
Интервьюер должен хорошо знать анализируемую проблему, уметь чётко формулировать вопросы, создавать непринуждённую обстановку и уметь слушать.
Метод Дельфы представляет собой многотуро-вую процедуру с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. Название метода взято из истории Дельфийского оракула.
В первом туре опроса методом Дельфы экспертам предлагаются вопросы, на которые они дают ответы без аргументирования. Известные примеры использования метода Дельфы связаны с постановкой вопросов, требующих в качестве ответов числовой оценки параметров. Полученные от экспертов данные обрабатываются с целью выделения среднего значения, или медианы, и крайних значений оценок. Экспертам сообщаются результаты первого тура опроса с указанием расположения оценок каждого из них. Если оценка эксперта сильно отклоня-
j
ется от среднего значения, то его просят аргументировать своё мнение или изменить оценку.
Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Если после первого тура производилась корректировка оценок, то результаты обработки второго тура содержат новые средние и крайние значения оценок экспертов. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои ответы, пояснив причины корректировки.
Проведение последующих туров осуществляется по аналогичной процедуре. Обычно после третьего или четвёртого тура оценки экспертов стабилизируются, что и служит критерием прекращения дальнейшего опроса.
Процедура опроса с сообщением результатов обработки после каждого тура обеспечивает лучшее согласование мнений экспертов, поскольку эксперты, давшие сильно отклоняющиеся оценки, вынуждены критически осмыслить свои ответы и обстоятельно их аргументировать. Необходимость аргументации или корректировки экспертами своих оценок не означает, что целью экспертизы является получение полной согласованности мнений экспертов. Конечным результатом может оказаться выявление двух или более групп мнений, отражающих принадлежность экспертов к различным научным школам, ведомствам или категориям лиц. Получение такого результата также является полезным, поскольку позволяет выявить наличие различных точек зрения и поставить задачу проведения исследований в данной области. Метод Дельфы поддаётся компьютеризации, что значительно повышает его эффективность при решении проблемных ситуаций.
Мозговой штурм представляет собой групповое обсуждение с целью получения новых идей, вариантов решений проблемы [4; 5; 8-10]. Мозговой штурм часто называют также мозговой атакой, или методом генерации идей. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений трудных проблем, когда известные пути и способы их решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний.
Методика проведения процедуры мозгового штурма заключается в следующем. Осуществляется подбор экспертов в группу до 20-25 человек, в которую включаются специалисты по решаемой проблеме и люди, обладающие широкой эрудицией и богатой фантазией, причём хорошее знание ими рассматриваемой проблемы вовсе не обязательно. Желательно включение в группу лиц, занимающих одинаковое служебное и общественное положение, что обеспечивает большую независимость высказываний и создание атмосферы равноправия.
Для проведения сеанса мозгового штурма назначается ведущий, основной задачей которого является управление ходом обсуждения, направленного на
решение поставленной проблемы. В начале сеанса ведущий объясняет содержание и актуальность проблемы, а также правила её обсуждения и предлагает для рассмотрения одну-две идеи.
Сеанс продолжаётся примёрно 40-45 минут без перерыва, каждому эксперту для выступления предоставляется 2-3 минуты. В своём выступлении эксперты должны стремиться выдвинуть как можно больше новых, на первый взгляд, может быть, фантастических идей или развивать ранее высказанные идеи, дополняя и углубляя их. Важным требованием к выступлениям является конструктивный характер идей и предложений. Они должны быть направлены на решение обсуждаемой проблемы. Ведущий и все члены группы должны своими действиями и высказываниями способствовать созданию синхронно работающей коллективной мысли, возбуждению мыслительных процессов, что существенно влияет на результативность обсуждения.
В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.
Выступления экспертов фиксируются путём стенографирования или магнитофонной записи и после окончания сеанса подвергаются анализу, который заключается в группировке и классификации высказанных идей по оценке степени их полезности и возможности реализации. Примерно через сутки или двое после проведения сеанса экспертов просят сообщить, не возникли ли у них ещё какие-либо новые идеи решения проблемы. Эксперименты показывают, что если в процессе сеанса была создана хорошая творческая атмосфера с активным участием всех экспертов в работе, то после окончания обсуждения в мозгу человека продолжается процесс генерации и анализа своих и других предложений, который протекает не только осознанно, но и подсознательно. В результате сопоставления высказываний, проведения аналогий и обобщения эксперты часто примерно через сутки формулируют наиболее ценные предложения и идеи. Поэтому сбор информации по возможным новым идеям способствует повышению эффективности метода мозгового штурма.
Ещё один вид экспертизы — дискуссия — широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п. [14; 15; 16]. Для проведения дискуссий формируется группа экспертов, состав которой не превышает 20 человек. Люди, осуществляющие подготовку дискуссии, проводят предварительный анализ проблем дискуссии с целью чёткой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.
Сама дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление позиций и интересов участников.
Рис. 1. Структура экспертного опросника
В ходе дискуссии разрешается критика. Важную роль в проведении дискуссии играет ведущий. От его умения создать творческую благожелательную атмосферу, выступить с чёткой постановкой проблемы, кратко и глубоко резюмировать выступления и, главное, умело направить ход дискуссии на решение проблемы существенно зависит эффективность результатов обсуждения.
Дискуссия может длиться несколько часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления участников дискуссии, на проведение перерывов. Следует иметь в виду, что во время перерывов дискуссия продолжается, т.е. имеют место кулуарные обсуждения. В связи с этим не следуем делать перерывы слишком короткими, поскольку локальные обсуждения очень часто дают положительный эффект.
Результаты дискуссии фиксируются в виде стенограмм. По окончании дискуссии проводится анализ этих записей для более чёткого представления основных результатов и выявления различий мнений. Также примерно через сутки после окончания дискуссии может быть собрана дополнительная информация от экспертов.
Кроме описанных выше известных процедур отбора субъектов измерительных процедур, нами на основе экспертных оценок разработана и апробирована компьютерная тестовая модель процедуры отбора субъекта акмеологической квалиметрии.
Для отбора субъекта акмеологической квалиметрии предлагается приведённая ниже компьютерная модель, основанная на заданиях и методах, полученных от самих экспертов (см. рис. 1).
Экспертный опросник составляет эксперт, который обладает следующими базовыми компетенциями [2; 11—13]:
• владение родным языком;
• владение международным языком;
• владение математикой;
• владение информатикой;
• владение коммуникациями;
• владение способностью к самообучению.
АЛГОРИТМ РАБОТЫ МОДЕЛИ
1. Эксперт готовит тестовое задание с эталонными, по его мнению, ответами на это тестовое задание и определяет вес тестового задания по пятибалльной шкале.
2. Эксперт каждому эталонному ответу должен определить вес по пятибалльной шкале.
3. Испытуемый претендент на позицию эксперт должен в произвольной форме ввода с клавиатуры ответить на это тестовое задание.
4. В компьютерной модели сохраняется ответ испытуемого и рассчитывается коэффициент ответа на это тестовое задание.
Тестовое задание создаётся в виде графического объекта и хранится
в форме таблицы.
ЗАКЛЮЧЕНИЕ
Применение данной компьютерной модели позволит оценить субъекта акмеологической квалиметрии с учётом заданий, созданных их коллегами, и тем самым определить компетенции экспертов для любой предметной области.
ССЫЛКИ
[1]. Галантэ М.В. Акмеологическая оценка как средство оптимизации профессиональной деятельности кадров государственной службы. — М.: МААН, 2009.
[2]. Кириченко А.В., Жук И.А. Перспективы развития ак-меологической квалиметрии профессиональной деятельности // Акмеология. 2016. № 2.
[3]. Новикова Т.Г. Экспертиза инновационной деятельности в образовании. — Томск: Изд-во Томского университета, 2005.
[4]. Литвак Б.Г. Экспертные технологии в управлении: Учебное пособие.— 2-е изд., испр. и доп. — М.: Дело, 2004.
[5]. Трояновский В.М. Математическое моделирование в менеджменте: Учебное пособие. — М.: Русская деловая литература, 1999.
[6]. Варжапетян А.Г. Квалиметрия: Учебное пособие. — СПб.: ГУАП, 2005.
[7]. Евланов Л.Г. Теория и практика принятия решений — М.: Экономика, 1984.
[8]. Райхман Э.П. Азгальдов Г.Г. Экспертные методы в оценке качества товаров. — М.: Экономика, 1974.
[9]. Азгальдов Г.Г. Квалиметрия для всех: Учебное пособие / Г.Г. Азгальдов, А.В. Костин, В.В. Садовов. — М.: ИД «Информ Знание», 2012.
[10]. Азгальдов Г.Г., Костин А.В. Квалиметрия и метрология: вопросы идентификации // Мир измерений. 2010. № 1.
[11]. Рекомендации Парламента и Совета Европы от 18 декабря 2006 года о ключевых компетенциях обучения в течение жизни (2006/962/EC).
[12]. Кириченко А.В., Шеремета И.В. Психолого-ак-меологические особенности развития профессиональных
способностей специалистов юридического консалтинга // Право и жизнь. 2013. № 178(4).
[13]. Кириченко А.В., Барложецкая Н.Ф. Акмеологиче-ский анализ причин ошибок экспертной оценки профессиональной деятельности // Акмеология. 2013. № 1(45).
[14]. Френкель А.А. Анализ факторов роста производительности труда с помощью экспертных оценок. Статистические методы анализа экспертных сценок. — М.: Наука, 1977.
[15]. Черепанов Б.С. Экспертные оценки в педагогических исследованиях. — М.: Педагогика, 1989.
[16]. Эккерсон У. Панели индикаторов как инструмент управления: ключевые показатели эффективности, мониторинг деятельности, оценка результатов. — М.: Альпина Бизнес Букс, 2007.
METHODOLOGY FOR ACMEOLOGICAL QUALIMETRY SUBJECT SELECTION
Alexander V. Kirichenko, Doctor of Psychological Sciences, Professor of the Department of Acmeology and Psychology of Professional Activities at the Institute of Social Sciences of the Russian Presidential Academy of National Economy and Public Administration (RANEPA); 84, pr. Vernadskogo, 119606 Russia; [email protected]
Igor A. Zhuk, Candidate of Economic Sciences, Associate Professor at the Institute of Law and National Security of the Russian Presidential Academy of National Economy and Public Administration (RANEPA); 84, pr. Vernadskogo, 119606 Russia; e-mail address: [email protected]
ABSTRACT
This work is dedicated to technologies of selection of acmeological qualimetry subjects. The authors substantiate the need to use the achievements of qualimetry to reduce errors and increase the reliability of the obtained results which significantly influence the effectiveness of professional activities.
Various approaches to selection of acmeologi-cal qualimetry subjects were examined. Acmeologi-cal qualimetry was substantiated as engineering approach the scope of which is the development of methodological bases of measurement procedures in acmeology.
The authors showed the dire need for mastering new techniques, methods and technologies of acmeological qualimetry of professional activities carried out by various specialists.
The article shows the timeliness of use of valid qualimetry procedures in acmeology. A computer model of information collected on subjects of acmeological qualimetry is proposed.
Keywords: acmeology, qualimetry, acmeological qualimetry, professional activities, model of gathering information on acmeological qualimetry subjects, expert evaluation, expert, questionnaire, test, interview.
REFERENCES
[1]. GalantjeM.V. Akmeologicheskaja ocenka kak sredstvo optimizacii professional'noj dejatel'nosti kadrov gosudarstven-noj sluzhby [Akmeologik score as a means of optimizing the professional activity of public service personnel] — Moscow, 2009.
[2]. Kirichenko A.V., Zhuk I.A. Perspektivy razvitija akme-ologicheskoj kvalimetrii professional'noj dejatel'nosti [Prospects of development of akmeologiceskoj help of quality control of professional activity] // Akmeology. 2016. № 2.
[3]. Novikova T.G. Jekspertiza innovacionnoj dejatel'nosti v obrazovanii.[Examination of innovation in education], Moscow, 2005.
[4]. LitvakB.G. Jekspertnye tehnologii v upravlenii: Uchebn. posobie.[Expert technologies in management] — 2-e izd., ispr. i dop. — Moscow, Delo, 2004, S. 86.
[5]. Trojanovskij V.M. Matematicheskoe modelirovanie v menedzhmente [Mathematical modeling in management] Ucheb-noe posobie. — Moscow: Russkaja Delovaja Literatura. 1999, S. 149.
[6]. VarzhapetjanA.G. Kvalimetrija: Ucheb. posobie. [Qualimetry]: S-Peterburg.— 2005. 176 s.
[7]. EvlanovL.G. Teorija i praktika prinjatija reshenij [Theory and practice of decision making] — Moscow.: Jekonomika. 1984.
[8]. Rajhman Je. P. Azgal'dov G.G. Jekspertnye metody v ocenke kachestva tovarov [Expert methods in the evaluation of product quality] Moscow: Jekonomika 1974.
[9]. Azgal'dov G.G. Kvalimetrija dlja vseh Qualimetry for all] Ucheb. posobie/ G. G. Azgal'dov, A.V. Kostin, V.V. Sadovov. Moscow.: ID Inform Znanie, 2012. 165 s.
[10]. Azgal'dov G.G., KostinA.V. Kvalimetrija i metrologi-ja: voprosy identifikacii // Mir izmerenij. 2010. № 1.
[11]. Rekomendacii Parlamenta i Soveta Evropy ot 18 deka-brja 2006 goda o kljuchevyh kompetencijah obuchenija v techenie zhizni The recommendation of the Parliament and of the Council of December 18, 2006 on key competences learning for life] 2006/962/EC).
[12]. Kirichenko A.V., Sheremeta I.V. Psihologo-akmeo-logicheskie osobennosti razvitija professional'nyh sposobnostej specialistov juridicheskogo konsaltinga [// Pravo i zhizn'. 2013. № 178 (4).
[13]. KirichenkoA.V., BarlozheckajaN.F. Akmeologicheskij analiz prichin oshibok jekspertnoj ocenki professional'noj dejatel'nosti [Achmeological analysis of the causes of errors of expert evaluation of professional activity] Akmeology. 2013. № 1 (45).
[14]. Frenkel'A.A. Analiz faktorov rosta proizvoditel'nos-ti truda s pomoshh'ju jekspertnyh ocenok. Statisticheskie metody analiza jekspertnyh scenok Analysis of the factors of productivity growth using expert estimates. [Statistical methods for analysis of expert scenes] Moscow, 1977.
[15]. Cherepanov B.S. Jekspertnye ocenki v pedagogicheskih issledovanijah [Expertise in pedagogical research]. Moscow, 1989.
[16]. Jekkerson U.U. Paneli indikatorov kak instrument up-ravlenija: kljuchevye pokazateli jeffektivnosti, monitoring dejatel'nosti, ocenka rezul'tatov [Panel indicators as a management tool: key performance indicators, monitoring activities, assessment of the results]. Moscow, 2007.
