CC BY
20
Т. В. ЧИБИКОВА Кандидат ист. наук, доцент кафедры «Организация и управление наукоемкими производствами».
Омский государственный технический университет. Область научных интересов: управление персоналом, маркетинг.
E-mail: [email protected]
УДК 338.242.2
атья посвящена актуальной проблеме оценки эффективности консалтинговых методов. Управленческий консалтинг - развивающаяся сфера деятельности. Организационная диагностика является начальным этапом и во многом определяет будущий результат консалтинговой услуги. Выдвинута гипотеза, что экспертная оценка является оптимальной методикой в данных условиях. При проведении оценки эффективность методов оценивается с учетом затрат и результатов, и те и другие должны быть разбиты на ряд элементов. Именно эти элементы и подлежали оценке со стороны экспертов. Для подтверждения валидности полученных результатов используются статистические показатели: дисперсия случайной величины, стандартное отклонение и коэффициент вариации, которые подтверждают (или опровергают) результаты опроса экспертов. Для апробации методики был проведен опрос экспертов из числа сотрудников консалтинговых компаний г. Омска. Данные опроса подвергнуты анализу. Далее был сделан вывод о валидности полученных результатов опроса и возможности их практического применения.
Практическая значимость проведенного исследования заключается в возможности применения методики опроса экспертов на практике. Целью подобных опросов станет регулярная переоценка и выявление необходимости использования для конкретных консалтинговых услуг определенных методов организационной диагностики.
управленческий консалтинг, организационная диагностика, эффективность метода, опрос экспертов, дисперсия случайной величины, стандартное отклонение, коэффициент вариации, затраты в управленческом консалтинге, результат, гистограмма
Современные тренды
информатизации финансового маркетинга
Введение
В настоящее время активное развитие рыночных отношений привело к ускорению темпов развития такой сферы деятельности, как управленческое консультирование. В регионах России формирование рынка управленческого консультирования идет достаточно быстрыми темпами, это выражается в увеличении спроса на консультационные услуги.
Любая консультационная услуга предоставляется как набор методов. Первым и ключевым этапом является организационная диагностика. Именно поэтому оценка эффективности методов организационной диагностики играет важную роль в управленческом консалтинге (Алпатова Е. А., 2012), тем более что его результаты, качествен-
ные и количественные, с трудом поддаются оценке (Иванов М. А., 2012, с. 128).
В статье представлены теоретическое обоснование и разработка методики оценки эффективности методов организационной диагностики с использованием экспертного опроса.
В ряде отечественных и зарубежных исследований приведены методики оценки эффективности методов оргдиагностики. Так, В. А. Каска, К. Келли, Е. В. Христенсен предложили использовать для этих целей чувствительность (по отношению к практическим ситуациям), надежность (константная информация в стабильных условиях), конвергентность и дискриминантную валидность. Собственно критериями оценки эффективности яв-
ляются низкая стоимость, очевидная валидность, статистическая валидность, надежность, уровень анализа, требуемое число участников, гибкость, способность давать качественные данные, оперативность (Caska B. А., Kelley K., Christensen E. W., 2007).
А. О. Блинов, Г. Н. Бутырин, Е. В. Добренько-ва предлагают экономическую оценку эффективности всех методов управленческого консалтинга, в том числе организационной диагностики, с опорой на прирост валовой прибыли, снижение издержек, прирост объема валовой продукции (Блинов А. О., Бутырин Г. Н., Добренькова Е. В., 2002, с. 49).
Мы же выдвигаем гипотезу о том, что экспертный опрос является оптимальным способом оценки эффективности методов диагностики. Основным критерием оптимальности является возможность оценивать как количественные (исчисляемые), так и качественные (неисчисляемые) показатели. Именно экспертный метод позволяет давать оценку указанным группам показателей по единой оценочной шкале.
Апробация
Данная методика была апробирована на проекте, в котором было задействовано четыре консультанта и который был реализован в Омске. Данный проект был направлен на создание системы оценки персонала на предприятии. Проект длился 2 недели, и его стоимость составила 160 тыс. руб.
Понятие эффективности консультационной услуги
В широком смысле эффективность представляет собой степень приближения к максимальному или оптимальному уровню результата при минимальных затратах ресурсов. Соответственно, для определения эффективности консультационных услуг необходимо описать, какой результат они дают.
Не всегда есть возможность напрямую связать оказание услуги с полученным результатом. Им можно считать как оптимизацию экономических показателей, так и повторное обращение клиента, повышение профессионализма персонала, развитие бренда организации и другие качественные изменения (Блинов А. О., Бутырин Г. Н., Добренькова Е. В., 2002, с. 50), которые сложно подвергнуть экономической оценке.
В целом результаты консультирования можно разделить на прямые и косвенные. И те и другие могут быть выражены как в количественной, так и в качественной форме (рис. 1).
Экспертный метод как инструмент оценивания
Именно экспертный метод позволяет использовать для оценки всех рассмотренных результатов единую шкалу, как это допускает экспертный метод. Экспертные оценки интересны тем, что по-
Рис 1. Результаты консалтинговой услуги
эффективное /Антикризисное " правление
I
Прямые результаты
Результаты консалтинговой услуги
Косвенные результаты
Качественные Количественные Качественные Количественные
Изменение стиля и методов работы, создание, изменение структуры производства и управления и т.д.
Привлечение внешнего капитала,
рост курса акций (если это не являлось
целью консультирования)и т.д.
зволяют обобщать аргументированные суждения специалистов-экспертов, основанные не только на знаниях, навыках и собственном опыте, но и на интуиции (Артюхов И. П., Горбач Н. А., Бакшеева С. Л. и др., 2012, с. 12). Для обеспечения качества экспертной информации должны быть соблюдены следующие условия:
• экспертная комиссия, состоящая из специалистов, профессионально знакомых с объектом экспертизы и имеющих опыт работы эксперта;
• аналитическая группа, профессионально владеющая технологией организации и проведения экспертиз, методами получения и анализа экспертной информации;
• единые показатели качества оцениваемого объекта;
• единая шкала оценок, понятная всем экспертам;
• получение достоверной экспертной информации;
• корректная обработка и анализ экспертной информации (Липатов С. А., 2004).
Объектом данного исследования является эффективность диагностических методов в управленческом консалтинге, в качестве критериев оценки взяты основные переменные эффективности: затраты и результаты применения метода, полученные компанией-заказчиком.
Затраты на консалтинговую услугу различают следующим образом:
Наука
временные: о на подготовку диагностики; о на проведение организационной диагностики;
о на анализ результатов; финансовые: о плата респондентам (например, сотрудникам организации, клиентам) за интервью;
аренда помещения;
аренда мультимедийного оборудования; аренда оборудования для обработки информации;
канцелярские расходы; расходы на рекламу; расходы на печатную продукцию; оплата услуг лекторов, модераторов, экспертов (Липатов С. А., 2004). Эксперты оценивают каждую составляющую затрат отдельно. Методика анализа полученных результатов будет представлена ниже.
Результаты предоставления услуги можно разделить на прямые и косвенные. К прямым результатам в литературе отнесены:
• согласованное видение (картина) существующего положения дел и круг основных проблем организации;
• выявление реально функционирующей системы управления деятельностью организации (ключевые фигуры и их взаимодействие);
• оценка способа функционирования организации (порядок, принятие и реализация решения и характер циркулирования информации);
• определение типа и эффективности взаимоотношений между руководством и персоналом;
• выявление зон конфликтности и предварительный анализ причин конфликтов;
• определение наиболее перспективных направлений развития;
• оценка ресурсов развития и потенциала сопротивления изменениям (линий наибольшего и наименьшего сопротивления) (Липатов С. А., 2004, с. 46).
Таблица 1
Статистические показатели валидности данных полученным методом экспертного опроса
Показатель Функция Функция в Excel
Дисперсия случайной величины о2 Показывает разброс оценок экспертов вокруг среднего значения ДИСП
Стандартное отклонение s Отражает, насколько широко разбросаны оценки экспертов относительно их среднего значения СТАНДОТКЛОН
Коэффициент вариации V Показывает, какую долю среднего значения этой величины составляет ее средний разброс —
Косвенными результатами считаются:
• повышение мотивации оцениваемого персонала;
• улучшение корпоративной культуры в организации;
• установление контактов с новыми клиентами;
• обучение персонала новым методам работы.
Для оценки показателей эффективности экспертам была предложена одна и та же простая оценочная шкала от 1 до 5, где: 1 - «низкий», 2 - «ниже среднего», 3 - «среднее», 4 - «выше среднего», 5 - «высокий».
Для подбора экспертов мы использовали методику В. П. Граб (Граб В. П., 2005). К участию в экспертной оценке мы привлекли не менее пяти экспертов. Каждый эксперт оценивал затраты и результат по каждой из указанных категорий, выставляя балл.
Сложив баллы по всем показателям, полученные от каждого опрошенного эксперта, мы находим две переменные: С/ - сумма баллов, установленных экспертом г при оценке затрат при использовании метода Щ - сумма баллов, установленных экспертом г при оценке результатов при использовании метода/.
Далее определим формулу, позволяющую определить среднее значение затрат, полученное по каждому отдельному методу/, полученное экспертным методом:
ЛС< =
ЛЯ; =
1 си
/и я;
(1)
(2)
где п - число экспертов; АК/ - среднее значение результатов использования метода /, полученное экспертным методом.
Эффективность метода Р/ определяется по формуле:
Р,
ЛЯ, АС,
# 100%.
(3)
Показатели эффективности Р по каждому методу ранжируются по убыванию.
Методика анализа полученных результатов
Как правило, при оценке согласованности мнений экспертов используется коэффициент конкордации (Поздняков С. А., Васильченко Р. Э., 2015). Мы предлагаем альтернативную методику, в которой используются дисперсия случайной величины, стандартное отклонение от среднего и коэффициент вариации (табл. 1).
Дисперсия случайной величины по данным наблюдений определяется по формуле:
I
п
(4)
где X - отдельные значения; X - среднее арифметическое по выборке; п - объем выборки.
Минимальное значение дисперсии 0 означает полное единодушие экспертов, отсутствие разброса мнений. Если а2 = 0, то дальнейший расчет показателей 5, W не имеет смысла. Однако такой результат расчета маловероятен, как и полное согласие экспертов. Поэтому необходимо воспользоваться дополнительными показателями оценки валидности среднего значения опроса экспертов: стандартным отклонением и коэффициентом вариации.
Стандартное отклонение определяется по формуле:
s -,
(5)
как С,. Ответы, полученные путем опроса, были эффективное сведены в табл. 2. В табл. 3 отражены среднеарифметические значения тех и других данных.
Для подтверждения результатов опроса, полученного экспертным методом, оценим дисперсию случайной величины в оценке экспертов (табл. 4). Разброс незначителен, серьезным отклонени-
ЧУ
s i
нтикризисное правление
Стандартное отклонение позволяет уточнить показатель дисперсии. Их необходимо использовать в комплексе.
Коэффициент вариации определяется по формуле:
V = X х 100% . (6)
Если дисперсия и стандартное отклонение высоки, а коэффициент вариации превышает 33%, значит, результаты опроса не являются валидными, не имеют практической значимости и не могут использоваться на практике. Эксперты разошлись во мнениях по поводу уровня эффективности изучаемых методов, а следовательно, средний арифметический показатель их оценок не отражает общего мнения.
Для уточнения результатов следует дополнительно использовать метод Дельфи, который позволит каждому эксперту рассмотреть результаты проведенного опроса и сделать заключение о возможных причинах расхождения мнений. Исследование по методу Дельфи следует повторять не менее двух раз.
Апробация
предложенной методики
Для апробации предложенной методики мы опросили экспертов - пятерых представителей различных организаций, оказывающих услуги консалтинга в Омске. Результаты и затраты оценивались по следующим проектам: разработка стандартов, разработка системы оплаты труда, управление продажами, оценка персонала, управление по целям, хронометраж рабочего времени. Каждый эксперт выставлял балл по прямым и косвенным результатам.
В сумме эти баллы дали значение К,. Аналогично были получены данные опроса по показателю «Затраты», итоговая сумма обозначена
Таблица 2
Опрос экспертов по показателям «Результаты методов организационной диагностики» и «Затраты1 на использование методов организационной диагностики»
Метод Эксперт Среднеарифметическое AR
1 2 3 4 5
Результаты методов организационной диагностики
Диагностическое интервью 55 49 50 41 40 47
Диагностический семинар 34 36 43 32 38 36,6
Организационная самодиагностика 25 36 35 18 31 29
Диагностическое наблюдение 23 42 41 15 16 27,4
Экспертный анализ SWOT 28 38 39 24 17 29,2
Анализ управленческих решений 45 41 39 28 18 34,2
Затраты на использование методов организационной диагностики
Диагностическое интервью 55 55 50 39 45 48,8
Диагностический семинар 40 43 33 35 44 39
Организационная самодиагностика 28 41 34 16 29 29,6
Диагностическое наблюдение 21 34 35 28 35 30,6
Экспертный анализ SWOT 21 29 35 24 18 25,4
Анализ управленческих решений 36 35 20 29 15 27
Таблица 3
Результаты опроса экспертов по оценке затрат и результатов методов организационной диагностики
Метод организационной диагностики Среднее значение
затрат АС результатов AR
Глубинное диагностическое интервью с клиентом 48,8 47
Диагностический семинар 39 36,6
Организационная самодиагностика 29,6 29
Диагностическое наблюдение 30,6 27,4
Экспертный анализ SWOT 25,4 29,2
Анализ управленческих решений 27 34,2
ем не является даже наибольшее значение 1,73 (метод «Диагностическое наблюдение» по показателю «Результаты»). Оценка стандартного отклонения по выборке показывает, что отклонение невелико. По всем методам и показателям размер коэффициента вариации низок, значительно ниже контрольного значения 33%. Это говорит об обоснованности оценок экспертов, валидности и возможности использовать данные опроса в практи-
n
Наука
Таблица 4
Данные проверки результатов опроса экспертов
Дисперсия Стандартное отклонение Коэффициент вариации Среднее значение
Метод организационной диагностики Результаты Затраты Результаты Затраты Результаты Затраты Результаты Затраты Эффективность метода P, %
Глубинное диагностическое интервью с клиентом 0,76 0,5 0,87 0,71 1,78 1,51 47 48,8 96,31
Диагностический семинар 0,78 0,51 0,84 0,72 2,15 1,97 36,6 39 93,85
Организационная самодиагностика 1,28 1,25 1,13 1,12 3,82 3,86 29 29,6 97,97
Диагностическое наблюдение 1,73 0,73 1,32 0,85 4,31 3,10 27,4 30,6 89,54
Экспертный анализ SWOT 1,6 1,03 1,27 1,01 5,00 3,46 29,2 25,4 114,96
Анализ управленческих решений 1,65 1,33 1,29 1,15 4,78 3,36 34,2 27 126,67
ческой деятельности. По показателям «Результаты» и «Затраты» достоверность полученных данных высокая. Следовательно, будет целесообразно определить эффективность рассматриваемых методов с использованием формулы (3).
Оказалось, что эффективность методов варьирует: наиболее эффективным оказался анализ управленческих решений, наименее - диагностическое наблюдение (см. табл. 4). Однако разница между максимальным и минимальным значениями составляет 37%, что не является значительным отклонением.
Проверим результаты полученного опроса на нормальность с использованием Microsoft Excel (рис. 2).
Согласно данным гистограммы, распределение методов по уровню эффективности является близким к «нормальному», что говорит о том, что все
о
ры
1. Алпатова Е. А. (2012) Комплексная организационно-экономическая диагностика предприятия: теория и практика // Управление экономическими системами. URL: http://www.uecs.ru/uecs41-412012/item/1362-2012-05-28-05-47-39.
2. Артюхов И. П., Горбач Н. А., Бакшеева С. Л. и др. (2012) Экспертные оценки: методология и практика применения // Фундаментальные исследования. № 10. С. 11-15.
3. Блинов А. О., Бутырин Г. Н., Добренькова Е. В. (2002) Управленческий консалтинг корпоративных организаций. М.: Инфра-М. 192 с.
4. Граб В. П. (2005) Экспертная оценка показателей качества // Надежность и качество: Тр. междунар. симпозиума. Пенза: ПГТУ С. 355-359.
5. Иванов М. А. (2012) Клиентцентрированный подход к управленческому консультированию // Вестник Московского университета. Сер. 14. Психология. № 1. С. 125-132.
методы относятся к одной общей группе. Разница по уровню эффективности показывает лишь небольшие отклонения, в целом же каждый метод может быть использован при практическом применении в организационной диагностике и в целом при оказании любой консалтинговой услуги.
Заключение
Экспертный опрос имеет важное значение в оценке всех рассмотренных методов организационной диагностики, поскольку позволяет учитывать качественную результативность рассмотренных методов. Выделены основные критерии экспертной оценки затрат на реализацию метода и результатов, полученных от этого метода. Предложена модель оценки эффективности методов организационной диагностики с использованием экспертного опроса.
Эксперимент показал, что предложенная методика имеет прикладное значение и может использоваться на практике при работе над крупными консалтинговыми проектами. Относительно
высокая себестоимость экспертного опроса может повлиять на конкурентоспособность проекта. Переменные, используемые в оценке, в дальнейшем должны корректироваться в зависимости от типа консалтинговой услуги, потребностей клиента.
Эффективное /Антикризисное
Управление
Рис. 2. Распределение методов организационной диагностики по уровню эффективности
Эффективность метода, %
б. Липатов С. А. (2004) Методы практической социальной психологии: Диагностика. Консультирование I Под ред. Ю. М.
Жукова. М.: Аспект Пресс. С. 48-68. 1. Лисецкий Ю. М., Каревина Н. П. (2008) Об автоматизации экспертных оценок II Математичш машини i системи. № 1. С. 151-162.
Поздняков С. А., Васильченко Р. Э. (2015) Анализ качества опросников «Самодиагностика уровня креативности» и «Креативность в профессиональной деятельности» II Концепт. Спецвып. № 7. URL: http:IIe-koncept.ruI2015I75106.htm. Caska B. А., Kelley K., Christensen E. W. (2007) Organizational needs assessment: technology and use. N.Y.: Institute of Management and Administration. 234 с.
8.
