CC BY-NC-ND
73
оо
THE JOURNAL OF SOCIAL POLICY STUDIES_
ЖУРНАЛ
ИССЛЕДОВАНИЙ СОЦИАЛЬНОЙ
ПОЛИТИКИ • ••
Ольга Савинская, Ольга Дудченко, Анна Мытиль
МЕТОДИЧЕСКИЙ АУДИТ НЕЗАВИСИМОЙ ОЦЕНКИ КАЧЕСТВА В СОЦИАЛЬНОЙ СФЕРЕ: ВОЗМОЖНОСТИ И ОГРАНИЧЕНИЯ
В статье предлагается методический аудит независимой оценки качества (НОК) работы учреждений социальной сферы, приобретший в последние годы (2013-2015) институциальный, законодательно закрепленный характер. Дается обзор предметной области оценочных исследований и определяются рамки НОК и ее ограничения. Подчеркивается, что НОК направлена не на оценку услуг, реализуемых в рамках программ, а на оценку работы самих организаций и, прежде всего, условий, в которых услуги оказываются. Поэтому, во-первых, НОК - это оценка ресурсов и условий. Как следствие, НОК не имеет инструмента по оценке эффективности программ и услуг Во-вторых, показатели и критерии оценки заданы заранее и нормативно закреплены. В-третьих, НОК сфокусирована на создании рейтинга организаций, то есть на выработке линейной модели измерения работы учреждений. Преодолением этих ограничений может стать включение дополнительных методов сбора данных, позволяющих более целостно оценить условия оказания услуг и ресурсы организации. Анализ методов и методик реализации НОК проводится на базе опыта, полученного в ходе применения методики НОК для рейтингования 28 центров, оказывающих социальные услуги семьям с детьми в Москве (далее - Центры). В статье рефлексируются познавательные возможности стратегии смешивания методов (mixed methods research), и в частности дизайн дополнительного покрытия,
Ольга Борисовна Савинская - к.с.н., доцент Департамента социологии Национального исследовательского университета «Высшая школа экономики», Москва, Россия. Электронная почта: [email protected]
Ольга Николаевна Дудченко - к.э.н., старший научный сотрудник Института социологии Российской академии наук, Москва, Россия. Электронная почта: [email protected]
Анна Владимировна Мытиль - старший научный сотрудник Института социологии Российской академии наук, Москва, Россия. Электронная почта: [email protected]
© Журнал исследований социальной политики. Том 15. № 1
примененный на этапе сбора данных: приводятся примеры совмещения формализованного и неформализованного наблюдения, наблюдения и сбора визуальной информации, метода формализованного опроса и метода «интервью с интервьюерами». Подробно описаны методические особенности совместного применения количественных и качественных методов для составления и интерпретации рейтинга. Поднимается вопрос об адекватной интерпретации рейтингов и других результатов исследования для дальнейшего управления изменениями в функционировании сети Центров. В заключении суммируются основные выводы о роли НОК для разных стейкхолдеров и о необходимости доработки отдельных процедур для повышения значимости НОК в публичной сфере и в управленческих решениях.
Ключевые слова: независимая оценка качества, методический аудит, стратегии смешивания методов, помощь семье и детям
БОГ: 10.17323/1727-0634-2017-15-1-97-112
Импульсом к запуску в разных регионах исследований по независимой оценке качества (НОК) учреждений социальной защиты стало принятие закона «Об основах социального обслуживания граждан в Российской Федерации» (Федеральный закон 2013). Суть этой исследовательской деятельности заключается в том, чтобы выявить лучшие учреждения, имеющие удобные для получателей услуг помещение и материально-техническую базу, а также выявить учреждения, в которых имеются проблемы в работе. Исполняя закон, Министерство труда и социальной защиты разработало методические рекомендации, где описаны процедуры сбора данных, и приказ, в котором зафиксированы основные показатели НОК и критерии их измерения. На столичном уровне Департамент труда и социальной защиты населения города Москвы издал свой адаптированный «Порядок проведения независимой оценки качества работы организаций, оказывающих социальные услуги в сфере социального обслуживания населения города Москвы» (Департамент... 2015). Методика стала инструментом для оценки различных учреждений Департамента соцзащиты - территориальных центров социального обслуживания, психоневрологических интернатов и центров социальной помощи семье и детям.
Анализируя появившуюся практику применения данной методики для оценки центров социальной помощи семье и детям (далее - Центры), мы задались целью ее всестороннего методического анализа для обозначения слабых мест и выявления аргументов для внесения изменений в нормативно-правовые документы. Основной исследовательский вопрос звучал следующим образом: насколько методология НОК применима для оценки Центров, учитывая их специфику, и действительно ли методика измеряет качество работы учреждения?
Понятие независимой оценки качества
НОК является одним из видов оценочных исследований. Кратко коснемся того, что они собой представляют. Проектная и программная деятельность является частью любой профессиональной работы, в том числе и социального обслуживания, тем самым рационализируя отношения предоставляющего и получающего услуги (Романов, Ярская-Смирнова 2007: 9-10). Суть оценочных исследований сводится к оценке качества выполнения уже реализованной программной деятельности и к разработке будущих программ и проектов с учетом имеющегося опыта, систематизации сильных и слабых сторон реализованных проектов (Кузьмин и др. 2009). Цель оценочных исследований - сформировать понимание реализации программы у всех вовлеченных в программу заинтересованных лиц - от потребителя услуг до инвестора/заказчика программы (McDavid, Hawthorn 2006: 10). Оценочные исследования - это деятельность, смежная с деятельностью по «управлению качеством», которая, в свою очередь, направлена на поиск наиболее оптимальных способов достижения поставленных целей для каждого элемента или этапа проектной деятельности (Nutley et al. 2007). Как отмечает Роберт Стейк, оценочное исследование должно быть «респон-сивным» (Stake 2010), то есть гибко реагировать на возникающие изменения в потребностях получателей услуг или же в целом в процессах программы. Майкл Пэттон утверждает, что оценочные исследования должны соответствовать принципу «полезности» (utilization): дальнейшая применимость результатов оценки для решения практических задач возможна только тогда, когда в нее с первых этапов деятельности включены все заинтересованные лица (Пэттон 2009). Оценка может фокусироваться на разных моментах проектной деятельности, так же как и на функционировании самой организации (Романов, Ярская-Смирнова 2007).
НОК - один из подвидов оценочных исследований, имеющий ряд методологических особенностей. Во-первых, независимая оценка качества направлена не на программы и услуги, реализуемые в рамках программ, а на оценку ресурсов организаций и условий, в которых услуги оказываются. И поэтому НОК - это оценка ресурсов, и все показатели, разработанные в ее рамках, - показатели ресурсов и условий. Как следствие, НОК не имеет инструмента по оценке эффективности программ и услуг. Во-вторых, показатели и критерии оценки заданы заранее (согласно ст. 23.1. 442-ФЗ (Федеральный закон 2013) и согласно приказу Минтруда России от 08.12.2014 № 995 н «Об утверждении показателей, характеризующих общие критерии оценки качества оказания услуг организациями социального обслуживания» (Приказ 2014) соответственно). В связи с этим в некоторых случаях они могут оказаться не соответствующими сути оцениваемых организаций, так же как и изменяющимся обстоятельствам. В-третьих, НОК сфокусирована на создании рейтинга организаций, согласно ст. 23.1. 442-ФЗ (Федеральный
закон 2013), то есть на выработке линейной модели измерения работы учреждений социальной сферы, несмотря на то что они имеют совершенно разные программы и целевые аудитории (получателей услуг). Это законодательно регулируемое ограничение в методике проведения НОК не соответствует принципам оценки, обозначенным выше, и неизбежно приводит к потенциальным и уже имеющимся методологическим ошибкам, которые будут подробно разобраны далее.
В российской практике методология НОК только начинает приобретать системный, институциальный характер: в последние годы появился социологический анализ первого опыта в пилотных регионах. Так, в Екатеринбурге для оценки учреждений культуры был применен метод «тайного покупателя», а для расчета сводного индекса - опыт в сфере маркетинга, customer satisfaction index (Пронин и др. 2016). Методический анализ опыта проведения НОК в Архангельске сфокусирован на подробном описании метода опроса и сочетании опроса экспертов и получателей услуг (Кудрина и др. 2015). Опыт московских коллег был направлен на содержательный анализ критериев качества оценки в сфере здравоохранения (Григорьева 2015). Подробно и системно анализируется и лучший западный опыт, который включает в себя не только оценку условий, но и оценку эффективности и влияния (Тарасенко 2013). В рамках описания практики НОК мы сфокусируемся на анализе методологии и методики много-методного исследования для проведения оценки условий и ресурсов, в котором применена стратегия смешивания методов (Савинская и др. 2016).
Законодательные рамки НОК
Федеральный закон № 442-ФЗ «Об основах социального обслуживания граждан в Российской Федерации», принятый 28 декабря 2013 г. (Феде -ральный закон 2013), утвердил необходимость проведения независимой оценки качества. Для его реализации был издан приказ Минтруда России от 30.08.2013 № 391а «О методических рекомендациях по проведению независимой оценки качества работы организаций, оказывающих социальные услуги в сфере социального обслуживания» (Приказ 2013).
Пункт 14 Методических рекомендаций фиксирует, что наиболее значимой частью НОК является создание рейтингов. При этом здесь же указывается возможная вариативность методик оценки с учетом:
типов организаций (организации стационарного, полустационарного (нестационарного) социального обслуживания и организации надомного социального обслуживания); видов организаций, определенных в субъекте Российской Федерации; видов социальных услуг, оказываемых организациями социального обслуживания в субъекте Российской Федерации; категорий получателей социальных услуг.
Основные показатели носят рекомендательный характер и могут дополняться другими показателями. В приложении к Методическим реко-
мендациям обозначены рекомендованные показатели и раскрывающие их критерии:
• открытость и доступность информации об организации (12 критериев);
• комфортность условий и доступность получения услуг, в том числе для граждан с ограниченными возможностями здоровья (шесть критериев);
• время ожидания в очереди при получении социальных услуг (два критерия);
• коммуникативная эффективность организации (доброжелательность, вежливость и компетентность работников, четыре критерия);
• удовлетворенность качеством обслуживания в организации (пять критериев).
Однако позже приказ Минтруда России от 08.12.2014 № 995н «Об утверждении показателей, характеризующих общие критерии оценки качества оказания услуг организациями социального обслуживания» (Приказ 2014) закрепил в рамках НОК расширенные 52 показателя (среди которых есть сводные и базовые). Это жесткое требование создало рассогласованность между целью НОК, методами ее осуществления и требуемыми результатами.
Методический анализ сбора данных
Как было показано в анализе нормативно-правовых документов, НОК нацелена не на анализ программ, а на анализ работы организаций в целом, условий, которые создаются в помещениях/зданиях организаций для реализации программ. При такой постановке вопроса НОК имеет узкие прикладные задачи изучения практик работы организации, ее материально-технической базы, кадровых ресурсов, внешних и внутренних коммуникаций.
Оценка социальных Центров носила характер многометодного социологического исследования с применением стратегии смешивания методов. Необходимость применения стратегии смешивания методов была объективно обусловлена исследовательской проблемой: задачей разносторонней оценки условий предоставления социальных услуг. В первую очередь речь идет о множественных критериях, заложенных в систему оценки Методическими рекомендациями ((Приказ 2013), позднее принятыми Общественным советом при Департаменте труда и социальной защиты населения города Москвы.
Сбор социологических данных был проведен в октябре 2015 г., в результате чего появился первый опыт проведения НОК. Количественные данные собирались следующими методами: массовым опросом получателей услуг, наблюдением условий предоставления услуг в обследуемых организациях, телефонным интервью с применением методики «тайного посетителя» (Майорова-Щеглова 2015), контент-анализом сайтов, сбором статистических данных. В качестве инструментария использовались следующие документы для фиксации данных:
1. бланк наблюдения (заполнялся специалистами, занимающимися проблематикой социальной помощи семье, при посещении Центра);
2. анкета получателя социальных услуг (заполнялась самостоятельно посетителями Центров в присутствии интервьюера);
3. опросный лист для телефонного интервью с представителями Центров (заполнялся интервьюерами);
4. бланк результатов контент-анализа сайтов (заполнялся кодировщиками, проводившими контент-анализ);
5. таблицы для систематизации статистических данных (заполнялись специалистами, участвующими в анализе статистической информации).
В целом по результатам проведенной работы можно сделать вывод, что предложенный набор формализованных методов независимой оценки достаточен и адекватен поставленным задачам. В то же время нужно отметить, что проведенное исследование имело пилотный характер, поскольку было первым опытом столь представительного изучения работы городских социальных служб, и предполагало рекомендации по корректировке методологии и методики исследования.
В связи с этим к описанным выше формализованным методам сбора данных нами были добавлены качественные методы: написание заметок наблюдателя, посетившего организацию, интервью с интервьюерами, сбор фотоматериала. Наблюдения фиксировались в свободной форме. Интервью с интервьюерами проводились устно, еженедельно после очередного этапа сбора данных. Фотоматериал собирался в дополнение к наблюдению. Он визуализировал пространственное воплощение различных практик, в ходе которых формируется инфраструктура центра.
Совместное применение качественных и количественных методов (Савинская и др. 2016) было реализовано в рамках одной из моделей дизайна смешивания методов - «дополнительного покрытия» (Morgan 2014). Этот дизайн предполагает параллельный или одновременный сбор данных разными методами, при этом предполагается, что каждый из методов добавляет свою часть в формирование общей целостной картины изучаемой реальности. В рамках нашего исследования собираемые качественные данные носили второстепенный характер, однако играли решающую роль на многих этапах исследовательского процесса. Несмотря на то, что они непосредственно не учитывались при составлении рейтинга, они давали возможность выявить и проанализировать проблемы, связанные с применением формализованных методов и разработанных шкал, порядком осуществления работ, спецификой объекта и предмета исследования, и, наконец, служили основанием для адекватной интерпретации полученных формализованных данных. Далее мы покажем, как совмещение количественных и качественных данных дает более целостную картину по сравнению с цифрами, собранными для подсчета рейтинга.
Опыт применения многометодной стратегии сбора данных
Суммируя впечатления интервьюеров, проводивших опрос, нужно отметить, что отношение большинства посетителей социальных Центров к процедуре независимой оценки было вполне позитивным. Полнота заполнения анкет в среднем являлась удовлетворительной. Это справедливо и в отношении открытых вопросов, что говорит о заинтересованности участников опроса. В целом заполнение анкеты не вызывало у респондентов затруднений, но возникали отдельные вопросы, которые фиксировались интервьюерами и далее были высказаны в ходе интервью с интервьюерами. Получатели социальных услуг активно интересовались тем, что им казалось непонятным в анкете, давали комментарии, высказывали предложения. Работники социальных Центров оказывали проводившим оценку специалистам необходимую поддержку. Понятное желание - обеспечить получение Центром максимально высоких оценок - сотрудники в большинстве случаев стремились реализовать за счет проявления доброжелательности и готовности к сотрудничеству, а не за счет попыток оказать какое-либо влияние на процедуру опроса и наблюдения. Можно предположить, что значительный вклад в создание доброжелательной атмосферы, сопровождавшей проведение исследования, внес продуманный набор методов исследования. Применение многометодной стратегии сбора данных позволило достичь адресности и комплексности.
Суммируя эти предложения, а также наблюдения интервьюеров, сделанные в ходе полевого этапа, можно выделить несколько методико-мето-дологических вопросов, корректировка которых позволит существенно улучшить качество информации, оптимизировать процедуру проведения независимой оценки организаций, предоставляющих социальные услуги.
Соотношение данных формализованного и неформализованного видов наблюдений
Один из параметров оценки открытости организаций - наличие в учреждении табло с бегущей строкой, содержащей актуальную информацию. По мнению большинства наблюдателей, гораздо более информативны и визуально привлекательны плазменные панели или проекторы и дополняющие их настенные экраны, которые в некоторых центрах заменяют табло с бегущей строкой, однако именно этим учреждениям формализованные оценки должны были снижаться. Мнение на этот счет самих получателей информации не выяснялось, но, по некоторым наблюдениям, бегущая строка не привлекает большого внимания с их стороны.
Практически в каждом учреждении наблюдателям приходилось сталкиваться с примерами того, что несоответствие условий предоставления услуг формальным критериям оценки их доступности для людей
с ограниченными физическими возможностями вовсе не означает, что здесь не решаются проблемы этой категории посетителей. Например, редкий неформализованный отчет о наблюдениях обходился без упоминания о трудностях с выставлением баллов по позиции «Наличие автомобильной парковки на территории организации для инвалидов». У многих центров нет огороженной территории, и ее наличие или отсутствие (так же как наличие или отсутствие собственной парковки) никак не связано с качеством работы самой организации. При этом то, что парковки нет, вовсе не свидетельствует о том, что задача доступа клиентов с ограниченными возможностями в помещения Центров не решается. Отсутствие отдельной размеченной парковки не всегда означает, что машину невозможно припарковать поблизости от входа. Также некоторые Центры предлагают альтернативные решения проблемы: выездная работа с инвалидами на дому, использование служебного транспорта для доставки таких клиентов. Но эти усилия Центров не было возможности отразить в формализованных оценках.
То же самое можно сказать об оборудовании всех помещений поручнями, пандусами и другим оснащением для людей с ограниченными возможностями здоровья. Для многих Центров соответствие этому критерию в принципе невозможно из-за конструктивных особенностей выделенных им помещений. Сотрудникам таких Центров приходится искать альтернативные возможности: обустраивать помещения для работы с инвалидами так, чтобы были возможны перемещения без поручней, или обеспечивать физическую помощь в перемещениях. Но формально и это никак не учитывается. Оценки доступности снижались также и тем организациям, где во время исследования проводился ремонт - именно с целью улучшения условий получения услуг - и необходимый инвентарь имелся, но еще не был смонтирован.
Случались и обратные примеры: формально оборудование есть, но воспользоваться им невозможно. Например, пандус расположен чуть в стороне от дверного проема, а площадка для разворота инвалидной коляски отсутствует. Формализованный способ оценки в его нынешнем виде не дает возможности адекватно отобразить в оценках эту ситуацию. Наблюдатели также отмечали, что отсутствие надписей, выполненных с использованием шрифта Брайля, никак не влияет на удобство для слабовидящих посетителей, поскольку им обеспечивается индивидуальное сопровождение.
Применение фотоматериалов
для описания инфраструктуры организации
Фотографии, которые были сделаны наблюдателями, оказались очень полезны для более наглядного подтверждения их заметок. Так, например, в бланке наблюдения есть такая позиция, как наличие информационных
стендов и их наполнение. Один из критериев - наличие образцов документов, которые необходимо заполнить получателю услуг. Однако, по наблюдениям экспертов, в одних Центрах такие образцы собраны в папках, передаваемых получателям услуг в руки, в других - в заполнении документов каждому посетителю помогает специалист. Можно предположить, что эти формы удобнее, чем вывешивание многочисленных образцов на стендах. Чтобы утверждать это, необходимо задать соответствующий вопрос самим клиентам. Однако на данный момент по формальным основаниям оценка снижается. Рисунки 1 и 2 демонстрируют «традиционный» подход к предоставлению информации (рис. 1) и «персонифицированный» (рис. 2).
Рис. 1. Предоставление информации Рис. 2. Предоставление информации посредством размещения на стенде посредством живого общения
и персонифицированной навигации
Соотношение методов
массового опроса и интервью с интервьюерами
Серьезной методологической проблемой является учет специфики критериев качества обслуживания в зависимости от вида получаемых услуг. Ситуация осложняется еще и тем, что многие респонденты получают сразу несколько услуг. Для решения этой проблемы необходима специальная исследовательская работа, но в первом приближении задача составления унифицированного опросника, учитывающего все разнообразие форм работы организаций, оказывающих социальные услуги, и все особенности получателей этих услуг, представляется практически нереализуемой.
Во время опроса интервьюеры нередко замечали, что некоторые формулировки вопросов сложны для понимания, непривычны для респондентов. Например, многие из них с трудом соотносят то, что с ними происходит в стенах Центров, и термин «социальная услуга». Предложение
оценить качество мягкого инвентаря ставило в тупик многих участников опроса. Как выяснилось, они на это не обращают внимание. Нередко подобные затруднения возникали и при оценке условий для хранения личных вещей. Вопрос о качестве питания провоцировал недовольство некоторых родителей детей, находящихся на стационарном обслуживании: по их словам, режим стационара лишает их непосредственной возможности дать такую оценку, хотя, по их наблюдениям, дети недоедают.
Интервью с интервьюерами выявили также и то, что проблема очередей для потребителей услуг московских Центров в принципе неактуальна. По данным опроса, 96 % ответивших дали позитивные ответы («очередь отсутствует», «очередь есть, но небольшая»). В связи с этим включение в анкету для посетителей двух вопросов о времени ожидания услуг оказалось не просто избыточным - оно определенным образом дискредитировало опрос в глазах респондентов, так как у них возникало впечатление, что авторы анкеты плохо представляют себе специфику работы изучаемых организаций.
Информативными оказались открытые вопросы, и в частности завершающий вопрос, побуждающий к написанию общих комментариев. В ремарках и пожеланиях получателей услуг во время опроса неоднократно в позитивном ключе отмечалась такая форма информационной активности организаций, как телефонные «обзвоны» существующих и потенциальных клиентов. Однако оценка этой работы не включена в число критериев, характеризующих информационную открытость организаций. Было бы полезно выяснить, являются ли зафиксированные единичные случаи предпочтения такой формы правилом или скорее исключением.
Анализ модели составления сводного рейтинга
Вернемся к обсуждению пяти показателей, по которым строилась оценка. В целом они отражают значимую часть условий оказания услуг, однако в методике нет обоснования того, что это полный список показателей. Для «насыщения» (Glaser, Strauss 1967) показателей необходимо было провести ряд системно спланированных встреч с общественностью, специалистами и другими заинтересованными и вовлеченными лицами, которые могли бы дополнить имеющиеся списки показателей и критериев, их раскрывающих. Предполагается, что такие процедуры в будущем станут обязательными. Так, например, в будущем, возможно, могли бы появиться такие показатели, как «удобство использования предоставленной информации» вместо или вместе с «открытостью», «территориальной доступностью организации» или «умение организации сотрудничать с негосударственными подрядчиками», расширяя таким образом уровень доступности услуг и их разнообразие.
Эта же логика рассуждений может быть применена и к отдельно взятым критериям. Учитывая тот факт, что порядка 40 % посетителей Центров получают несколько услуг, при оценке «удовлетворенности качеством
обслуживания» необходимо специфицировать критерии оценки по типам особенностей инфраструктуры, необходимой для получения тех или иных услуг - материальной помощи, психологических консультаций, развивающих и реабилитационных занятий с детьми, массовых или групповых разовых мероприятий и т. д.
Проблема обоснования доли каждого показателя в сумматорной шкале рейтинга также остается проблематичной. Так, показатель «открытости» оказался самым весомым вследствие того, что он включает в себя 12 критериев, которые в итоговом значении просто суммировались. Достаточно значимый с точки зрения здравого смысла показатель «удовлетворенности качеством обслуживания в организации» имел только пять критериев и, соответственно, занимал меньшую долю в суммарной величине баллов. Исходя из методики, имевшейся в приложениях к Методическим рекомендациям (Приказ 2013), имеет смысл нормировать каждый из пяти показателей до их суммирования. Кроме того, упоминаемые выше Методические рекомендации содержали предложение о взвешивании каждого из показателей, а также демонстрировали примерные весовые коэффициенты, которые могут сильно отличаться друг от друга, и эту идею стоило бы адаптировать к московской ситуации.
Составление единого рейтинга по данным, собранным разными методами, также не является очевидным. Следует провести процедуры ва-лидизации данной «линейной» модели итогового показателя, например, провести методические эксперименты и показать, что разные критерии измеряют единую «латентную переменную». А если этого не наблюдается, вряд ли стоит утверждать, что простое суммирование может дать валидный результат. Возможно, было бы более корректным применять многомерное шкалирование (Толстова 2006) и выявлять наиболее успешные организации по отдельным показателям. Эта методика группировки организаций могла бы дать не меньше информации для понимания сильных и слабых сторон работы Центров и того, что нужно делать управляющим и сотрудникам для улучшения качества обслуживания.
Заключение
Описанные в статье методические ошибки и сомнения, основанные на скрупулезном обобщении единичных наблюдений специалистов, вопросов и ремарок респондентов, высказанных во время опроса, на наш взгляд, носят рабочий характер. Уверенно утверждать, что тот или иной критерий плохо отражает действительность, а тем более говорить о том, каким образом это можно исправить, невозможно по той же причине, по которой не удалось с самого начала создать более точный инструментарий оценки. Это связано с тем, что особенности технического задания НОК не позволили в полной мере реализовать стратегию смешивания
качественных и количественных методов исследования. Так, не было предусмотрено проведение предварительных качественных исследовательских процедур (фокус-групп, индивидуальных интервью с экспертами и получателями услуг), при помощи которых можно было бы доработать методологию и инструментарий до запуска массового опроса получателей.
Для того чтобы результаты оценки были по-настоящему полезны, они должны по своему содержанию и форме представления соответствовать информационным потребностям и ожиданиям как заказчика (государственной структуры), так и всех заинтересованных лиц: не только получателей услуг, включенных в практику жизнедеятельности Центров, но и их потенциальных посетителей. На выявление этих потребностей и ожиданий должно быть направлено качественное исследование потенциальных пользователей результатов оценки, по итогам которого может быть создана адаптированная версия инструментария НОК. Таким образом, необходимо в полной мере реализовать первый этап этой работы в версии, предусмотренной приказом Минтруда России от 30.08.2013 № 391а «О методических рекомендациях по проведению независимой оценки качества работы организаций, оказывающих социальные услуги в сфере социального обслуживания» (Приказ 2013). И наконец, результаты оценки следует широко освещать в публичном пространстве, учитывая информационные потребности потенциальных пользователей Центров.
Выражения благодарности
Работа выполнена при поддержке Департамента труда и социальной защиты населения города Москвы и АНО «Совет по вопросам управления и развития». Авторы статьи выражают благодарность Е. В. Кочкиной, О. А. Бессоловой и О. В. Ка-рандашовой, без энтузиазма, поддержки и ценных рекомендаций которых работа по независимой оценке качества и ее методическому анализу не была бы выполнена.
Список источников
Григорьева Н. С. (2015) Мониторинг качества работы медицинских организаций: методологический комментарий. Государственное управление. Электронный вестник, (51): 34-55.
Департамент труда и социальной защиты населения города Москвы (2015) Порядок проведения независимой оценки качества работы организаций, оказывающих социальные услуги в сфере социального обслуживания населения города Москвы. Департамент труда и социальной защиты населения города Москвы. Доступно по ссылке: http://www. dszn.ru/activities/nezavisimaya_otsenka_deyatelnosti_uchrezhdeniy/ (дата обращения: 05 ноября 2016).
Кудрина Ю. Н., Руссова О. Н., Шинкарева Е. Ю. (2015) Независимая оценка качества оказания социальных услуг: методическое пособие по проведению независимой оценки качества оказания услуг организациями социального обслуживания, Архангельск: Агентство С1Р Архангельской ОНБ.
Кузьмин А. И., О'Салливан Р., Кошелева Н. А. (ред.) (2009) Оценка программ: методология и практика, М.: Престо-РК.
Майорова-Щеглова С. Н. (2015) Социологическая методика «Тайный посетитель»: особенности и технология проведения. Вестник РГГУ. Серия: Философия. Социология. Искусствоведение, 7 (150): 90-95.
Приказ (2014) Об утверждении показателей, характеризующих общие критерии оценки качества оказания услуг организациями социального обслуживания. Приказ Минтруда России от 08 декабря 2014 г. № 995н.
Приказ (2013) О методических рекомендациях по проведению независимой оценки качества работы организаций, оказывающих социальные услуги в сфере социального обслуживания. Приказ Минтруда России от 30 августа 2013 г. № 391а.
Пронин А. А., Петрова Л. Е., Занин М. В., Бурлуцкая М. Г. (2016) Независимая оценка качества оказания услуг организациями в сфере культуры (Екатеринбургский эксперимент). Фундаментальные исследования, (1): 187-191.
Пэттон М. (2009) Оценка, ориентированная на использование. А. И. Кузьмин, Р. О'Салливан, Н. А. Кошелева (ред.) Оценка программ: методология и практика, М.: Престо-РК: 112-148.
Романов П. В., Ярская-Смирнова Е. Р. (ред.) (2007) Оценка эффективности деятельности учреждений социальной поддержки населения, М.: МОНФ; Центр социальной политики и гендерных исследований.
Савинская О. Б., Истомина А. Г., Ларкина Т. Ю., Круглова К. Д. (2016) Концептуальные представления о стратегиях «смешивания методов» (mixed methods research): этапы развития и современные дискуссии. Социологические исследования, (8): 21-29.
Тарасенко Е. А. (2013) Зарубежный опыт выбора показателей качества медицинской помощи для построения рейтингов медицинских организаций: уроки для России. Социальные аспекты здоровья населения, 34 (6): 1-19. Доступно по адресу: http://vestnik. mednet.ru/content/view/520/30/ (дата обращения: 05 ноября 2016).
Толстова Ю. Н. (2006) Основы многомерного шкалирования, М.: КДУ.
Федеральный закон (2013) Об основах социального обслуживания граждан в Российской Федерации от 28 декабря 2013 г. № 442-ФЗ.
Glaser B. G., Strauss A. L. (1967) The Discovery of Grounded Theory: Strategies for Qualitative Research, Chicago: Aldine Publishing.
McDavid J. C., Hawthorn L. R. L. (eds.) (2006) Program Evaluation & Performance Measurement: An Introduction to Practice, Newbury Park: SAGE.
Morgan D. L. (2014) Integrating Qualitative and Quantitative Methods: A Pragmatic Approach, Thousand Oaks, Calif.: SAGE.
Nutley S. M., Walter I., Davies H. T. O. (2007) Using Evidence: How research can inform pub -lic services, Bristol: Polity Press.
Stake R. E. (2010) Qualitative Research: Studying How Things Work, New York: Guilford Press.
Olga Savinskaya, Olga Dudchenko, Anna Mytil
THE METHODICAL AUDIT OF INDEPENDENT QUALITY EVALUATION IN SOCIAL SPHERE: POSSIBILITIES AND LIMITATIONS
The independent evaluation of quality (IEQ) in welfare organizations is relatively new tool in public administration, which has acquired institutional and legislatively regulated characteristics in recent years (2013-2015). A review of how such evaluation are defined is presented, as in this context that the scope and limitations of IEQ are fixed. Firstly, IEQ produces an evaluation of the conditions and resources behind social programs, rather than considering their products, effects or impact. Secondly, the indicators and criteria used for evaluation are determined in advance and legally regulated. Finally, IEQ is focused on providing a summative rating of organizations or, in other words, employing a linear model of measurement of institutional activity. To overcome these constraints, the inclusion of additional data collection methods could be implemented to gain a more holistic evaluation of the conditions and resources of the organization. This article explores the methodical audit of IEQ; this entails looking at the relevance of chosen techniques of data gathering and the construction of rating scales. The empirical basis of this paper emerges from the application of IEQ methodology to rate twenty-eight Moscow-based centres that provide social assistance to families and children. The use of a mixed methods research (MMR) and, in particular, the design of additional covering allowed diverse data to be gathered; the process of comparing and integrating this data was described in detail method by methods. Presented here are examples of how to combine standardized and participative observation, visual data and field notes, formalized survey and 'interviews with interviewers'. The indicators and scales for rating constrictions and their interpretation are discussed in the second part of article. The need for normalization and weighting among chosen indicators is also debated. In conclusion, the main findings on the public role of IEQ are summarized, as well as its importance for changes to management within welfare organizations, public administration in a whole, and social service beneficiaries.
Key words: independent evaluation of quality (IEQ), methodical audit, mixed methods research, social policy for families with children
DOI: 10.17323/1727-0634-2017-15-1-97-112
Olga B. Savinskaya - candidate of sociological sciences, associate professor, Department of Sociology of the National Research University 'Higher School of Economics', Moscow, Russian Federation. Email: [email protected]
Olga N. Dudchenko - Ph.D., Senior Research Fellow, Institute of Sociology of the Russian Academy of Sciences, Moscow, Russian Federation. Email: [email protected]
Anna V. Mytil - Senior Research Fellow, Institute of Sociology of the Russian Academy of Sciences, Moscow, Russian Federation. Email: [email protected]
References
Departament truda i sotsial'noy zashchity naseleniya goroda Moskvy (2015) Poryadok pro-vedeniya nezavisimoy otsenki kachestva raboty organizatsiy, okazyvayushchikh sotsial 'nye uslugi v sfere sotsial 'nogo obsluzhivaniya naseleniya goroda Moskvy. [The Procedure for an Independent Evaluation of the Quality of Organizations Providing Social Services for the Population of Moscow]. Departament truda i sotsial'noy zashchity naseleniya goroda Moskvy. [Department of Labor and Social Protection of population of the city of Moscow]. Available at: http://www.dszn.ru/activities/nezavisimaya_otsenka_deyatelnosti_uchrezh-deniy/ (accessed 5 November 2016).
Federal'nyy zakon (2013) Ob osnovakh sotsial 'nogo obsluzhivaniya grazhdan v Rossiyskoy Federatsii [On the Principles of Social Service for Citizens in Russian Federation] from 28 December 2013 No. 442-FZ.
Glaser B. G., Strauss A. L. (1967) The Discovery of Grounded Theory: Strategies for Qualitative Research, Chicago: Aldine Publishing.
Grigor'eva N. S. (2015) Monitoring kachestva raboty meditsinskikh organizatsiy: metodo-logicheskiy kommentariy [Monitoring the Quality of Medical Organizations' Work: Methodological Comments]. Gosudarstvennoe upravlenie. Elektronnyy vestnik [Public Management. Electronic Review], (51): 34-55.
Kudrina Yu. N., Russova O. N., Shinkareva E. Yu. (2015) Nezavisimaya otsenka kachestva okazaniya sotsial 'nykh uslug: metodicheskoe posobie po provedeniyu nezavisimoy otsenki kachestva okazaniya uslug organizatsiyami sotsial 'nogo obsluzhivaniya [The Independent Evaluation of Quality Social Service Providing: A Methodic Manual for Conducting Independent Evaluations the Quality of Social Service Provided by Social Organizations], Arkhangel'sk: Agentstvo CIP Arkhangel'skoy ONB.
Kuz'min A. I., O'Sallivan R., Kosheleva N. A. (eds.) (2009) Otsenka programm: metodologi-ya ipraktika [Program Evaluation: Methodology and Practice], Moscow: Presto-RK.
Mayorova-Shcheglova S. N. (2015) Sotsiologicheskaya metodika 'Taynyy posetitel'': oso-bennosti i tekhnologiya provedeniya ['Mystery Shopping' as a Sociological Method: The Specificity of Tool and Technology of Conducting]. VestnikRGGU. Seriya: Filosofiya. Sotsiologiya. Iskusstvovedenie [Review of RGGU. Series: Philosophy. Sociology. Art Studies], 7 (150): 90-95.
McDavid J. C., Hawthorn L. R. L. (eds.) (2006) Program Evaluation and Performance Measurement: An Introduction to Practice, Newbury Park: SAGE.
Morgan D. L. (2014) Integrating Qualitative and Quantitative Methods: A Pragmatic Approach, Thousand Oaks, Calif.: SAGE.
Nutley S. M., Walter I., Davies H. T. O. (2007) Using Evidence: How Research Can Inform Public Services, Bristol: Polity Press.
Prikaz (2013) O metodicheskikh rekomendatsiyakh po provedeniyu nezavisimoy otsenki kachestva raboty organizatsiy, okazyvayushchikh sotsial'nye uslugi v sfere sotsial'nogo obsluzhivaniya [On Methodological Recommendations for Conducting Independent Evaluation of the Work Quality of Organizations Providing Social Services]. Prikaz Mintruda Rossii ot 30.08.2013 No. 391 a [The order by Ministry of Labor of Russia from 30 August 2013 No. 391a].
Prikaz (2014) Ob utverzhdenii pokazateley, kharakterizuyushchikh obshchie kriterii otsen-ki kachestva okazaniya uslug organizatsiyami sotsial 'nogo obsluzhivaniya [About the Validation of the Indicators for the Evaluation of Quality of Service Providing by Organizations of Social Services]. Prikaz Mintruda Rossii ot 08.12.2014 No. 995n [The Order of the Ministry of Labour in Russia from 8 December 2014 No. 995n].
Pronin A. A., Petrova L. E., Zanin M. V., Burlutskaya M. G. (2016) Nezavisimaya otsenka kachestva okazaniya uslug organizatsiyami v sfere kul'tury (Ekaterinburgskiy eksperi-ment) [Independent Quality Evaluation of Service Providing by Organizations in Sphere of Culture: the Ekaterinburg Experiment]. Fundamental'nye issledovaniya [Fundamental Research], (1): 187-191.
Romanov P. V., Iarskaya-Smirnova E. R. (eds.) (2007) Otsenka effektivnosti deyatel'nosti uchrezhdeniy sotsial'noy podderzhki naseleniya [An Evaluation of the Effectiveness of Institutions providing Social Support], Moscow: MONF; Tsentr sotsial'noy politiki i gen-dernykh issledovaniy.
Savinskaya O. B., Istomina A. G., Larkina T. Yu., Kruglova K. D. (2016) Kontseptual'nye predstavleniya o strategiyakh 'smeshivaniya metodov' (Mixed Methods Research): etapy razvitiya i sovremennye diskussii [Conceptual Perceptions about Mixed Methods Research: the Stages of Development and Current Debates]. Sotsiologicheskie issledovaniya [Sociological Research], (8): 21-29.
Stake R. E. (2010) Qualitative Research: Studying How Things Work, New York: Guilford Press.
Tarasenko E. A. (2013) Zarubezhnyy opyt vybora pokazateley kachestva meditsinskoy po -moshchi dlya postroeniya reytingov meditsinskikh organizatsiy: uroki dlya Rossii [Foreign Experience in the Selection of Healthcare Quality indicators for the Construction of Medical Institutions' Ratings: Lessons for Russia]. Sotsial'nye aspekty zdorov'ya naseleniya [Social aspects of public health], 34 (6): 1-19. Available at: http://vestnik.mednet.ru/ content/view/520/30/ (accessed 5 November 2016).
Tolstova Yu. N. (2006) Osnovy mnogomernogo shkalirovaniya [The Basics of Multidimensional Scaling], Moscow: KDU.
