Мониторинг как управленческий процесс: принципы, методы, функции Текст научной статьи по специальности «Социальная и экономическая география»

Теоретические модели и успешные практики

управления

УДК 331

МОНИТОРИНГ КАК УПРАВЛЕНЧЕСКИЙ ПРОЦЕСС: ПРИНЦИПЫ, МЕТОДЫ, ФУНКЦИИ

THE MONITORING AS MANAGEMENT PROCESS: PRINCIPLES, METHODS AND FUNCTIONS

А.М. Слинков A.M. Slinkov

Белгородский государственный национальный исследовательский университет, Россия, 308015, г. Белгород, ул. Победы, 85

Belgorod State National Research University, 85, Pobedy St., Belgorod, 308015, Russia

E-mail: [email protected]

Аннотация. В статье рассматривается мониторинг как управленческий процесс; акцент ставится на определении принципов, методов и функций мониторинга. Выделяются общие и специфические принципы мониторинга. Предлагается систематизация специфических принципов мониторинга на основе использования праксеологического, квалиметрического и гуманистического подходов. Выделяются группы функций мониторинга: познавательная, исследовательская, методическая, диагностическая, коррекционная, мотива-ционная, информационно-аналитическая и прогностическая. Определяются методы мониторинга. На основе исследования и систематизации принципов, методов и функций мониторинга определяется специфика влияния мониторинга на процесс управления в организации, что способствует реализации проактивной модели управления.

Resume. The article discusses monitoring as a management process; the emphasis is on determining the principles, methods and functions of monitoring. Are allocated general and specific monitoring principles. Proposed systematization of specific principles of monitoring on base praxeological, qualimetric and humanistic approaches. There are groups of monitoring functions: cognitive, research, thematic, diagnostic, correctional, motivational, informational, analytical and prognostic features. Determined monitoring methods. On the basis of research and sys-tematization of the principles, methods and monitoring functions is determined by the specificity of monitoring the effect on the management of the organization, which contributes to the implementation of proactive management model.

Ключевые слова: : мониторинг, принципы мониторинга, методы мониторинга, функции мониторинга, управленческий процесс.

Key words: monitoring, principles of monitoring, methods of monitoring, functions of monitoring, management process.

Введение

Рассмотрение мониторинга в качестве информационно-аналитической подсистемы менеджмента предполагает необходимость уточнения содержания его основных элементов для понимания того, как эта подсистема «встроена» в общую систему управления организацией. В данном контексте следует выделить и описать те элементы, которые формируют управляющую подсистему мониторинга, так как любая система (или подсистема) управления включает в себя две основные взаимосвязанные составляющие - управляющую и управляемую подсистемы. К таким элементам мониторинга следует отнести цели, принципы, функции и методы мониторинга.

Результаты исследований

Приступая к исследованию элементов мониторинга, необходимо, прежде всего, определить сущностное содержание самого термина «мониторинг» в связи с его широким пониманием в трудах отечественных и зарубежных исследователей. В рамках настоящего исследования под мониторингом понимается «процесс системно организованных действий, имеющих целью поддержание функционирования объекта мониторинга в заданном режиме или его развитие по заданной траектории путем выявления как негативных, так и позитивных отклонений параметров мониторинга от заданных значений» [Игнатова, 2016]. Следовательно, целью мониторинга в организациях является предупреждение нежелательных отклонений в функционировании управляемых объектов и процессов и выявление позитивных отклонений для обобщения и использования положительного опыта в управлении.

Особое место в системе мониторинга принадлежит принципам мониторинга. Принципы мониторинга - это основополагающие правила, которыми должны руководствоваться субъекты мониторинговой деятельности. Значение принципов управления вообще и принципов мониторинга в частности определяется тем, что они отражают наиболее характерные для рассматриваемого объекта управления (объекта мониторинга) законы и закономерности его функционирования и развития. Законы и закономерности - есть объективное проявление реальности, в то время как принципы отражают субъективное представление о предъявляемых к системам управления (системам мониторинга) требованиях, позволяющих в максимальной степени учитывать законы и закономерности функционирования исследуемых объектов и обеспечивающих эффективность управленческой (мониторинговой) деятельности. А это, в свою очередь, означает, что, хотя принципы и выступают в качестве наиболее «жесткого» элемента в системах управления, они, тем не менее, не являются догмами в абсолютном смысле и могут модифицироваться применительно к различным подсистемам управления и меняться вследствие выявления новых закономерностей и тенденций, проявляющихся как в управляемых объектах, так и во внешней среде. Это актуализирует проблему обоснования системы принципов мониторинга в современной организации.

Анализ научной литературы, посвященной исследованию принципов мониторинга, позволил нам выделить общие и специфические принципы мониторинга. Общие принципы осуществления мониторинга в организации представляют собой интерпретацию фундаментальных универсальных принципов управления применительно к мониторинговой деятельности (табл. 1)

Таблица 1 Table 1

Общие принципы мониторинга в организации The general principles of monitoring in organization

Наименование принципа Трактовка принципа применительно к системе

управления мониторинга

Принцип научности использование современных достижений науки управления при построении систем управления и принятии управленческих решений использование современных достижений науки управления при построении систем мониторинга и осуществлении мониторинговой деятельности

Принцип гибкости адаптация систем управления к изменяющимся условиям внутренней и внешней среды организации адаптация систем мониторинга к изменению целей, стратегий и тактики управления в организации

Принцип обратной связи наличие замкнутого контура управления, предполагающего поступление информации с выходов системы управления на ее входы принятие управленческих решений и корректировка управленческих воздействий с учетом данных мониторинга о фактическом состоянии управляемого обЪекта (процесса)

Принцип эффективности оптимизация затрат на формирование и функционирование управляющей подсистемы организации оптимизация затрат на формирование и функционирование системы мониторинга в организации

Принцип комплексности рассмотрение объекта управления во всей совокупности взаимосвязанных составляющих элементов и аспектов, обеспечивающих его целостность формирование параметров мониторинга с учетом всей совокупности взаимосвязанных факторов внутренней среды организации, оказывающих влияние на объект мониторинга

Принцип системности рассмотрение управляемых объектов с учетом всех взаимосвязанных составляющих, а также с учетом связей между управляемыми объектами и их элементами и окружающей средой формирование параметров мониторинга с учетом всей совокупности взаимосвязанных факторов внутренней и внешней среды организации, оказывающих влияние на объект мониторинга

Принцип соответствия соответствие управляющей подсистемы организации сложности управляемой подсистемы и характеру решаемых производственных задач совместимость системы и технологий мониторинга с системой управления организацией и технологиями принятия управленческих решений

Специфические принципы осуществления мониторинговой деятельности в организациях обуславливаются особенностями и целевой направленностью систем мониторинга. Систематизация специфических принципов мониторинга была осуществлена нами на основе использования прак-сеологического, квалиметрического и гуманистического подходов к их выделению (табл. 2).

Таблица 2 Table 2

Специфические принципы мониторинга в организации The specific principles of monitoring in organization

Используемый подход к выделению принципов Наименование принципа Краткая трактовка принципа

Праксеологический подход принцип регулярности четкое установление периодичности мониторинговых действий

принцип интегративности использование унифицированных форм отражения результатов мониторинга и баз данных для интеграции их в общую информационную систему организации (данный принцип приобретает особое значение при формировании автоматизированных систем мониторинга)

принцип прогностичности результаты мониторинга должны давать возможность прогнозирования будущих тенденций изменения исследуемых объектов (явлений, процессов)

принцип валидности использование адекватного исследуемым объектам (явлениям, процессам) инструментария мониторинга и методов оценки параметров мониторинга

Квалиметрический подход принцип информационной полноты формирование системы параметров мониторинга, позволяющей создать полную объективную картину исследуемых объектов (явлений, процессов)

принцип информационной достаточности концентрация мониторинга на наиболее значимых параметрах изучаемых объектов (явлений, процессов), исключение избыточной информации, не имеющей прямого отношения к характеристике исследуемых объектов (явлений, процессов)

принцип конкретности использование адекватных количественных измерителей и качественных оценок результатов мониторинга

Гуманистический подход принцип гласности открытость результатов мониторинга для работников организации

принцип конструктивизма недопущение использования результатов мониторинга для осуществления репрессивных действий по отношению к персоналу

Минимально необходимые комментарии к табл. 2 состоят в том, что использование прак-сеологического подхода к выделению специфических принципов мониторинга обусловлено необходимостью рационализации мониторинговой деятельности (праксеология - наука о рациональной организации деятельности). Как представляется, рационализация мониторинговой деятельности должна обеспечиваться посредством реализации принципов регулярности, интегративности, про-гностичности и валидности.

Другой важный аспект использования мониторинга в организациях связан с решением проблемы качества получаемых результатов мониторинга и их интерпретации. Этим объясняется использование квалиметрического подхода к выделению специфических принципов мониторинга -принципов информационной полноты, информационной достаточности и конкретности (квалимет-рия - одно из направлений науки о качестве, связанное сразработкой численных методов его оценки).

Праксеологический и квалиметрический подходы к выделению специфических принципов мониторинга являются по своей сути технократическими подходами. Однако в современных условиях формирование любых систем управления вообще и систем мониторинга в частности, предполагает обязательное использование гуманистического подхода. Реализация данного подхода при осуществлении мониторинговой деятельности обеспечивается за счет выделяемых нами принципов гласности и конструктивизма.

В качестве последнего замечания к вопросу практического использования принципов мониторинга отметим, что выделенные нами общие и специфические принципы мониторинга представляют собой взаимоувязанную систему, поэтому наибольший эффект достигается за счет их комплексного использования.

В описании системы мониторинга трудно переоценить значение такого элемента как функции мониторинга. Если принципы мониторинга - это основополагающие правила осуществления мониторинговой деятельности, то функции мониторинга непосредственно раскрывают содержание

этой деятельности, отвечают на вопрос, из чего складывается мониторинговая деятельность. Рассматривая существующие в экономической науке подходы к выделению функций мониторинга, можно заметить, что все они отличаются глубиной функционального наполнения мониторинга.

В качестве примера «узкого» подхода к выделению функций мониторинга можно привести точку зрения А.Н. Брагинца. Обосновывая состав функций мониторинга, А.Н. Брагинец делает вывод об отождествлении многими исследователями понятий мониторинга и контроллинга и необходимости разграничения их функциональной наполненности. Оперируя теорией обратной связи, автор приходит к убеждению, что функциональное наполнение мониторинга определяется принадлежностью к начальным этапам обратной связи и ограничивается измерением и хранением информации, а все последующие процессы (к ним автор относит сравнение полученной информации со стандартами, планами, выявление отклонений и выработку корректирующих решений) соотносятся с контроллингом: «все процессы обратной связи до сравнения со стандартами относятся к мониторингу, после сравнения - к контроллингу»[Брагинец, 2013].

Для обоснования своей точки зрения автор использует серьезную методологическую базу: принцип карты реальности, принцип исторической преемственности, принцип взаимного исследования комплементарных понятий (к ним автор относит понятия мониторинга и контроллинга), принцип минимума межпредметной неопределенности. При всей солидности теоретических построений, используемых автором для обоснования функционального содержания мониторинга, следует указать на явное нарушение им двух последних принципов из указанных выше. Пытаясь разделить понятия мониторинга и контроллинга, автор постоянно оперирует как синонимами понятия «контроллинг», «контролирование» и «контроль», которые, по сути, также являются комплементарными (тесно взаимосвязанными, но не идентичными) понятиями.

В.Н. Лисачкина значительно расширяет функциональный потенциал мониторинга, выделяя в его структуре «три основополагающих процесса: исследование, оценка и прогнозирование» и соответствующие им функции: информационно-исследовательскую, оценочно-аналитическую, прогностическую и интегративно-координационную [Лисачкина, 2012].

Е.В. Сергеева и М.Ю. Чандра также представляют довольно широкий набор функций мониторинга, включая в их состав информационную, диагностическую, рефлексивную, сравнительную и интегративную функции [Сергеева, Чандра, 2013].

Один из наиболее полных перечней функций мониторинга дает О.А. Граничина, включая в него констатирующую (диагностическую), мотивационную, исследовательскую, прогностическую, информационно-аналитическую, плановую, организационно-исполнительскую, обучающую и ре-гулятивно-коррекционную функции. При этом автор совершенно справедливо отмечает, что в условиях инновационной экономики «констатирующая (диагностическая) функция мониторинга перестает быть основной», а мониторинг, «приобретая явно выраженные мотивационную и исследовательскую функции», становится источником новых знаний и фактором, стимулирующим развитие инновационных практик в системе управления организациями [Граничина, 2009].

Анализ научных подходов к выделению функций мониторинга позволил нам сформировать авторское видение данного вопроса (рисунок 1).

Функции мониторинга

Мониторинг как средство получения нового знания об управляемых объектах и процессах

Мониторинг как средство информационно-аналитической поддержки управления

• познавательная

• исследовательская

• методическая

диагностическая

коррекционная

мотивационная

Рис. 1. Функции мониторинга Fig. 1. The functions of monitoring

В соответствии с принятым нами подходом к определению места и роли мониторинга в управлении организацией, определяющим двойственную природу мониторинга, нами выделяются три группы функций мониторинга. Первая группа функций, выделяемая на основе рассмотрения

Серия Экономика. Информатика. 2016. №2 (223). Выпуск 37

мониторинга как средства получения нового научного знания об управляемых объектах и процессах, включает:

1) познавательную функцию. Данная функция мониторинга реализуется посредством накопления знаний об особенностях и тенденциях функционирования и развития объектов (процессов) мониторинга;

2) исследовательскую функцию. Исследование представляет собой один из видов научного познания, выработки новых научных знаний. Исследовательская функция мониторинга реализуется путем обобщения, систематизации накопленной посредством многократных мониторинговых замеров информации, выявления причинно-следственных связей, противоречий, генезиса изучаемых процессов и явлений, доказательства научных гипотез;

3) методическую функцию. Сущность этой функции мониторинга заключается в обеспечении научно-информационного сопровождения управленческих процессов, в разработке алгоритмов, процедур и приемов осуществления управленческой деятельности на основе данных мониторинга.

Рассмотрение мониторинга как средства информационно-аналитической поддержки управления позволяет выделить следующие его основные функции:

1) диагностическая функция. Исходной задачей мониторинга является установление «диагноза» объекта исследования - заключения о текущем состоянии и тенденциях его развития на основе комплексной оценки параметров мониторинга. Сущность диагностической функции мониторинга состоит в своевременном обнаружении, распознании проблем управления, что обеспечивает возможность корректирующих действий;

2) коррекционная функция. Важнейшее назначение мониторинга в организации состоит не только в обнаружении, но и в предупреждении негативных вариантов функционирования управляемых объектов (процессов). Установление «диагноза» в любой системе управления (и в подсистеме мониторинга в частности) не может рассматриваться в качестве конечной цели. Точно так же, как в медицине диагноз необходим для назначения лечения болезни, в управлении данные мониторинга служат основой для принятия корректирующих действий по устранению выявленных реальных или потенциальных проблем управления, что обеспечивается за счет реализации коррекционной функции мониторинга;

3) мотивационная функция. Рассмотрение любых управленческих вопросов неизбежно приводит к необходимости учета «человеческого фактора». В конечном итоге, любые проблемы управления в организации, равно как и достижения, связаны с деятельностью персонала, эффективность которой напрямую связана с мотивацией. Мониторинг способствует развитию трудовой мотивации, актуализируя потребность в достижении цели (путем фиксации оптимальных критериев деятельности), а также способствуя формированию оправданных ожиданий (сигнализируя о соответствии трудового процесса запланированному состоянию, либо отклонений от него).

Помимо этого мониторинг выполняет информационно-аналитическую и прогностическую функции, которые имеют отношение как к получению посредством мониторинга новых научных знаний, так и к информационно-аналитическому обеспечению принятия управленческих решений.

Информационно-аналитическая функция мониторинга представляет собой тот «каркас», на котором базируется реализация всех остальных его функций. В содержательном плане информационно-аналитическая функция мониторинга включает действия по сбору, накоплению, обработке, систематизации и анализу информации, служащей основой для получения нового научного знания и (или) выработки оптимальных управленческих решений.

Предвидение как важная составляющая научного поиска и управления обеспечивается реализацией прогностической функции мониторинга. Полученная в результате мониторинга информация дает возможность строить прогнозы и разрабатывать сценарии будущего развития организации.

Следующим элементом мониторинга как информационно-аналитической подсистемы управления являются методы мониторинга. Под методами мониторинга мы понимаем конкретные способы осуществления мониторинговой деятельности, выполнения всех мониторинговых функций. Соответственно функциональному содержанию мониторинговой деятельности методы мониторинга включают совокупность методов учета, хранения, оценки, анализа информации, прогнозирования и т.д. Используемые в мониторинге методы формируются с учетом специфики объектов мониторинга. Так, например, учет информации о физических параметрах производственных процессов может осуществляться с использованием средств контрольно-измерительных приборов и автоматики, а сбор информации о социальных процессах в организации - на основе анкетирования или устного опроса персонала. Точно так же, как, например, при прогнозировании одних процессов, могут использоваться методы экономико-математического моделирования, а для других - методы экспертных оценок или методы разработки сценариев.

Мониторинг как информационно-аналитическая подсистема управления в организации органично вписывается в практическую управленческую деятельность. Для иллюстрации такого вывода воспользуемся двумя классическими подходами к исследованию управленческой деятельности.

Первый подход состоит в рассмотрении управленческой деятельности как процесса принятия и реализации управленческих решений. Данный подход указывает на очевидную связь мониторинга и управления и позволяет рассматривать его как подсистему подготовки и обоснования принимаемых управленческих решений (рис. 2). Укрупненно такой подход позволяет выделить две взаимосвязанные подсистемы в системе управления организацией: подсистему мониторинга и подсистему принятия и реализации управленческих решений, а в качестве системообразующего фактора выделить цели управления. Использование мониторинга как информационно-аналитической подсистемы управления имеет три основных преимущества.

Цель управления

i г

Измерение мониторинговых параметров

i г

Сравнение значений мониторинговых параметров

позитивные

-

и

и л о т и н о

g

и

о ч о

с

негативные

Передовой опыт

Проблема

Обобщение

Анализ

Принятие управленческих решений

S й щ

agí пин

але

s й § g Л g

5

Реализация управленческих решений

и

с д

о П

й и н

шее & £

£ g

s и

ис ц

я и н

е л в

а р

уп

а м е

сте

и

о

Рис. 2. Мониторинг в системе управления организацией Fig. 2. Monitoring in the organization's management system

Первое состоит в своевременном обнаружении реальных и потенциально возможных проблем управления (под проблемами управления мы понимаем несоответствие ситуации поставленной цели управления, проявляющееся в негативных отклонениях мониторинговых параметров).

Это дает возможность оперативной корректировки управляемых процессов путем принятия и реализации управленческих решений еще до того, как проблема встанет «в полный рост».

Второе заключается в качественно ином уровне принимаемых на основе данных мониторинга управленческих решений. Отсутствие достаточной объективной информации порождает в управлении так называемую практику «латания дыр», когда управленческие решения принимаются без комплексного учета всех факторов, обуславливающих наличие проблемы. Обширная база мониторинговых данных позволяет минимизировать ошибки при принятии управленческих решений.

Наконец, мониторинг позволяет своевременно зафиксировать позитивные изменения в организации, что дает возможность распространения передового опыта на основе его изучения и обобщения.

Второй подход к исследованию управленческой деятельности заключается в рассмотрении управления как процесса последовательной реализации управленческих функций. Данная концепция, основоположником которой является А. Файоль, находит широкое применение в различных интерпретациях отечественных и зарубежных исследователей. Наиболее традиционный подход к выделению функций управления в зависимости от принадлежности к определенным этапам процесса управления включает четыре основные функции: планирование, организация, мотивация и контроль. Мы дополняем этот перечень функцией целеполагания. Многие авторы рассматривают данную функцию в составе функции планирования. Этим, по нашему мнению, умаляется роль целей в управлении, которую очень сложно переоценить, ведь в управлении все начинается с постановки целей, поскольку под управлением понимается не всякое, а только целенаправленное воздействие на управляемые объекты (процессы). Рис. 3 иллюстрирует взаимосвязь и основные направления влияния мониторинга на процесс управления.

Рис. 3. Влияние мониторинга на реализацию основных функций управления Fig. 3. Influence monitoring on the main management functions

Специфика влияния мониторинга на управленческий процесс заключается в возможности более полного учета при реализации управленческих функций турбулентных изменений факторов внутренней и внешней среды организации. Влияние мониторинга на процесс постановки цели сводится к уточнению желаемого и достижимого результата в целях создания условий для его формального описания, отслеживания, оценки. При этом повышаются требования как к качеству постановки целей, так и к учету ситуационных факторов. Это позволяет в дальнейшем более обоснованно подходить к определению промежуточных точек (контрольных событий) на пути достижения цели в рамках функции планирования. Планирование контрольных событий служит задаче своевременного получения «сигналов» об отклонениях, либо соответствиях реальной ситуации запланированной.

В самом общем виде под организацией как функцией управления понимают создание условий для успешной реализации намеченных планов. Мониторинг позволяет выявить «узкие» места в

организационной деятельности и, тем самым, позволяет оптимизировать условия реализации планируемых мероприятий. Благодаря мониторингу появляется возможность формирования мотива-ционные систем, более полно и адекватно отражающих взаимосвязь результатов трудовой деятельности и получаемого работниками вознаграждения, что обеспечивает более эффективную реализацию функции мотивации. В плане развития контроля мониторинг способствует выявлению тех сфер, направлений и аспектов деятельности, которые в наибольшей степени нуждаются в активном контроле.

Резюмируя сказанное, можно отметить, что совокупное влияние мониторинга на основные функции управления отражает трансформацию менеджмента в проактивную систему, предвосхищающую и предусматривающую, активно реагирующую на изменения ситуационных факторов и адекватную современной турбулентной реальности.

Выводы

Анализ принципов, методов и функций мониторинга в системе управления организацией позволил нам сделать следующие выводы:

1. Общие принципы осуществления мониторинга в организации представляют собой интерпретацию фундаментальных универсальных принципов управления применительно к мониторинговой деятельности. Праксеологический, квалиметрический и гуманистический подходы к авторскому выделению специфических принципов мониторинга (регулярности, интегративности, про-гностичности, валидности, информационной полноты, информационной достаточности, конкретности, гласности и конструктивизма) создают условия для рационализации и гуманизации мониторинговой деятельности. Выделенные нами общие и специфические принципы мониторинга представляют собой взаимоувязанную систему, наибольший эффект которой достигается за счет их комплексного использования.

2. Целесообразно и обоснованно выделение трех групп функций мониторинга, включающих следующие субфункции - познавательную, исследовательскую, методическую, диагностическую, коррекционную, мотивационную, информационно-аналитическую и прогностическую функции. Подобный подход позволяет рассматривать мониторинг не только как средство получения нового знания об управляемых объектах и процессах, но и как средство информационно-аналитической поддержки управления.

3. Общие и специфические принципы, функции и методы мониторинга определяют основную роль мониторинга в управлении организациями, которая состоит в обеспечении проактивности менеджмента, исключении присущей многим современным отечественным организациям практики управления по типу «пост-фактум» и замене ее практикой опережающего управления.

Список литературы References

1. Игнатова Т.В., Слинков А.М. 2016. Мониторинг как управленческий процесс: сущностно-категориальная характеристика. Наука и образование: хозяйство и экономика; предпринимательство; право и управление. 1 (68): 26-31.

Ignatova T.V., Slinkov A.M. 2016. Monitoring kak upravlencheskij process: sushhnostno-kategorial'naja harakteristika. Nauka i obrazovanie: hozjajstvo i jekonomika; predprinimatel'stvo; pravo i upravlenie. 1 (68): 26-31. (in Russian)

2. Брагинец А.Н. 2013. Уточнение функций мониторинга экономической деятельности предприятий. Проблемы экономики. 4: 271.

Braginec A.N. 2013. Utochnenie funkcij monitoringa jekonomicheskoj dejatel'nosti predprijatij. Problemy jekonomiki. 4: 271. (in Russian)

3. Лисачкина В.Н. 2012. Мониторинг качества профессионального обучения специалистов. Известия Самарского научного центра РАН. 2-4: 918-919.

Lisachkina V.N. 2012. Monitoring kachestva professional'nogo obuchenija specialistov. Izvestija Samarskogo nauchnogo centra RAN. 2-4: 918-919. (in Russian)

4. Сергеева Е. В., Чандра М. Ю. 2013. Организационно-педагогические условия реализации мониторинга качества освоения обучающимися основных образовательных программ вуза. Фундаментальные исследования. 10-4: 871.

Sergeeva E. V., Chandra M. Ju. 2013. Organizacionno-pedagogicheskie uslovija realizacii monitoringa kachestva osvoenija obuchajushhimisja osnovnyh obrazovatel'nyh programm vuza. Fundamental'nye issledovanija. 10-4: 871. (in Russian)

5. Граничина О.А 2009. Мониторинг качества образовательного процесса в контексте управления вузом. Экология человека . 9: 34.

Granichina O.A. 2009. Monitoring kachestva obrazovatel'nogo processa v kontekste upravlenija vuzom. Jekologija cheloveka . 9: 34. (in Russian)