CC BY
41ОБЩАЯ ПЕДАГОГИКА. ИСТОРИЯ ПЕДАГОГИКИ И ОБРАЗОВАНИЯ.
ТЕОРИЯ И МЕТОДИКА ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
УДК 378.14.015.62
О. М. БУЛГАКОВ, первый заместитель начальника Краснодарского университета МВД России (г. Краснодар)
O. M. BULGAKOV, First Deputy Head of Krasnodar University of the Ministry of Internal Affairs of Russia (Krasnodar)
Е. Н. ГРИВЕННАЯ, заместитель начальника методического отдела управления учебно-методической работы Краснодарского университета МВД России (г. Краснодар)
E. N. GRIVENNAYA, Deputy Head of the Methodical Department of Management of Educational and Methodological Work of Krasnodar University of the Ministry of Internal Affairs of Russia (Krasnodar)
ПРОБЛЕМА ПЕДАГОГИЧЕСКОЙ ИНТЕРПРЕТАЦИИ СЛУЖЕБНЫХ ОТЗЫВОВ РУКОВОДИТЕЛЕЙ ПОДРАЗДЕЛЕНИЙ ОРГАНОВ ВНУТРЕННИХ ДЕЛ О ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВЛЕННОСТИ ВЫПУСКНИКОВ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ МВД РОССИИ
THE PROBLEM OF PEDAGOGICAL INTERPRETATION OF OFFICIAL REVIEWS OF HEADS OF DEPARTMENTS OF BODIES OF INTERNAL AFFAIRS ON PROFESSIONAL PREPARATION OF GRADUATES OF EDUCATIONAL INSTITUTIONS OF THE MINISTRY OF INTERNAL AFFAIRS OF RUSSIA
Аннотация. В статье проанализированы состояние и перспективы развития институциональных исследований профессиональной подготовленности выпускников вузов на основе обратной связи с работодателями. Научно обосновано, что результаты подобного мониторинга отражают уровень выраженности личного потенциала молодых специалистов и степень их конкурентных преимуществ. Систематизированы отдельные результаты инспектирования образовательных организаций, подведомственных МВД России, позволяющие квалифицировать степень сформированности механизмов обратной связи с органами внутренних дел в части, касающейся экспертной оценки профессиональной и служебной деятельности выпускников вузов, как недостаточную. Предложены критерии и математическая модель оценки начального этапа службы выпускников образовательных организаций МВД России. Описана авторская информационная система, включающая в себя модуль сбора данных, обеспечивающий репрезентативность выборки данных и необходимый уровень их достоверности; аналитический и презентационный модуль, предназначенный для доведения результатов исследования до различных целевых аудиторий, субъектов образовательного процесса и заинтересованных лиц.
Ключевые слова и словосочетания: качество образования, образовательный стандарт, квалификационные требования, мониторинг, профессионально значимые качества, служебный отзыв, экспертная оценка.
Annotation. The article analyzes the state and prospects for the development of institutional studies of the professional preparedness of university graduates based on feedback from employers. It is scientifically grounded that the results of such monitoring reflect the level of expression of the personal potential of young specialists and the degree of their competitive advantages. The individual results of inspections of educational organizations subordinate to the Ministry of Internal Affairs of Russia are systematized, which make it possible to qualify the degree of formation of feedback mechanisms with internal affairs bodies regarding the expert assessment of the professional and official activities of university graduates as insufficient. Criteria and a mathematical model for assessing the initial stage of the service of graduates of educational organizations of the Ministry of Internal Affairs of Russia are proposed. The author's information system is described, which includes a data collection module that provides representative data sampling and the necessary level of their reliability; analytical and presentation module designed to bring the results of the study to various target audiences, subjects of the educational process and stakeholders.
Keywords and phrases: quality of education, educational standard, qualification requirements, monitoring, professionally significant qualities, job reviews, expert assessment.
Одним из этапов мониторинга деятельности образовательной организации высшего образования являются институциональные исследования на основе обратной связи с работодателями. Получаемые данные информируют руководство вузов о существующих проблемах в обеспечении необходимого уровня профессиональной подготовленности специалистов и позволяют принимать обоснованные управленческие решения [1].
Проведение подобных исследований обеспечивает качество образования за счет актуализации содержания и технологий обучения, способствует развитию системы информирования сотрудников и анализа деятельности различных структурных подразделений вуза, повышению согласованности их работы, позволяет отладить механизмы взаимодействия вуза с заказчиками контингента обучающихся, а также предоставляет возможность приведения традиционных академических ценностей в соответствие изменяющейся конъюнктуре рынка труда [2]. Важнейшим компонентом анализа оценок работодателей сформированных у выпускников вуза компетенций является прогноз динамики профессиональных требований к специалистам, позволяющий об-
разовательной организации выстраивать обоснованную политику в области научных исследований и ресурсного обеспечения образовательной деятельности, включая его кадровую компоненту.
Необходимость системного мониторинга качества реализации образовательных программ высшего и дополнительного профессионального образования формирует у руководства образовательных организаций потребность в комплексном анализе взаимодействия с обучающимися на разных этапах: до поступления в вуз, во время обучения и после его окончания. Для состоятельной оценки выполнения показателей деятельности образовательной организации и реализации мероприятий по достижению этих показателей его руководящим и профессорско-преподавательским составом особенно необходимы системно функционирующие механизмы обратной связи с работодателями. Тем не менее, несмотря на возрастающую потребность заинтересованных субъектов организации и контроля качества образовательного процесса в развитии форм эффективного взаимодействия с потребителями образовательных услуг, вопрос применения результатов исследований обратной
связи с ними на практике по-прежнему стоит весьма остро.
Изучение актов о результатах инспектирования образовательных организаций, подведомственных МВД России, в период с 2010 г. по настоящее время дает основание к выводу о том, что в ведомственной системе образования механизмы обратной связи с органами внутренних дел (далее - ОВД) в части, касающейся экспертной оценки профессиональной и служебной деятельности выпускников вузов, все еще недостаточно сформированы, носят эпизодичный характер, мониторинг чаще всего не дополняется единовременными целевыми исследованиями, а заменяется ими. Как следствие, несистемность и нерегулярность исследовательских практик не всегда позволяет руководству образовательных организаций отслеживать динамику мнений и ожиданий руководителей комплектующих органов, совершенствовать образовательные программы с учетом актуальных изменений квалификационных требований к выпускникам.
С другой стороны, инициативы получения актуальной информации о выпускниках образовательных организаций ограничиваются краткосрочным периодом, начальным этапом профессиональной деятельности молодых сотрудников ОВД. Практически не проводятся мониторинговые исследования по изучению профессиональных и образовательных траекторий специалистов после 5-10 лет с момента окончания вуза, не анализируется информация о выпускниках адъюнктуры и факультетов заочного обучения.
Немаловажной характеристикой вну-тривузовских исследований по обеспечению результативности обратной связи с работодателями является малая степень их открытости, публичное представление их результатов преимущественно узкому кругу внутренних целевых аудиторий. Такая практика затрудняет не только совершенствование методик исследований на основе опыта других образовательных систем, но и развитие механизмов обрат-
ной связи с потребителями ведомственных образовательных услуг, внедрение новых практик взаимодействия с ними.
Отсутствие единых подходов к получению, интерпретациии анализу информации о начальном этапе службы выпускников образовательных организаций, научно обоснованных критериев и корректных математических моделей оценки результатов образовательной деятельности вузов и ведомственной системы образования в целом не только ставит под сомнение корректность такого рода оценок, но и в определённой степени ограничивает возможности развивать методологию и методику исследований качества профессиональной подготовленности выпускников с учетом стратегических задач образовательной политики МВД России.
Анализ результатов начального этапа служебной деятельности выпускников образовательной организации, подведомственной МВД России, подразумевает разработку информационной системы, включающей в себя:
1. Модуль сбора данных, обеспечивающий репрезентативность выборки данных и необходимый уровень их достоверности за счёт:
- охвата анкетированием максимального количества комплектующих органов и руководителей их подразделений;
- достаточности перечня оцениваемых характеристики качеств выпускников;
- корректной структуры опросного листа (анкеты);
- актуальности получаемых данных и минимизации времени их сбора;
- реализации возможности прямой (повторный опрос) или косвенной верификации первичных данных.
2. Аналитический модуль, составными частями которого являются:
- математическая модель отбраковки (блокировки) потенциально недостоверных эмпирических данных;
- математическая модель первичного анализа и интерпретации эмпирических данных;
- алгоритм углубленного анализа, основанный на моделях причинно-следственных связей и ориентированный на выявление проблем мест в содержании и технологиях обучения, его кадровом, информационном и материально-техническом обеспечении.
3. Презентационный модуль, предназначенный для доведения результатов исследования до различных целевых аудиторий, субъектов образовательного процесса и заинтересованных лиц.
Опыт Краснодарского университета МВД России доказывает перспективность комплексного подхода к оценке образовательных и профессиональных траекторий выпускников, включающего не только показатели результативности начального этапа профессиональной деятельности (назначение выпускников на должности, соответствующие полученной специальности, включение в кадровый резерв, оценки руководителями подразделений ОВД уровня знаний и умений), но и данные о профессионально значимых личностных качествах выпускников, служебных достижениях, которые характеризуют их личностный потенциал, накопленный за время обучения в вузе. Ежегодно количество служебных отзывов, поступающих в университет на выпускников очной формы обучения, составляет свыше 90 % (2016 год - 95 %, 2017 год - 94 %, 2018 год - 92 %), что позволяет считать выборку репрезентативной, а данные - достоверными.
Служебный отзыв представлен четырьмя блоками оценок личностных и профессионально значимых качеств, знаний и умений выпускников. Оценки первого блока направлены на выявление удовлетворенности руководителей подразделений ОВД уровнем служебно-профессиональной мотивации выпускников, их теоретических знаний, специальных знаний и умений. Второй блок вопросов обеспечивает оценку профессионально значимых качеств выпускников, таких как уровень ин-
теллектуального развития, профессиональная этика, стрессоустойчивость, организаторские способности и др. [3]. Третий блок вопросов позволяет выявить результаты профессиональной деятельности выпускников, четвертый - отражает перспективность выпускников по службе. Респондентам предлагается оценивать уровень сфор-мированности перечисленных качеств как высокий, средний или низкий.
Главная проблема педагогической интерпретации служебных отзывов руководителей комплектующих органов о профессиональной подготовленности выпускников для разработки и реализации управленческих мер по совершенствованию содержания и технологий обучения образовательных услуг состоит в исключении субъективной компоненты оценок, а также разработке особого порядка учёта оценок в случае несоответствия должности, на которую трудоустроен выпускник, освоенной им образовательной программе.
Мы поддерживаем мнение исследователей об отсутствии прямой взаимосвязи между показателями успеваемости выпускника и их последующими показателями профессиональной деятельности, включая профильное трудоустройство, ввиду разных позиций оценивания «успешного выпускника» вузом и работодателями, а также объективного различия между сформированными у выпускника за период обучения компетенциями и их востребованностью в сфере его профессиональной деятельности [4]. Профильное трудоустройство - это назначение выпускника образовательной организации на должность, полностью соответствующую освоенной им образовательной программе высшего образования, включая специальность, специализацию и узкую специализацию при её наличии.
В связи с ускорением темпов обновления профессиональных технологий от специалиста с высшим образованием требуется не только владение актуаль-
ными компетенциями, но и знание основных тенденций развития профессии, определение своей профессиональной и квалификационной траектории, выражающееся в чётком понимании своих профессиональных предпочтений и условий их реализации, готовность к быстрому освоению инноваций в сфере первичной трудовой деятельности или профессиональной переподготовке с переходом в смежные сферы с более привлекательными перспективами профессиональной и личностной самореализации. Данное положение подтверждается большим количеством успешных в профессиональной карьере выпускников вузов, трудоустроенных на должности, отличные от профиля полученного образования [5].
Среди выпускников Краснодарского университета МВД России 2018 года, по сравнению с выпуском 2017 года, процент непрофильного трудоустройства снизился на 7 %. Наименее подвержены непрофильному трудоустройству оказались выпускники, обучавшиеся по специальности Правовое обеспечение национальной безопасности - 27 %. Наибольший процент назначений на должности не в соответствии с полученным образованием составил у выпускников, обучавшихся по специальностям «Экономическая безопасность» (45 %), «Безопасность информационных технологий в правоохранительной сфере» (44 %), «Психология служебной деятельности» (42 %).
Несмотря на положительную динамику профильного трудоустройства последних лет, должность каждого третьего выпускника Краснодарского университета МВД России 2018 года в той ли иной степени не соответствовала его диплому о высшем образовании, что снижает состоятельность оценок результатов их служебной деятельности и соответствия занимаемой должности, а также требует специального подхода к анализу и интерпретации статистических данных, получаемых в ходе обработки служебных отзывов. В этой
связи важное значение приобретает сопоставление оценок сформированности у выпускника профессионально значимого качества по мнению руководителя подразделения и результатам освоения выпускником образовательной программы. Методика сопоставления оценок такого рода должна формироваться с учетом типичных проблем, возникающих в ходе обработки результатов любого психолого-педагогического исследования: проблемы количественной интерпретации качественных показателей исследования, корректного выбора статистических методов, педагогической интерпретации результатов применения статистических методов [6].
В Краснодарском университете МВД России для демонстрации степени статистической взаимосвязи результатов контроля качества учебного процесса в университете и показателей служебных отзывов используются корреляционные диаграммы [7] (см. рис. 1). Анализируемыми показателями являются оценки теоретической, практической, боевой и физической, юридической подготовки выпускников: одна из сравниваемых величин - оценка уровня (высокий, средний, низкий) какого-либо показателя служебных отзывов (всей выборки и по отдельной специальности); вторая - средний балл промежуточной аттестации по совокупности изученных дисциплин, характеризующИй рассматриваемый показатель отзыва, с установлением следующей шкалы соответствия: средний балл от 4,4 до 5 баллов - высокий уровень сформированности; от 3,3 до 4,4 балла - средний уровень сформированности; от 3 до 3,3 балла - низкий уровень сформированности.
На примере трех специальностей методом экспертного опроса руководителей профильных кафедр университета установлены следующие совокупности дисциплин, оценки промежуточной аттестации по которым характеризуют уровень перечисленных видов подготовки выпускников (см. таблицу 1).
Таблица 1
Совокупность дисциплин по видам подготовки выпускников
Наименование специальности Совокупность дисциплин по видам подготовки выпускников
Теоретическая Практическая Юридическая Боевая и физическая
Правовое обеспечение национальной безопасности Уголовное право Уголовный процесс Криминалистика Криминология Юридическая психология Предварительное следствие в органах внутренних дел Расследование преступлений против личности и собственности Противодействие расследованию преступлений и меры по его преодолению Преддипломная практика Конституционное право России Административное право Гражданское право Уголовное право Уголовный процесс Физическая подготовка Огневая подготовка Тактико-специальная подготовка
Правоохранительная деятельность (профиль подготовки - участковый уполномоченный полиции) Организация деятельности участкового уполномоченного полиции Ад министра-тивное право Уголовное право Ад министра-тивная деятельность полиции Предупреждение преступлений и административных правонарушений органов внутренних дел Предупреждение преступлений и административных правонарушений органов внутренних дел Практикум по проведению следственных действий Экспертно-кри-миналистиче-ская деятельность полиции Организация деятельности участкового уполномоченного полиции Преддипломная практика Конституционное право России Административное право Гражданское право Уголовное право Уголовный процесс Физическая подготовка Огневая подготовка Тактико-специальная подготовка
Экономическая безопасность
Математика Эконометрика Экономическая теория
Мировая экономика
Статистика
Экономический
анализ
Бухгалтерский учет
Деньги, кредит, банки
Оценка рисков
Экономика
организации
(предприятия)
Аудит
Страхование Бухгалтерский управленческий учет Рынок ценных бумаг
Налоги и налогообложение Контроль и ревизия
Экономическая безопасность Судебная экономическая экспертиза
Лабораторный практикум по бухгалтерскому учету
Информатика и информационные технологии в профессиональной деятельности Налоги и налогообложение Организация и методика налоговых проверок Бухгалтерский учет
Оперативно-разыскная деятельность органов внутренних дел
Органы внутренних дел в сфере экономических преступлений Аудит
Ситуационный практикум по налогообложению
Преддипломная практика
Административное право Уголовное право Уголовный процесс
Основы гражданского права
Физическая подготовка Огневая подготовка
Тактико-специальная подготовка
Для всей выборки выпуска очной формы обучения 2018 года (243 поступивших и обработанных служебных отзыва) построены корреляционные диаграммы, отражающие степень статистической взаимосвязи двух описанных выше оцениваемых величин. По оси абсцисс диаграмм отложена разность оценок промежуточной аттестации и служебных отзывов, по оси ординат - количество соответствующих разностей.
Полученные данные подтверждают объективность и достаточное соот-
ветствие двух видов оценки профессиональной подготовки выпускников университета - в период получения высшего образования и по итогам первого года служебной деятельности в ОВД. По трём показателям (см. рис. 1 а, в, г) лишь у 0,8-1,2 % выпускников оценки руководителей по месту службы существенно ниже, чем их оценки в период обучения в вузе («низкий» уровень вместо «высокого»). Несколько больше такого рода расхождений в оценках практической подготовки - у 2,9 %
выпускников (см. рис. 1 б). С другой стороны, по каждому из четырёх анализируемых показателей явное большинство (31 из 45) существенных (на две позиции) расхождений в оценках оказалось
«в пользу вуза», т. е. когда начальники подразделений ОВД оценили уровень подготовки как «высокий», при оценке вуза - «низкий.
140
120 100 30 60 40 20 О
11Э
54 ш 62
К:
ш
Ш
_
ш У
2 Ж да Е5ЕЗ
МО 120 100 30
60 «
20 О
109
ЙЙ
ЙЙ
ЙЙ
64 8 56
Л"-:;.-. йй:
лл
ш ЙЙ
ЙЙ
ЙЙ ЙЙ
ш ЙЙ
ЙЙ
ЙЙ Ж 10
ш ЙЙ [;-г-л
"Л-У-Л Е-УЙ
-2
-1
а) теоретическая подготовка
б) практическая подготовка
в) боевая и физическая подготовка
г) юридическая подготовка
Рис. 1. Корреляция оценок знаний и умений выпускников университета 2018 г.
По совокупности четырёх диаграмм среди несущественных отклонений на одну позицию преобладают отклонения на +1 (по отдельности - по боевой и физической, теоретической, юридической подготовке), когда в территориальном органе дали оценку «высокий» или «средний» уровню подготовки выпускника, оцененному в вузе, соответственно, как «средний» или «низкий».
Из корреляционной диаграммы оценок практической подготовки выпускников (см. рис. 1 б) можно сделать вывод о необходимости в образовательной организации ужесточать критерии оценки практической подготовки курсантов и слушателей, принципиальнее оценивать их умения на экзаменах и зачетах по дисциплинам профильной направленности, практикам, защите выпускной квалификационной работы.
ео
40
20
19
2
1////Л -2
Ж -1
а) теоретическая подготовка
б) практическая подготовка
в) боевая и физическая подготовка
г) юридическая подготовка
Рис. 2. Корреляция оценок практической подготовки выпускников университета 2018 (а, б) и 2017 (в, г) гг., с профильным (а, в) и непрофильным трудоустройством
Как показывают диаграммы на рис. 2, даже в таком наименее согласованном по оценкам вуза и территориальных органов показателе, как практическая подготовка, расхождения в оценках практически не различаются для выпускников, чьи должности соответствуют освоенной образовательной программе, и выпускников, работающих не по специальности, специализации или узкой специализации. Напротив, практические умения выпускников 2018 года, работающих на «непрофильных» должностях, оценены их руководителями в целом выше, чем образовательной организацией, в сравнении с теми, кто трудоустроен точно в соответствии с узкой специализацией. Это говорит о том, что
заложенный в вузе потенциал саморазвития, сформированные универсальные компетенции, трудолюбие и мотивация позволяют молодым специалистам преодолевать трудности начального этапа службы и адаптироваться к ней даже вопреки неоптимальным стартовым условиям. С другой стороны, недоработки образовательной организации в подготовке специалистов проявляются в первый год их службы, невзирая на соответствие полученного образования занимаемой должности. Этот вывод наглядно подтверждается диаграммами рис. 3.
Важным, на наш взгляд, результатом интерпретации эмпирических данных, представленных на рис. 2 и 3, является дополнительный аргумент против чрез-
мерного объёма узкопрофессиональной компоненты в содержании высшего образования, «натаскивания» обучающихся на специализированные профессиональ-
ные компетенции в ущерб фундаментальным знаниям и широкому профессиональному кругозору.
Рис. 3. Оценки практической подготовки выпускников университета 2018 г руководителями подразделений территориальных ОВД
Проведение системных исследований по вопросам качества подготовки выпускников образовательных организаций, подведомственных МВД России, на основе оценок руководителей подразделений практических органов открывает широкие возможности для стратегического и оперативного управления содержанием и структурой ведомственного образования. При организации таких исследований на регулярной основе следуют объективные трудности, такие как необходимость обеспечения достоверности и надежности эмпирических данных и синхронизации процессов сбора, обработки и анализа информации; труднодоступность некоторых целевых аудиторий, в частности, подразделений полиции ближнего зарубежья; отсутствие распространения практик сравнительных межвузовских исследований; отсутствие механизмов многосторонней верификации оценок, приводимых в служебных отзывах на выпускников и иных оценочных документах руководителей территориальных органов; недостаточная
разработанность математических моделей и алгоритмов интерпретации и анализа эмпирических данных с учетом особенностей объекта исследования.
В числе первоочередных задач совершенствования работы по изучению Краснодарским университетом МВД России мнения руководителей подразделений территориальных ОВД о качестве подготовки специалистов посредствомоценкипрофессиональновос-требованныхзнаний,уменийиличностных качеств выпускников:
- сравнительный анализ служебных отзывов руководителей подразделений территориальных органов, заключений на слушателей выпускных курсов по месту прохождения преддипломной практики, результатов государственной итоговой аттестации, конкурсов профессионального мастерства и самооценки выпускников;
- анализ результативности реализации отдельных образовательных программ и динамики оценок знаний, умений и личностных качеств выпускников
руководителями подразделений территориальных органов подготовки специалистов на основе обобщённых показателей удовлетворённости руководителей качеством подготовки специалистов и эффективности адаптации выпускников к условиям службы на её начальном этапе.
Для повышения эффективности мониторинговых институциональных исследований в масштабах ведомственной системы образования и обратной связи с практическими органами необходимо обобщение опыта локальных исследований, проводимых отдельными образовательными организациями:
- разработка единой ведомственной методологии и офлайн-методики формирования служебных отзывов руководителей комплектующих органов о профессиональной и служебной деятельности различных категорий выпускников образовательных организаций МВД России;
- создание ведомственной базы данных для удаленного размещения служеб-
ных отзывов в многопользовательском режиме;
- обеспечение репрезентативного объема целевой выборки выпуска молодых специалистов и достоверности оценочных данных с целью детализированного анализа результатов начального этапа их служебной деятельности;
- разработка механизмов анализа профессиональных траекторий выпускников образовательных организаций в течение первых нескольких лет после их трудоустройства, включая статистические и прогностические математические модели;
- определение актуальных параметров, характеризующих удовлетворенность практических органов качеством подготовки специалистов, на основе математических моделей поиска и подбора соответствий для корректировки образовательных программ ведомственных вузов и образовательных траекторий обучающихся и действующих сотрудников ОВД.
***
ЛИТЕРАТУРА
1. Семенова Т. В. Межвузовские исследования как важный инструмент изучения системы высшего образования // Uшversitas. 2013. № 3. С. 9-19.
2. Григорян А. К., Заславская М. И. О некоторых особенностях измерения обратной связи со студентами в контексте управления университетом // Университетское управление: практика и анализ. 2017. № 2. С. 155-161.
3. Булгаков О. М., Гривенная Е. Н. Мониторинг сформированности профессионально значимых качеств выпускников // Психология и педагогика служебной деятельности. 2019. № 2. С. 76-79.
4. Павлова О. Н., Казин Ф. А., Бутаков Н. А. Профильность трудоустройства выпускников вузов: анализ данных социальных сетей // Университетское управление: практика и анализ. 2017. № 3. С. 38-56.
5. Сандлер Д. Г., Сущенко А. Д., Кузнецов П. Д., Печенкина Т. Е. трудоустройство выпускников и его связь с качеством высшего образования // Университетское управление: практика и анализ. 2018. № 3. С. 73-85.
6. Кузьмин Р. И., Макарова Л. Н. Специфика корреляционно-регрессионного моделирования в рамках психолого-педагогических исследований // Вестник ТГУ. 2012. Т. 17. Вып. 3. С.1059-1067.
7. Булгаков О. М., Ладыга А. И., Рябошапко О. Н. Интерпретация результатов контроля остаточных знаний с применением элементов корреляционного анализа и математической статистики // Вестник Воронежского института ФСИН России. 2018. № 2. С. 38-45.
© Булгаков О. М. © Гривенная Е. Н.
