CC BY
178УДК 378.146
С. М. Ершиков, И. В. Иванова
Мониторинг уровня остаточных знаний студентов медицинского университета
Уровень остаточных знаний студентов является одним из показателей качества обучения в вузе. Для проверки остаточных знаний студентов-медиков в ЯГМУ разработан и продолжает совершенствоваться банк тестовых заданий. В течение пяти лет нами было проведено исследование уровня «выживаемости» знаний студентов четырех факультетов университета начиная со II курса. Установлена динамика показателей остаточных знаний студентов для каждого курса в целом и по отдельным дисциплинам. Полученные результаты позволили обнаружить проблемные компоненты образовательных программ и разработать план мероприятий по повышению качества учебного процесса.
Ключевые слова: качество образования, остаточные знания, выживаемость знаний, мониторинговые исследования, медицинское образование, тестовый контроль знаний.
S. M. Ershikov, I. V. Ivanova
Monitoring of the Level of Medical University Students' Residual Knowledge
The level of students' residual knowledge is one of indicators of education quality in the university. The bank of multiple choice questions for the control of medical students' residual knowledge has been developed and improved. We conducted a research of the level of residual knowledge of students of the University four faculties, starting with the second year, during five years. The dynamics of the level of students' residual knowledge was determined for each course in general and for individual disciplines. The results allowed us to identify the problem components of educational programmes and to develop the actions plan to improve the educational process quality.
Keywords: education quality, residual knowledge, knowledge survival, monitoring researches, medical education, knowledge testing.
На современном этапе развития системы высшего образования особую актуальность приобретает вопрос о качестве образования будущих специалистов, понимание которого включает не только профессиональные знания, но и способность и готовность применять их в профессиональной деятельности. Важным показателем качества подготовки в высшем учебном заведении является прочность усвоения учебного материала обучающимися. Исходя из этого одной из составляющих технологии оценки качества образования является проверка остаточных знаний.
Под остаточными знаниями понимают «определенный объем информации, соотнесенный с образовательными стандартами, учебными планами и программами, который хранится в долговременной памяти студента на фиксированный момент времени и под влиянием соответствующих стимулов может быть использован им в ходе учебной и профессиональной деятельности» [4].
Контроль остаточных знаний студентов является (наряду с текущим, рубежным и заключительным контролем) одной из организационных форм проверки усвоения учебного материала [6]. Этот контроль осуществляется в форме письменного экзамена через некоторое время (до одного
года) после завершения изучения дисциплины. В отечественной литературе для его обозначения используется также термин «проверка выживаемости знаний».
Основной технологией измерения остаточных знаний является тестовый контроль, который позволяет быстро и объективно оценить знания большого количества студентов при минимальной затрате ресурсов. Для измерения уровня остаточных знаний учащихся по нескольким учебным дисциплинам могут быть использованы гетерогенные (междисциплинарные) тесты. Они состоят из субтестов (блоков заданий) по ряду предметов, для оценки знаний каждого из которых применяется отдельная шкала. Кроме того, посредством агрегирования баллов, полученных по отдельным дисциплинам, предпринимается попытка дать комплексную оценку подготовленности учащегося.
Требования к тестам как к измерительному инструменту предполагают соответствие их определенным качественным характеристикам, к которым относятся показатели надежности и валидно-сти. Эти показатели качества педагогического теста в значительной степени зависят от качественных параметров составляющих его заданий (отно-
© Ершиков С. М., Иванова И. В., 2017
сительная трудность, дискриминативность, положительная корреляция баллов задания с баллами по всему тесту и др.).
При подготовке тестов для контроля остаточных знаний целесообразно использовать критериально-ориентированный подход, предполагающий наличие абсолютного стандарта, с которым сравнивается результат каждого испытуемого, на основании чего делается вывод о том, усвоен или нет учебный материал. Одной из разновидностей таких тестов являются предметно-ориентированные тесты, позволяющие оценить процентную долю полного объема учебного материала, которая была усвоена испытуемыми.
Что же касается формата тестовых заданий, предназначенных для контроля остаточных знаний, они должны быть ориентированы прежде всего на проверку ключевых взаимосвязей между элементами системы знаний, относящихся к данной предметной области [8]. Тестовые задания должны оценивать способность применить знание, а не вспомнить изолированный факт [3]. Не могут быть использованы задания, предназначенные для текущего контроля знаний, такие как задания на проверку единичных фактов, персоналий, дат и т. д. Для измерения уровня остаточных знаний студентов целесообразно использовать задания на проверку компетенций, на контекстное понимание, на решение профессиональных ситуаций, на развитие метакогнитивных умений [10].
В связи с внедрением в высших учебных заведениях современной системы менеджмента качества интерес к тестированию остаточных знаний студентов значительно усилился. Появился ряд публикаций, посвященных различным аспектам этой формы контроля знаний студентов медицинских вузов [1, 2, 5, 7-9, 12]. Эти работы содержат анализ выживаемости знаний студентов по одной дисциплине [5], либо по нескольким взаимосвязанным дисциплинам [1], либо по всему комплексу дисциплин конкретной медицинской специальности [12] на определенный момент времени. Наряду с этим, нам не удалось обнаружить в литературе данных исследований лонгитюдного характера, анализирующих динамику изменений показателей выживаемости знаний студентов на протяжении более или менее продолжительного времени.
В Ярославском государственном медицинском университете на основании принятых ученым советом положений «О контроле успеваемости» и «О рейтинговой системе учебных достижений» с 2012 г. ежегодно проводится междисциплинарное
тестирование остаточных знаний студентов лечебного, педиатрического, стоматологического и фармацевтического факультетов [11]. Тестирование проводится силами учебно-методического управления университета, отдела менеджмента качества, деканатов факультетов при активном участии кафедральных коллективов. Целью тестирования является получение объективной информации об уровне освоения студентами учебных дисциплин на предмет соответствия требованиям федеральных государственных образовательных стандартов, повышение качества учебных достижений студентов, подготовка к государственной аккредитации вуза.
На этапе подготовки к процедуре тестирования были разработаны план и спецификация тестов для всех курсов факультетов. В соответствии с этим планом кафедры, проводящие промежуточную аттестацию студентов, получили техническое задание на разработку тестовых материалов для контроля остаточных знаний. Задания, представленные кафедрами, прошли тестологическую экспертизу на предмет соответствия требованиям, предъявляемым к заданиям в тестовой форме, предназначенным для контроля остаточных знаний. Для каждого курса было сформировано 4 варианта тестов по 100 тестовых заданий с выбором одного правильного ответа из 3-5 вариантов. Число заданий в тесте по каждой дисциплине зависело от количества зачетных единиц на ее изучение и формы промежуточной аттестации.
Каждый вариант теста был скомпонован в виде отдельной брошюры с общими правилами расположения заданий для соответствующего курса. В частности, задания по одной и той же дисциплине в разных вариантах теста для одного и того же курса получали одинаковые порядковые номера. Содержание сборников тестовых заданий для проверки остаточных знаний ежегодно пересматривалось с учетом результатов статистической проверки качественных характеристик тестовых заданий и в случае изменения учебных планов для отдельных курсов.
Процедура контроля остаточных знаний проводилась ежегодно в начале осеннего семестра в соответствии с расписанием, составленным деканатами факультетов. Для студентов, не явившихся на тестирование по уважительной причине, была предусмотрена возможность его прохождения в другие сроки. Эта мера позволила охватить процедурой тестирования максимально возможное количество студентов.
Тестирование проводилось в лекционной аудитории одновременно для всего курса или потока. Каждый студент получал путем случайного выбора комплект материалов, включающий вариант теста и бланк ответа. Код выбранного варианта фиксировался в списке студентов курса. Фамилия студента и номер его учебной группы в бланке ответа не проставлялись. В аудитории постоянно дежурила группа преподавателей, наблюдавших за соблюдением порядка и дисциплины.
После завершения процедуры тестирования бланки с ответами студентов сканировали и распознавали программой ABBYY FlexiCapture 10. Результаты распознавания преобразовывали в табличную форму и вносили в базу данных, в которой устанавливалась связь между кодом варианта и фамилией студента. Дальнейшую статистическую обработку проводили с помощью программ MS Excel 2016 и STATISTICA 10. Для анализа психометрических показателей тестовых заданий (трудность, дискриминативность, эффективность дистракторов) и тестов в целом (коэффициент надежности а по Кронбаху) использовали программу ITEMAN 3.0, основанную на классической теории тестов.
За 5 лет проведения исследования в тестировании приняли участие в общей сложности 4493 студента четырех факультетов, поступивших в университет в 2007-2015 гг., причем большинство из них проходили тестирование в течение нескольких лет подряд. Данные об участии студентов в тестировании остаточных знаний приводятся в Таблице 1.
Таблица1
Количество студентов ЯГМУ, принявших участие в междисциплинарном тестировании
Таблица 2
Среднее количество правильных ответов студентов ЯГМУ по результатам контроля остаточных знаний за 2012-2016 гг. (в скобках - количество наблюдений)
* различия с аналогичным показателем для предыдущего курса статистически достоверны (р < 0,05)
Уровень остаточных знаний студентов лечебного и педиатрического факультетов претерпевает сходные изменения. Эти показатели, измеренные со II по IV курсы (то есть реально за первые три года обучения), непрерывно возрастают, причем разрыв между факультетами постепенно сокращается. Затем на V курсе следует спад, а на VI курсе показатели снова начинают расти, но не достигают уровня IV курса. Аналогичная картина наблюдается, если рассматривать данные для студентов одного года набора на различных этапах обучения.
На стоматологическом и фармацевтическом факультетах динамика показателей несколько иная. У стоматологов спад начинается уже после III курса и сохраняется к V курсу а на фармацевтическом факультете показатели остаточных знаний резко снижаются после II курса и постепенно достигают прежнего уровня.
Трудно однозначно объяснить эти наблюдения. Можно только сказать, что в течение IV курса на лечебном и педиатрическом факультетах (на стоматологическом - III курса, на фармацевтическом - II курса) в образовательном процессе происходят некие события, которые не способствуют дальнейшему повышению уровня остаточных знаний студентов на последующих курсах. Возможно, это связано со слабой преемственностью дисциплин соответствующего курса с тем, что изучалось на более ранних этапах, большим числом дисциплин, завершающихся зачетом, а не экзаменом, к изучению которых студенты относятся менее ответственно, или, что более неприятно, несоответствием тестовых заданий изучаемому материалу.
Факультет Год проведения тестирования
2012 2013 2014 2015 2016
Лечебный 1396 1370 1363 1342 1346
Педиатрический 681 665 665 679 678
Стоматологический 45 73 95 108 111
Фармацевтический 197 182 188 175 156
Всего 2319 2290 2311 2304 2291
Динамика усредненных за 5 лет показателей количества правильных ответов на задания теста для всех курсов и факультетов представлена в Таблице 2.
Факультет Курсы
II III IV V VI
Лечебный 55,48 57,40± 62,89± 56,55± 57,10±
±0,30 0,34* 0,35* 0,30* 0,31
(1537) (1375) (1330) (1275) (1300)
Педиатри- 52,44 53,98± 63,05± 55,24± 59,50±
ческий ±0,37 0,43* 0,43* 0,34* 0,41*
(777) (719) (639) (625) (608)
Стоматоло- 56,27 60,96± 58,43± 52,561,
гический ±0,95 0,89* 0,92 04* -
(138) (125) (98) (71)
Фармацевтический 62,54 ±0,66 54,11± 0,78* 58,59± 0,74* 61,73± 0,69*
(224) (228) (222) (224)
В ходе углубленного анализа результатов тестирования было рассчитано среднее количество правильных ответов студентов по всему спектру дисциплин на каждом курсе всех четырех факультетов. Такой анализ позволяет выявить дисциплины с более низкими показателями выживаемости знаний и сравнивать результаты разных годов наблюдения.
В случае большого числа заданий по ряду специальных дисциплин старших курсов представляется также возможность определить коэффициенты решаемости заданий по отдельным разделам дисциплины (доля правильных ответов от общего количества ответов). Анализ графиков наглядно показывает, какие разделы оказались наименее прочно усвоенными у студентов спустя некоторое время после прохождения промежуточной аттестации по дисциплине.
Информационно-аналитические материалы по результатам тестирования остаточных знаний студентов регулярно освещаются на заседаниях Совета ЯГМУ по управлению образовательной деятельностью и Советов факультетов и представлены на внутреннем сайте университета для сведения сотрудников кафедр. На основании полученных данных был предложен комплекс мероприятий, направленных на повышение уровня остаточных знаний студентов университета.
В первую очередь, это касается повышения мотивации студентов к учебе. Наряду с традиционными методами поощрения хорошо успевающих студентов (надбавки к стипендии, объявление благодарности в приказе по факультету), необходимо также использовать современные инновационные методы обучения (рейтинговая система учебных достижений, онлайн-технологии).
Другое направление касается усиления интеграции учебного процесса в вузе, развития межпредметных связей по горизонтали и вертикали. Это связано с тем, что уровень остаточных знаний студентов за более ранний этап обучения является исходным уровнем для последующего этапа обучения. Как показывает опыт, в долговременной памяти сохраняются прежде всего те знания, которые востребованы на последующих этапах обучения и в практической деятельности. Знания, полученные на кафедрах анатомии и гистологии, служат базой для освоения патологической анатомии, знания физиологии и биохимии находят свое подкрепление в процессе изучения патофизиологии и фармакологии. Эти последние, в свою очередь, создают основу для овладения клиническими дисциплинами. Задача преподавателя - акцен-
тировать внимание обучающихся на тех положениях дисциплины, которые будут иметь отклик в дальнейшем.
Третьим направлением является совершенствование методов учебного контроля, повышение грамотности преподавателей в области технологии тестирования знаний. Оно предполагает проведение практических занятий для разработчиков тестовых материалов, более активное использование заданий в тестовой форме при проведении контроля знаний всех уровней, издание сборников тестов и различных методических материалов для студентов.
Конечно, указанные направления работы не следует рассматривать изолированно друг от друга, они тесно взаимосвязаны. Так, систематическое проведение контроля выживаемости знаний студентов и учет его результатов в факультетском рейтинге повышает мотивацию обучающихся, побуждает их более ответственно относиться к учебе.
Таким образом, в результате проведенной работы был создан и апробирован банк научно обоснованных тестовых заданий для контроля выживаемости знаний студентов медицинского университета. Этот опыт может быть использован при разработке фонда оценочных средств для промежуточной и итоговой аттестаций. Накоплен уникальный массив данных о динамике показателей выживаемости знаний студентов всех курсов, начиная со второго, на протяжении пяти лет. Этот массив может являться объектом углубленного анализа выживаемости знаний по отдельным дисциплинам и их разделам в динамике. На основании полученных данных выработаны и реализованы рекомендации для кафедральных коллективов по использованию результатов контроля остаточных знаний в планировании учебно-методической работы.
В плане дальнейшего совершенствования процедуры контроля остаточных знаний, в том числе и перекрытия возможных каналов утечки информации, следует предусмотреть постепенный переход на компьютерное тестирование с использованием ресурсов компьютерных классов университета.
В заключение хочется отметить, что, по нашему мнению, для принятия управленческих решений уровень выживаемости знаний студентов является не менее важным показателем, чем успеваемость по итогам экзаменационных сессий. В конечном счете, нас больше интересует не то, какие знания студент демонстрирует на экзамене или
зачете, а то, какие знания у него остались к тому моменту, когда настанет время их применять.
Библиографический список
1. Белашова, О. В. Изучение выживаемости знаний, формирующих профессиональные компетенции, у студентов фармацевтического факультета [Текст] / О. В. Белашова, Д. Н. Шпанько, И. В. Барадакова // Технологии оценки сформированности компетенций у обучающихся медицинского вуза : материалы VII Учебно-методической конференции КемГМА. - Кемерово, 2015. - С. 17-20.
2. Ершиков, С. М. Оценка результатов контроля остаточных знаний студентов младших курсов стоматологического факультета [Текст] / С. М. Ершиков, Г. В. Смирнов, И. В. Иванова // Cathedra - Кафедра. Стоматологическое образование. - 2016. - № 58. -С. 72-75.
3. Кейс, С. М. Создание письменных тестовых вопросов по базисным и клиническим дисциплинам [Текст] / С. М. Кейс, Д. Б. Свэнсон. - Филадельфия: Национальный Совет Медицинских Экзаменаторов. -1996. - 119 с.
4. Кислякова, Ю. Г. Квалиметрическая технология диагностики остаточных знаний студентов [Текст] : дис. ... канд. пед. наук: 13.00.01 / Кислякова Юлия Геннадьевна. - Ижевск, 2002. - 158 с.
5. Козлов, В. А. Педагогико-статистическая оценка выживаемости знаний у студентов-медиков [Текст] /
B. А. Козлов, А. В. Голенков, Г. Д. Аникин и др. // Вестник Чувашского университета. - 2003. - № 1. -
C. 254-261.
6. Нохрина, Н. Н. Система тестового контроля [Текст] / Н. Н. Нохрина // Высшее образование в России. - 2002. - № 1. - С. 106-107.
7. Протасова, Т. В. Майнд-карты как способ организации и оптимизации самостоятельной работы студентов [Текст] / Т. В. Протасова // Технологии организации самостоятельной работы обучающихся : материалы VIII Межрегиональной научно-методической конференции. - Кемерово, 2016. - С. 131-134.
8. Свиридов, В. В. Сравнение системного и традиционного подходов к разработке банков тестовых заданий [Текст] / В. В. Свиридов, М. В. Кочукова // Alma mater (Вестник высшей школы). - 2013. - № 12. -С. 61-67.
9. Тренина, О. А. Оценка уровня знаний и научные интересы студентов третьего курса ГБОУ ВПО УГМУ в области клеточных технологий. [Текст] / О. А. Тренина, И. В. Вечкаева, Д. Ю. Гребнев, И. Ю. Маклакова // Педагогическое мастерство и педагогические технологии. - 2016. - № 2 (8). -С. 83-86.
10. Чмыхова, Е. В. Тестирование знаний студентов и методологические проблемы использования его результатов [Текст] / Е. В. Чмыхова, А. Т. Терехин // Стандарты и мониторинг в образовании. - 2010. -№ 4. - С. 25-29.
11. Шкребко, А. Н. Тестирование остаточных знаний в системе оценки качества обучения в медицинском вузе [Текст] I А. Н. Шкребко, И. В. Иванова,
C. M. Ершиков II Современные подходы к формированию образовательного процесса в медицинском вузе: опыт, проблемы, перспективы i материалы межрегиональной научно-методической конференции с международным участием. - Рязань, 2013. - С. 32-36.
12. Янушевич, О. О. Качество образования и методы его измерения [Текст] I О. О. Янушевич, И. В. Mаев, А. В. Mитронин, С. Н. Куденцова II Cathedra - Кафедра. Стоматологическое образование. - 2011. - № 36. - С. 60-67.
Bibliograficheskij spisok
1. Belashova, O. V. Izuchenie vyzhivaemosti znanij, formirujushhih professional'nye kompetencii, u studentov farmacevticheskogo fakul'teta [Tekst] I O. V. Belashova,
D. N. Shpan'ko, I. V. Baradakova II Tehnologii ocenki sformirovannosti kompetencij u obuchajushhihsja medicinskogo vuza i materialy VII Uchebno-metodicheskoj konferencii KemGMA. - Kemerovo, 201S. - S. 17-20.
2. Ershikov, S. M. Ocenka rezul'tatov kontrolja ostatochnyh znanij studentov mladshih kursov stomatologicheskogo fakul'teta [Tekst] I S. M. Ershikov, G. V. Smirnov, I. V. Ivanova II Cathedra - Kafedra. Stomatologicheskoe obrazovanie. - 2016. - № S8. -S. 72-7S.
3. Kejs, S. M. Sozdanie pis'mennyh testovyh voprosov po bazisnym i klinicheskim disciplinam [Tekst] I S. M. Kejs, D. B. Svjenson. - Filadel'fijai Nacional'nyj Sovet Medicinskih Jekzamenatorov. -1996. - 119 s.
4. Kisljakova, Ju. G. Kvalimetricheskaja tehnologija diagnostiki ostatochnyh znanij studentov [Tekst] i dis. ... kand. ped. nauk; 13.00.01 I Kisljakova Julija Gennad'-evna. - Izhevsk, 2002. - 1S8 c.
5. Kozlov, V. A. Pedagogiko-statisticheskaja ocenka vyzhivaemosti znanij u studentov-medikov [Tekst] I V. A. Kozlov, A. V. Golenkov, G. D. Anikin i dr. II Vestnik Chuvashskogo universiteta. - 2003. - № 1. - S. 2S4-261.
6. Nohrina, N. N. Sistema testovogo kontrolja [Tekst] I N. N. Nohrina II Vysshee obrazovanie v Rossii. -2002. - № 1. - S. 106-107.
7. Protasova, T. V Majnd-karty kak sposob organi-zacii i optimizacii samostojatel'noj raboty studentov [Tekst] I T. V. Protasova II Tehnologii organizacii sa-mostojatel'noj raboty obuchajushhihsja i materialy VIII Mezhregional'noj nauchno-metodicheskoj konferencii. -Kemerovo, 2016. - S. 131-134.
8. Sviridov, V V Sravnenie sistemnogo i tradicion-nogo podhodov k razrabotke bankov testovyh zadanij [Tekst] I V. V. Sviridov, M. V. Kochukova II Alma mater (Vestnik vysshej shkoly). - 2013. - № 12. - S. 61-67.
9. Trenina, O. A. Ocenka urovnja znanij i nauchnye interesy studentov tret'ego kursa GBOU VPO UGMU v oblasti kletochnyh tehnologij. [Tekst] I O. A. Trenina, I. V. Vechkaeva, D. Ju. Grebnev, I. Ju. Maklakova II Ped-
agogicheskoe masterstvo i pedagogicheskie tehnologii. -2016. - № 2 (8). - S. 83-86.
10. Chmyhova, E. V Testirovanie znanij studentov i metodologicheskie problemy ispol'zovanija ego rezul'ta-tov [Tekst] / E. V. Chmyhova, A. T. Terehin // Standarty i monitoring v obrazovanii. - 2010. - № 4. - S. 25-29.
11. Shkrebko, A. N. Testirovanie ostatochnyh znanij v sisteme ocenki kachestva obuchenija v medicinskom vuze [Tekst] / A. N. Shkrebko, I. V. Ivanova, S. M. Ershikov // Sovremennye podhody k formirovaniju obrazovatel'nogo processa v medicinskom vuze: opyt, problemy, perspektivy : materialy mezhregional'noj nauchno-metodicheskoj konferencii s mezhdunarodnym uchastiem. - Rjazan', 2013. - S. 32-36.
12. Janushevich, O. O. Kachestvo obrazovanija i metody ego izmerenija [Tekst] / O. O. Janushevich, I. V. Maev, A. V. Mitronin, S. N. Kudencova // Cathedra -Kafedra. Stomatologicheskoe obrazovanie. - 2011. -№ 36. - S. 60-67.
Reference List
1. Belashova O. V Studying of survival of knowledge forming professional competences of pharmaceutical faculty students // Technologies of assessment of formation of competences of medical school students: materials of the VII Educational and methodical conference of KEMGMA. - Kemerovo, 2015. - P. 17-20.
2. Ershikov S. M. Assessment of control results of residual knowledge of stomatologic faculty junior students // Cathedra - Department. Stomatologic education. - 2016. - № 58. - P. 72-75.
3. Case S. M. Creation of written test questions on basic and clinical disciplines. - Philadelphia: National council of Medical Examiners. - 1996. - 119 pages.
4. Kislyakova Yu. G. Qualimetrical technology of diagnostics of students' residual knowledge]: dissert....
Candidate of Pedagogical Sciences: 13.00.01 / Kislyakova Yulia Gennadyevna. - Izhevsk, 2002. - 158 p.
5. Kozlov V. A. Pedagogical-statistic assessment of survival of medical students' knowledge // Bulletin of Chuvash university. - 2003. - № 1. - P. 254-261.
6. Nokhrina N. N. System of test control // the Higher education in Russia. - 2002. - № 1. - P. 106-107.
7. Protasov T. V Mind-cards as way of the organization and optimization of students' independent work // Technologies of the organization of students' independent work: materials of the VIII Interregional scientific and methodical conference. - Kemerovo, 2016. - P. 131-134.
8. Sviridov V. V. Comparison of systemic and traditional approaches to development of banks of test tasks // Alma mater (Bulletin of the higher school). - 2013. -№ 12. - P. 61-67.
9. Trenina O. A. Assessment of the level of knowledge and the scientific interests of students of a third year of SEI VPO UGMU in the field of cell technologies. // Pedagogical skill and pedagogical technologies. -2016. - № 2 (8). - P. 83-86.
10. Chmykhova E. V. Testing of students' knowledge and methodological problems of use of its results // Standards and monitoring in education. - 2010. - № 4. -P. 25-29.
11. Shkrebko A. N. Testing of residual knowledge in the system of assessment of quality of training in medical school // Modern approaches to formation of the educational process in medical school: experience, problems, prospects: materials of the interregional scientific and methodical conference with the international participation. - Ryazan, 2013. - P. 32-36.
12. Yanushevich O. O. Quality of education and methods of its measurements // Cathedra - Department. Stomatologic education. - 2011. - № 36. - P. 60-67.
