CC BY
22
УДК 61:007; 61:331.108; 614.253
О.В. Воробейчикова, Я.С. Пеккер ОПТИМИЗАЦИЯ ТЕСТОВОГО КОНТРОЛЯ
Описан создаваемый на кафедре биомедицинской кибернетики и в лаборатории сертификации и тестирования специалистов Сибирского государственного медицинского университета программный комплекс тестового контроля знаний студентов медицинских специальностей и практикующих врачей, основанный на структуризации исходных вопросов по конкретной предметной области, построении между заданиями графа логических зависимостей, вершинами которого являются вопросы контроля. Комплекс прошел предварительную проверку у преподавателей-предметников СМГУ. Проверка показала, что комплекс позволяет сократить время на контроль знаний при увеличении глубины и качества такого контроля.
В связи с широким внедрением компьютеров в подготовку и переподготовку специалистов особую роль приобретает контроль знаний с использованием компьютеров: он позволяет разгрузить преподавателя от рутинной проверки контрольных заданий, проводить опрос оперативно и быстро, т.е. обеспечивает хорошую обратную связь преподавателя с обучаемыми. Анализ компьютеризованных контролирующих систем, существующих на данное время, показывает, что практически во всех них используются следующие принципы опроса: случайный выбор некоторого количества вопросов, предъявление их случайным или последовательным способом и выставление среднего или средневзвешенного балла [1-6].
Применение такого подхода для контроля знаний в медицине не совсем оправдано: случайность выбора вопросов может привести к тому, что охваченными окажутся не все стороны контролируемой темы, а специфика именно медицинских знаний заключается в том, что у врача не должно быть пробелов в знаниях, ведь речь идет о человеке. Если же включать все вопросы для наиболее полного охвата контроля знаний, то тогда тестируемый вынужден будет ответить на неоправданно большой объем вопросов (сотни и даже тысячи). Это займет много времени (как показывает опыт работы в лаборатории сертификации и тестировании при СГМУ, ответ на 100 вопросов занимает в среднем 1 час), к тому же будет возрастать утомляемость, что несомненно скажется на качестве ответов.
Один из выходов заключается в структуризации исходных вопросов, предъявляемых для контроля по конкретной предметной области [3], когда между заданиями строится граф логических зависимостей G = =(Х, Г), вершинами которого являются вопросы контроля из множества X, а дуга (х, у) существует в G тогда и только тогда, когда х > у и не существует z е X такого, что х > z > у. На множестве заданий X отношение частичной упорядоченности х, > Xj означает, что неверное выполнение задания х, влечет неверное выполнение задания х7 и, наоборот, верное выполнение задания Xj означает верное выполнение задания Xj. Таким образом, для любой пары х, у € X в соответствующем графе G из вершины х в вершину у есть путь тогда и только тогда, когда из правильности выполнения задания, соответствующего у, следует правильность выполнения задания, соответствующего х.
Определим состояние тестируемого как двоичную функцию 5(G) = {sfaX ^2),.... s(xN) }такую, что s(x!) = 0, если ответ на вопрос х( неверен, и s(x,) = 1, если ответ на вопрос X/ верен, причем s(x,) (xj), если х, р хг
Контроль знаний осуществляется следующим образом: выбирается задание х, определяется значение s(x). Если задание выполнено верно, то полагается s(x) = 1 и что также верны результаты всех заданий, предшествующих выбранному на данном шаге в графе G (эти задания составляют некоторый подграф графа G с
вершиной в задании х). Если результат неверный, то полагаются отрицательными результаты всех заданий, следующих в графе G за выполненным (и также составляющих свой подграф). Выделенный таким образом подграф отсекается (включая выбранное задание), и формируется новый граф с вершинами, содержащими задания с еще неопределенным результатом, из числа которых выбирается очередное задание для контроля. Данный алгоритм позволяет исключить из опроса те задания, ответы на которые «почти» предопределены ответами на уже заданные.
На каждом шаге вычисляется величина (X,) -
Х,бХ
количество правильно выполненных заданий. Уровень знаний удовлетворителен, если £>(*,)>#, где Я
задает число верных ответов, определяет полноту опроса и задается преподавателем, исходя из условий опроса (текущий, итоговый и т.д.).
Для исходного графа находится величина порогового значения Я«р, которая определяется его структурой. Если, полнота опроса меньше порогового значения, то алгоритм заключается в выборе заданий, находящихся в истоковых вершинах графа - алгоритм А. Если полнота опроса больше порогового значения, то опрос начинается с концевых вершин графа - алгоритм В. Предложенный алгоритм состоит из двух частей: определения Я«р и собственно алгоритма опроса.
Определить Н^, можно следующим образом. Для каждой вершины, входящей в данный граф, строятся всевозможные подграфы получения решений длиной Lk. Подграфы строятся по двум алгоритмам: когда опрос начинается с истоковых вершин if и когда - с
концевых if.
Далее определяется величина AL = Lab- L'AB , где 1^ = min {Я* ,1* }, I^ = max {if }, Iе = шах {if };
I^ = max{l^ ,!'* \,L'a = min {if }, I'* = min{lf },
которая и даст Hv (количество заданий при наименьшем значении ДI).
Оптимальность и эффективность данного подхода доказаны для связного графа [4]. Проблема заключается в том, что медицинские знания относятся к эмпирическим знаниям, как правило, плохо структурируемым, в отличие от знаний из области точных наук. Опыт работы со специалистами-предметниками показывает, что граф вопросов для одной темы может состоять из нескольких отдельных подграфов, не связанных между собой (рис. 1).
119
Один из возможных путей проведения опроса в подобных случаях заключается в следующем: для каждого подграфа в отдельности рассчитывается пороговое значение (Н1^ ). Полнота опроса Я определяет величину полноты опроса в каждом подграфе Я' = НМ У М, где М1 - количество вопросов в т'-м подграфе.
8 9 10 11
Рис. 1. Пример несвязного графа опроса
Опрос ведется в каждом подграфе по своему алгоритму: если для какого-то подграфа выполняется условие Я' > Я^ , то опрос в нем осуществляется по алгоритму Д
если Я' < Я^,, - то по алгоритму А. Опрос по подграфу завершается тогда, когда либо тестируемый ответил на все вопросы подграфа и уровень его знаний )<Я',
Х,еХ
либо уровень знаний тестируемого удовлетворителен -) > Я', хотя некоторые вопросы в подграфе ос-
Х,(:Х
тались с неопределенным результатом.
Если в результате такой процедуры опроса складывается ситуация, что уровень знаний тестируемого оказался ниже заданного - ^ (Xt) < Я (где Я- полнота опроса по
Х,еХ
всем подграфам), то происходит возврат к тем подграфам, где остались вопросы с неопределенным результатом, и тестируемый отвечает на них, тем самым «добирая» уровень знаний до заданного преподавателем.
Для приведенных на рис. 1 подграфов Я^ = 3,
= 2. Всего вопросов в обоих подграфах - 14. Пусть
преподаватель считает, что достаточно ответить на 50 % из всех вопросов, тогда Я* = 4, Я2 = 4 и опрос по 1-му и по 2-му подграфу будет осуществляться по алгоритму В.
На кафедре биомедицинской кибернетики и в лаборатории сертификации и тестирования специалистов СГМУ ведутся работы по созданию программного комплекса, реализующего описанный подход к структуризации и оценке знаний. Данный комплекс содержит несколько отдельных модулей (рис. 2): модуль создания и редактирования вопросов и ответов предметной области, модуль задания структуры опроса и расчета Я^ для полученного графа заданий, здесь же уточнение (при необходимости) Я^, подграфов, модуль проведения опроса, работа с архивами результатов.
Преподаватель
Модуль создания и редактирования вопросов и ответов предметной области
Модуль задания структуры опроса и расчета Я^
Г
i
Модуль
архивов
I-
Модуль проведения опроса
Тестируемый j
Рис. 2. Структура программного комплекса
Первый, второй и последний из перечисленных Модулей рассчитаны на непосредственную работу преподавателя-предметника, модуль проведения опроса - на работу с тестируемыми, тестируемый имеет частичный доступ и к архивам (без права удаления или изменения результатов).
Работа с преподавателями-предметниками показала, что в целом их устраивает такой подход к контролю знаний. Формирование своей структуры опроса, даже при имеющемся наборе вопросов (как, например, вопросы, утвержденные и присланные из Министерства здравоохранения в лабораторию сертификации и тестирования), дает возможность преподавателю адаптировать опрос согласно своей методике изложения материала.
ЛИТЕРАТУРА.
1. Александров Г.Н., Ратнер Г.Л. Программированное обучение и его место в медицинских вузах. М.: Медицина, 1968. 183 с.
2. Блинова Л.Л., Дмитриева М.М. Модель для конструирования контрольно-обучающих программ с использованием микроЭВМ «Электроника ДЗ-28» // Жури, микробиолог., эпидемиолог, и иммунол. 1989. № 8. С. 111-114.
3. Бобков А.И., Либрович Л.В., Макаренко В.Н. Использование логических моделей для автоматизированного обучения и контроля знаний. // Компьютерные технологии в высшем образовании / Ред. коллегия: А.Н. Тихонов, В.А. Садовничий и др. М.: Изд-во Моек, ун-та, 1994. С. 249-252.
4. Бобков А.И., Тюрликова О.А. Построение стратегий классификации уровня знаний на основе графоаналитической модели // Кибернетика. 1988. №5. С. 109-112.
5. Злобина Т.М., Егоров А.Н., Шамис Ф.И. Тестовый контроль знаний среднего медицинского персонала // Фельдшер и акушерка М.: Медицина, 1989. № 5. С. 51-52.
6. Литвиненко П.М. Опыт программированного обучения студентов // Мед. журнал Узбекистана Ташкент Медицина УэССР. 1974. № 3. С. 61-64.
7. Маркварде Ю.М., Маркварде М.М. Применение компьютерного контроля знаний в учебном процессе // Здравоохранение Беларуси. 1994. №2. С. 61-63.
8. Шляпников В.Н., Быкова Л.Ф., Борщев В.Ф. Об оптимизации усвоения и контроля знаний в медицинских вузах // Советское здравоохранение. М.: Медицина, 1984. № 6. С. 57-64.
Статья представлена кафедрой биомедицинской кибернетики и лабораторией сертификации и тестирования специалистов Сибирского государственного медицинского университета, поступила в рабочую научную редакционную группу «Проблемы компьютеризации» 25 ноября 1999 г.
120
