CC BY
80
УДК оо«27,855 Г.Н. Зверев, Н.Н. Зверева
ВАК 05.13.10 r ' г
РИНЦ 50.51.02, 20.01.07
Семиотические модели и автоматизация конструирования педагогических тестов
Обсуждаются проблемы построения объективных моделей учебной дисциплины, процессов обучения, контроля знаний и компетенций, автоматизированной генерации тестов с использованием формализованных понятий тестологии, семиотических и математических моделей педагогических процессов. Ключевые слова: тестирование, педагогика, семиотика, знак, понятие, знание, компетенция, учебная доза знаний, тестовое задание, истинный балл.
SEMIOTIC MODELS AND AUTOMATIZATION OF PEDAGOGICAL TESTS DESIGN
The paper deals with the problems of construction objective models of educational course, learning processes, control of learning results. We considered the possibility of automated test generation using formalized concepts of testology, semiotic and mathematical models of pedagogical processes. Keywords: pedagogy, semiotics, sign, concept, knowledge, competence, test task, true point.
Введение
Достижение объективных оценок качества результатов обучения, обоснованности используемых методов и средств их получения для различных целей и условий в процессах тестирования многие годы остается социально значимым и вызывает острые обсуждения при анализе педагогической деятельности, ее аттестации, контроле качества образования в целом. В педагогике предложено много теоретических моделей и практических приемов, процедур измерения внутренних состояний чрезвычайно сложных мыслительных и эмоциональных структур в памяти учеников и студентов, порождаемых процессом обучения, использующих понятия и зависимости различного уровня обоснованности и объективности [1—4]. Существующие формы тестов, технологии тестирования, меры сравнения ответов испытуемых с эталоном знаний далеко не всегда удовлетворяют насущным требованиям к образовательным процессам и вызывают в обществе, в научно-педагогической среде справедливые нарекания. Причины этого кроются в высокой сложности объекта иссле-
дования - приобретаемых знаний и умений обучаемого, существенного влияния на результаты оценивания субъективности экзаменаторов и применяемых средств педагогических измерений, обработки фактической и априорной информации об испытуемых.
Данная статья является продолжением работы [5] и посвящена уточнению основных понятий и моделей тестологии, объективации педагогических исследований с позиций теоретической информатики. Обсуждаются пути и средства углубленного анализа свойств приобретенных компетенций, автоматизации проектирования тестов и возможных их усовершенствований на основе моделей семиотики и проблемологии [6].
1. Формализация педагогических исследований
В теоретической (фундаментальной) информатике процессы исследования произвольного материального либо информационного явления описываются моделями объекта исследования, процессов измерения, наблюдения, обработки результатов измерений совместно с априорными и теоретическими
данными о процессах и объектах, влияющих на результаты исследования. Завершающим этапом является контроль, оценка достоверности, адекватности результатов обработки и последствий реализации принятых решений. Предшествуют исследованию определение целей и критериев их достижения, разработки средств измерений и обработки информации, технологии исследования [6].
Проблемным объектом педагогического исследования являются приобретенные обучаемым знания по определенной дисциплине. Измеряемое/вычисляемое свойство -это степень (мера) соответствия полученных знаний исходным, эталонным знаниям учебного курса, или иначе, степень их расхождения - отсутствие знаний либо их ошибочное усвоение. Поэтому приобретенные знания обычно оцениваются в позитивных (точность, полнота) или негативных (погрешность, незнание) шкалах оценок. Цели педагогических исследований определяются разнообразием задач, которые решает педагог в учебном процессе: входной, текущий, итоговый контроль знаний обучаемых / диагностика пробелов
Геннадий Никифорович Зверев,
д.т.н., проф. каф. Компьютерной математики Тел.: 8 (347) 228-66-20 Эл. почта: [email protected]
Gennady N. Zverev,
Doctor of Engineering Science, Professor of computer mathematics department Tel.: 8 (347) 228-66-20 E-mail: [email protected]
Нина Николаевна Зверева,
ст. преподаватель каф. Экономической информатики Тел.: 8 (347) 272-40-35 Эл. почта: [email protected] Уфимский государственный авиационный технический университет http://www. ugatu.ac.ru/EC_INF/
Nina N. Zvereva,
Senior Lecturer of economical informatics department Тел.: 8 (347) 272-40-35 E-mail: [email protected] Ufa State aviation technical university http://www. ugatu.ac.ru/EC_INF/
в знаниях и компетенциях и оценка их прочности / оценка умственных способностей, ранжирование обучаемых по успеваемости, одаренности, креативности.
Эти и другие понятия, процедуры педагогики и тестологии подлежат формализации, конструктивному воплощению в программно-аппаратных средствах информационных технологий. Первые теоретические модели психологических и педагогических измерений [7-9] имели реляционную (аксиоматическую) форму и были ориентированы на обоснование шкал измерений. Более информативна функциональная (конструктивная) формализация процессов измерения / вычисления искомых свойств проблемных объектов и оценки точности результатов, построенная для физических экспериментов, технической, медицинской диагностики и т.д. в виде функциональной модели исследования [6], представленной на рисунке.
В этой граф-схеме, которая называется схемой косвенного обращения или графом инверсий прямых информационных связей, генор Г есть модель генерации объектов и параметров проблемных ситуаций - вектора влияющих причин и - полезных и мешающих факторов, воздействующих на измерительную, наблюдательную систему -сенсор А, на выходе которой находятся результаты измерения у, которые поступают на вход мыслительной, вычислительной системы - рефор В, альтернативный термин - реформер, он преобразует накопленные знания, обрабатывает результаты наблюдений и априорную информацию J о проблемной ситуации, получая на выходе оценки искомых параметров х.
Эти оценки сравниваются с эталонными, истинными значениями искомых х, которые порождает прецизионная система - целевой оператор исследования С. Сравнение х и х выполняет адекватор D, на выходе которого - оценка точности, адекватности V = Д-1 в позитивной шкале либо оценка погрешности Д в негативной шкале оценок; для количественных результатов исследований Д = х - х. По всему множеству возможных значений вектора причин и, порождаемых генором Г, вычисляются сводные, интегральные оценки точности и погрешности Дх = Su(Д) оператором связывания Su, скажем, предельные или сред-неквадратические меры ошибок. Эти оценки поступают на вход исполнительной, моторной системы -эффектора Е, который осуществляет обратную связь в управлении генорными, сенсорными, рефорны-ми, адеквативными, эффекторны-ми процессами и вносит изменения в системы Г, А, В,... посредством управляющих воздействий г (модуль внешнего управления процессом исследования в графе инверсий не показан).
Функциональная модель исследования имеет операторное описание ГABCDES и параметрическое описание иу1ххДДг информационных процессов любых исследований. Эта модель с соответствующими изменениями и пополнениями конкретной семантикой переносится в информационные процессы обучения и педагогических исследований. Для этого необходим адекватный концептуальный аппарат: формализованные понятия дидактики и тестологии, семиотические и математические модели изучаемой дисциплины, обучаемых и процесса обучения,
Функциональная модель исследования
тестов, технологии тестирования и контроля знаний.
2. Семиотические и математические модели изучаемой дисциплины
Учебная дисциплина содержит описание в определенном аспекте фрагмента материально-информационной реальности, теории и практики соответствующей предметной области - множества предметов, процессов, связей между ними. Предмет, материальный объект - это всё то, что обладает свойствами и отношениями к другим предметам. Учебная информация о предмете представляется на естественном языке - ЕЯ, языке предметной области - ЯПО, логико-атематическом языке - ЛМЯ, информационных языках - ИЯ и т.д. Формализация таких фундаментальных понятий, как язык, информация, знак, понятие, знание, умение, пригодная для реализации понятий в искусственной информационной среде, выполнена в теоретической семиотике [6, 10].
Произвольный язык формализуется описанием: языковой среды -множеством субъектов - носителей языка - и коммуникативных связей между ними; парадигмы языка - алфавита, лексики, синтаксиса и семантики элементарных и составных знаков языка; прагмы языка - знаковых процессов и их результатов - новых знаний. Далее мы воспользуемся подходящими уточнениями применительно к терминам педагогики.
Учебный материал дисциплины (лекция, книга, фильм, лабораторное задание, пакет программ тренажера и т.д.) представляет собой знаковую структуру, организованную в соответствии с технологией обучения и поставляемую обучаемым порциями, дозами, доступными для понимания и применения. Структура из элементарных и составных знаков, которая включает текст, гипертекст, предложения, формулы, таблицы, рисунки, диаграммы, мультимедиа и т.д., иерархически упорядочена в информационном пространстве-времени. Элементарные знаки (буквы алфавита ЕЯ, ЛМЯ, ЯПО, примитивы рисунков,
формы таблиц) не имеют предметной семантики, они определяют лингвистический, грамматический смысл компонентов знаковой структуры и служат для построения составных знаков: слов, понятий, утверждений, команд, советов, вопросов и других грамматических форм, которые обозначают предметную и межпредметную семантику -смысл знаковой структуры.
Языковая среда и ее субъекты (ученые, учителя, ученики, информационные системы) порождают, преобразуют, общаются, хранят в памяти информацию, знаки, понятия, описывающие свойства материальной и информационной реальности. Знак в теоретической семиотике (теории знаков) имеет два определения: 1) знак в узком смысле, или просто знак, имя, обозначение предмета - проблемного объекта или знаний, информации о нем, это материальный носитель, имеющий информационные функции, заменитель прообраза знака (самого предмета) либо образа (информации о прообразе, его модели) в языковых (знаковых, информационных) процессах; 2) знак в широком смысле, или метазнак, есть объединение обозначения и его смыслового значения, имени знака и его семантики в единый информационный объект.
Следующий шаг - формализация семантики знака, его значения, которое выражает имя И знака: слово, словосочетание, математический символ, идентификатор в описании алгоритма, иконка на экране компьютера и т.п. Необходимо различать: прямое семантическое значение имени И - дент Д (от лат. denotatus - «обозначенный), это сам предмет, прообраз знака, имеющий это имя; и косвенное значение - конт К (от логического concept - «понятие» и лингвистического connotat -«дополнительный смысл имени») -это образ, описание предмета (ден-та) в памяти субъекта, набор отличительных и сходственных признаков, математическая модель проблемного явления и т.д. Конт является заменителем дента в информационных процессах, как мысль о предмете есть заменитель предмета в рассуждениях.
Прямого и косвенного значения И-знака недостаточно для описания знаковых процессов и их семантики, так как необходимо определить связи между этими семантическими значениями, между другими знаками, процессами, объектами и субъектами языковой среды. Эти функции выполняет ссылочное семантическое значение имени - семиотический адрес А всех компонентов метазнака. Адрес определяет место и время в физическом, информационном (в памяти) и модельном (виртуальном) пространстве-времени моделируемого явления всех компонентов метазнака. Итак, смысл И-зна-ка есть КАД-значение метазнака ИКАД, в котором конт К и адрес А есть тоже знаки, но другого уровня описания, а дент Д может быть материальным, реально существующим предметом -редент, либо знаком, идеальным предметом - идент, который материализуется набором И-знаков и описывается своим контом.
Ближайшие синонимы знака и метазнака в научном языке - это информация, знание, понятие, смысл которых подлежит уточнению. Исходным смыслом термина «информация» является сообщение, порождаемое источником информации и передаваемое приемнику, преобразователю или потребителю информации безотносительно к семантике сообщения, приписанной источником и восстановленной приемником. Источники, преобразователи, приемники знаков, информации - это человек (учитель, ученик), книга, измерительный прибор, компьютер, телевизор, канал связи.
Итак, информация есть более конкретная форма предельно абстрактного понятия, «знак в узком смысле», И-знак, применительно к процессам передачи знаков, коммуникации субъектов языковой среды, информирования потребителя. Семантика И-знака, синтаксической знаковой структуры, составленной из имен более простых знаков, хранится в источнике и приемнике, если последний восстановил хотя бы частично смысл сообщения. Там же хранится семантика знако-
вых компонентов сообщения, одинаковая либо разная для источника и приемника. Учитель не может непосредственно передать свои знания, мысли ученикам, а только опосредованно, формируя и передавая учебную информацию в виде сообщений, смысл которых должен быть доступен ученикам. Для этого, возможно, потребуется дополнительная информация, скажем, по запросам учеников.
Знание тоже является более конкретной формой категории «знак», но только не в узком, а в широком смысле - это метазнак, так как знание, в отличие от информации, нельзя отделить от его семантики, а информация - набор знаков -может быть бессмысленной для приемника сообщения. Информация есть сведения о свойствах и связях какого-либо предмета, «информация о чем либо». Знание индивидуализировано, привязано к конкретному носителю знания и к его КАД-семантике, хранящейся в памяти субъекта, «знание кого-то о чем-то». Адресация семиотических компонентов информации отличается от подобной адресации компонентов знания. Отсюда также следует различие понятий знания и метазнака.
Субъекты языковой среды - источники и приемники информации - в процессе жизнедеятельности перерабатывают информацию в знания, накапливают в своей памяти семантические знаковые структуры, которые различаются по видам семантик и уровням иерархий. Информация и знания образуют иерархии, прежде всего потому, что всякий предмет, физический или абстрактный, имеет свойства, связи и может быть описан подходящей знаковой моделью: предмет ^ информация о нем ^ информация об информации и т.д. либо: объект ^ знания о нем ^ знания свойств и связей этих знаний. Скажем, реальное значение какого-либо свойства предмета характеризуется погрешностью, знание которой тоже неточно. Возникает адеквативная иерархия: предмет ^ знание ^ погрешность знания ^ погрешность погрешности знания... Это пример модельной иерархии - мо-
дели моделей. Другие виды иерархии знаний порождаются операциями обобщения, абстрагирования, анализа-синтеза. Это структурные иерархии принадлежности и включения, иерархические классификации, которые обязательно учитываются в технологиях обучения.
Из всех видов семантик, описанных в теоретической информатике, рассмотрим системную семантику, в которой описываются истинные (онтологические, принимаемые за истину) знания предметной области как системы в структурно-полюсном и ролевом базисах системологии [6]. В этих базисах, определяющих основные аспекты описания предметной области, знания разделяются на четыре вида: 1) структурные описания проблемного объекта, различающиеся по уровню абстракций: иерархические сети полюсников, математические сети, гипермультиграфы, обыкновенные графы - это предельно простое и абстрактное описание структуры системы; 2) параметрические описания: свойства, состояния, признаки, характеристики, атрибуты объектов и процессов; 3) реляционные модели предметной области - описания связей между объектами, процессами в виде уравнений, неравенств, распределений и т.д.; 4) функциональные модели - знаковые описания процессов, действий, преобразований в виде функций, алгоритмов, технологий.
Структурно-параметрические и реляционные модели составляют дескриптивную, декларативную форму знаний и их смыслов, которые при решении задач предметной области превращаются в описания действий, функции, алгоритмы - в конструктивную, процедурную форму знаний, которая в педагогике называется умением решать проблему: «знаю как». В результате упражнений, практического опыта умения переводятся из сознания в подсознание и становятся автоматизмами деятельности человека. Такие умения называются навыками. Знания, умения и навыки в современной терминологии в совокупности называются компетенциями.
Основным средством организации и структуризации знаний в какой-либо предметной области служат ее понятия, а также межпредметные понятия и типовые модели предметики: базовые классификации предметов - онтологии, терминосистема, тезаурус, глоссарий, семантическая сеть и т.д. Представление о понятии - результате понимания, осмысления субъектом изучаемой действительности, сформировались в логике и семиотике как установление соответствия между именем знака и его смыслом, известным либо вновь создаваемым в памяти субъекта. Например, незнакомое слово в заданном тексте приобретает для ученика в процессе учебы вполне определенный смысл.
Слово «понятие», как и слово «знак», в научных текстах приобрело исторически, по крайней мере, два смысла. В узком смысле понятие - это мысли субъекта о прообразе понятия, хранящиеся в его памяти, т.е. конт К (англ. concept) - набор моделей прообраза - дента. В широком смысле понятие - это его название, имя И и полный КАД-смысл. Далее мы используем понятие в широком смысле, поэтому формализация метапонятия (понятия о понятии) состоит в отождествлении мета-знака (обозначение + значение) и понятия П = ИКАД как определенного фрагмента знаний субъекта и в последующей конкретизации метапонятия для человеческих и формализованных машинных понятий информационных систем и технологий. Понятие П есть заменитель этого фрагмента знаний в текстах, рассуждениях посредством задания имени И, обозначающего определенный класс предметов - дент Д, в котором знание П достоверно, а также определенный набор моделей, связей, свойств, признаков объектов этого класса - конт К и пространственно-временные адреса компонентов понятия П в различных пространствах - физическом, информационном, модельном.
Описания конта, дента и семиотического адреса содержат определяющие понятия для определяемого понятия П, а само оп-
ределение состоит из именования понятия, контирования - формализации конта, дентирования - описания класса прообразов понятия и адресации предметов, их имен и моделей, прежде всего, в прагме языкового процесса. В логике дент называется объемом понятия, конт - его содержанием, а процедуры адресации выполняются логически мыслящим субъектом на интуитивном уровне. В информатике адресные связи приобретают явные формы. Понятие П очевидно применимо для описания каждого объекта из класса Д, поэтому в конкретных ситуациях переменные параметры, признаки и другие модели, входящие в конт К, принимают определенные значения для данного объекта и составляют фактическую информацию о проблемной ситуации. Следовательно, всякая учебная информация, характеризующая в знаковом процессе стоящую перед субъектом проблему, разделяется на понятийные, теоретические знания и фактические, эмпирические данные о конкретных объектах, примерах, образцах. Поэтому в учебном процессе предоставляют обучаемым и проверяют при тестировании как знания конкретных фактов, так и владение теоретическими понятиями предметной области.
Часто понятия имеют в текстах многозначную семантику и одному имени присваиваются в языковой среде два и более смысловых значений: И ^ {К1 А1 Д1, К2 А2 Д2, ...}. При формализации учебного материала полисемия в нем устраняется конвенцией, предварительным соглашением о смысле знаков либо уточняющим переименованием: И1 ^ К1 А1 Д1, И2 ^ К2 А2 Д2, ... Однозначно формализованные понятия называются терминами предметной области.
Представим учебную информацию дисциплины в виде линейного либо иерархически упорядоченного множества предложений. Каждое предложение выражает законченную мысль и состоит из слов естественного языка, понятий тер-миносистемы предметной области, формул, таблиц, рисунков и т.д. Повествовательное предложение
имеет смысл утверждения о свойствах объектов, связях, действиях, событиях либо их отсутствии - это фактическая информация, или же содержит определение, уточнения смысла термина - это понятийная информация. Побудительное предложение содержит требование, приказ, алгоритм действий, совет, просьбу, пожелание, предостережение. Вопросительное предложение выражает потребность получить информацию; скажем, тестовое задание формулируется в виде вопроса либо побуждения. Восклицательное предложение помимо мыслительной информации -утверждения, вопроса, побуждения-несет также эмоциональную семантику источника информации -лектора, экзаменатора, автора учебника, ученика. Такие конструкции нужны при построении эмоциональных моделей учебного процесса.
Одно или несколько (любое число) предложений, имеющих тематическое единство, составляют учебную дозу знаний и умений (ДЗУ) изучаемой дисциплины. Альтернативные термины: дискрет или квант знаний, порция учебной информации, учебный модуль. Близкие по смыслу к ДЗУ термины в педагогике - учебная единица, дидактический элемент - понятие, факт, закон, объект, класс, пример и т.п. Различают элементарные и составные ДЗУ (они включают более мелкие дозы учебного материала), минимальные, оптимальные, слишком большие дозы. Если доза приобретает заголовок (имя) и самостоятельное структурно-параметрическое и функциональное описание (КАД-семантику), то она становится понятием.
Учебный материал - лекция, учебное пособие, практикум, тест -посредством понятий и ДЗУ структурируется и представляется одной из структурных моделей: сетью по-люсников (ДЗУ), иерархическим мультиграфом и т.д. Наиболее простая структурная модель дисциплины либо ее раздела - обыкновенный граф, вершинами которого служат ДЗУ, а ребрами - парные связи между дозами, определяемые в двоичной шкале - есть либо нет связи. В мультиграфе различают типы
бинарных связей ДЗУ, в гиперграфе - связи произвольной арности. Элементарные либо составные ДЗУ также описываются структурными моделями, простейшей из которых является семантическая сеть: вершинами сети служат понятия этой дозы, а ребрами - различные связи между понятиями.
Итак, выше мы уточнили семантику фундаментальных понятий научного языка, играющих ключевую роль в формализации процесса обучения: знак, метазнак, информация, знание, умение, понятие, ДЗУ. К ним следует добавить широко распространенный термин «данные» -это информация, представленная в известном формате, пригодном для хранения, машинной обработки, копирования, передачи по каналам связи. Представленные уточнения смыслов категорий информатики позволяют построить достаточно полные и адекватные модели педагогической деятельности, автоматизировать все более сложные виды действий, выполняемые преподавателями.
3. Модели процесса обучения
Основные задачи, которые решает педагог, сводятся к следующим: отбор, структурирование, проверка учебного материала, планирование учебных занятий (проведение занятий, управление учебным процессом), оценка результатов обучения. Формализация этих задач, построение моделей, алгоритмов, эффективных информационных технологий их решений представляют серьезные проблемы. В последнее время активно развиваются разные направления компьютеризации сферы образования и процессов обучения [4, 11-13]. Здесь рассматриваются некоторые из них.
В дидактическом аспекте наибольший интерес представляет построение моделей информационного общения источника и приемника синтаксической и семантической информации (попеременно учителя и ученика), восприятия, образования взаимопонимания, понимания и усвоения знаний и умений обучаемыми системами. Начнем с модели общения учителя
и ученика, в общем случае, модели диалога между двумя субъектами: subjl ^ subj2 на языке общения, которым должны владеть полностью либо частично учитель и ученик. Очевидно, язык общения не совпадает с внутренним языком субъекта - его языком понимания (мышления и внутренней речи) и требуется перевод подходящим процессором в функциональной структуре субъекта с языка общения на внутренний язык и обратно. Информационная связь между субъектами осуществляется передачей сообщений - знаковых структур, по каналам связи: звуковым, визуальным, электронным и т.д. Простейшая информационная модель диалога двух людей, обменивающихся сообщениями, включает два внутренних языка понимания или мышления (langua mentalis) Li, L2 и два внешних языка общения - Li2, L2i соответственно, в языковых средах мыслительных и лингвистических процессоров первого (Li, L12) и второго (L2, L21) субъекта диалога, а также модель двустороннего канала связи между субъектами.
В типовых педагогических ситуациях языки понимания Ln и общения Lnc преподавателя со студентом предполагаются полностью сформированными и согласованными в прагме и парадигме, прежде всего, в терминосистеме дисциплины (лексике) и в семантике ДЗУ, а языки понимания Lc и общения Lcn студентов формируются в прагме и переносятся в парадигму при осмыслении поступивших доз учебного материала и общении с преподавателем. В очередном ДЗУ, полученном студентом от преподавателя либо изучаемом самостоятельно, обучаемый выделяет незнакомые термины, фрагменты изображений, формулы, неизвестные математические обозначения, непонятные сочетания знаковых структур. Эти виды незнания формально определяются как семиотические переменные прямых и обратных задач теоретической семиотики. Решая тем или иным способом эти задачи, студент устраняет полностью либо частично семиотические неопределенности и достигает некоторой
степени понимания дозы учебного материала.
В современной дидактике различают следующие уровни усвоения и понимания поступающей информации: синтаксический уровень - запоминание знаковых структур дозы знаний; семантический уровень - преобразование учебной информации в новые знания ученика, образование смыслов неизвестных знаков и превращение их в новые понятия обучаемого с однозначно определенными дента-ми, контами, адресами, построение связей с другими понятиями языка студента; адеквативный уровень -оценка достоверности и остаточной неопределенности новых знаний; аксиорный уровень - оценка важности, существенности, применимости, ценности новых знаний при решении различных задач предметной области; трансформационный уровень - перестройка системы знаний в свете нового понимания, абстрагирование, обобщение, идеализация, образование новых умений и навыков - компетенций. Моделирование этих весьма сложных информационных процессов в сознании студента в первом приближении можно ограничить упрощенными описаниями понятий, ДЗУ, компетенций и связей между ними применительно к проблемам тестирования знаний обучаемых.
Типовой (по возможности полный) описатель (дескриптор) понятия - термина П включает в прагме и парадигме языка преподавателя следующую информацию: основные и дополнительные имена понятия П - словесные, символьные обозначения, машинный идентификатор и т.д.; кластер понятий, связанных с понятием П, - синонимы, толеранты, ассоцианты, оппозиции понятию П; содержательное (ЕЯ) и формальное (семиотическое, математическое) определения понятия П, его прямого Д и косвенного К значений; семиотическая адресация компонентов понятия П в парадигме и прагме языка, в проблемных ситуациях; примеры, применения понятия П, образцы текстов, в которых оно встречается; история понятия - генезис и трансформация смысла П со временем.
Типовой описатель дозы учебной информации содержит следующие характеристики ДЗУ: тип дозы знаний - фактические или понятийные либо те и другие знания; структура ДЗУ - последовательность предложений либо иерархическая конструкция, включающая ДЗУ низших иерархических уровней дисциплины; виды семантик учебного материала; параметры ДЗУ: объем информации, сложность учебного материала, трудность усвоения, вес - ценность, важность знаний и др.; базовые понятия в составе ДЗУ, необходимые для понимания данного текста, вводимые в других, предшествующих дозах, а также новые, вновь вводимые понятия (для понятийных ДЗУ); в работе [14] базовые и новые понятия учебного модуля названы как входные и выходные понятия; базовые ДЗУ, предшествующие данному, которые содержат сведения, необходимые для понимания нового материала. Семантическая сеть ДЗУ учебной дисциплины описывает ее структуру и должна учитывать не только зависимости и связи доз по базовым понятиям, но и по фактическим и теоретическим знаниям, необходимым для восприятия учебной информации.
Компетенции, в отличие от ДЗУ, определяют совокупность требований к результатам учебного процесса. В общепринятом употреблении слово «компетенция» обозначает круг полномочий и вопросов, которые разрешает обладатель знаний и опыта; в педагогике - это знания, умения, навыки, приобретенные обучаемым в определенной сфере деятельности, совокупность правильно и эффективно выполняемых функций, действий в проблемных ситуациях. Иными словами, компетенция - это способность решать вполне определенный класс проблем предметной области. При формализации этого сложного понятия воспользуемся терминами и моделями проблемологии [6].
Опытный специалист, который в полной мере владеет соответствующей компетенцией при решении возникшей проблемы, знает, какие методы, средства и ресурсы привлекают в подобных ситуаци-
ях, какая необходима информация и уровень ее достоверности; умеет анализировать проблему, разбивать ее на задачи, подзадачи, метазада-чи, аналогоподобные задачи, формулировать их постановки, определять цели и критерии; выбирать или синтезировать алгоритмы, технологии их решений, управлять процессом решения и оценивать качество промежуточных и окончательных результатов.
В проблемологии формализуются эти понятия, определяются четыре типа прямых и обратных информационных задач, которые решает специалист в своей практической деятельности: целеполага-ние, построение графа целей проблемы и критериев их достижения; исследование проблемы, теоретическое, информационное моделирование и эксперимент; планирование действий, проектирование целевых объектов и средств достижения целей; управление реализацией планов и проектов. Успешное решение специалистом этих задач характеризует его полную компетентность в данной проблеме.
В учебных процессах определяют уровни компетентности обучаемых в заданном классе проблемных ситуаций: владение понятиями и необходимыми знаниями о предметной области и решаемой проблеме; умение решить поставленную задачу по заданному алгоритму и обосновать правильность результатов; умение решать задачи из определенного класса проблем по заданным алгоритмам; умение выбирать из множества известных алгоритмов или синтезировать неизвестный алгоритм решения задачи и реализовать его; построить метаалгоритм, т.е. алгоритм, который порождает требуемый алгоритм для решения задачи; умение сформулировать постановку задачи - данного этапа решаемой проблемы, определить исходные данные, цели и критерии успешности решения, внести коррективы в известную постановку, которые обеспечат достижение поставленных целей; изменить семантику понятий проблемы - обобщить, конкретизировать, идеализировать в соответствии с применяемыми
методами решения; проявить креативность, творческие способности при решении проблемы, предложить оригинальный подход в решении задач.
Типовой описатель компетенции включает следующие данные: сфера деятельности, перечень проблемных ситуаций компетенции; список понятий и ДЗУ предметной области, которыми предварительно должен владеть обучаемый; перечень осваиваемых умений: выполняемых функций, алгоритмов, методов решений, новых мыслительных операций; требуемый уровень компетентности.
Используя описатели - формализованные дескрипции понятий, доз знаний и умений, компетенций, преподаватель определяет возможные траектории усвоения учебного материала дисциплины, ее разделов либо рекомендации при самостоятельной работе студентов. Функциональная модель процесса обучения может быть представлена графом инверсий ГАВСDES: модель генерации Г выдает студентам очередную порцию u учебной информации, которую они воспринимают сенсорами А для запоминания и преобразуют рефорами В в новые, возможно, неполные и искаженные знания х. Целевой оператор С выделяет в ДЗУ истинные (эталонные) новые знания х, которые при текущем контроле преподавателем и самоконтроле понимания студентом сравниваются с фактическими знаниями х студентов. Адекватор Б формирует меру соответствия х и х или расхождения Д, которая служит основанием для коррекции процесса обучения эффектором Е в канале обратной связи по конкретному ДЗУ либо по разделу или по всей дисциплине, используя среднее значение расхождения Дх = S{Д}, вычисляемого оператором связывания S. Эта же функциональная модель описывает процедуру текущего либо итогового тестирования.
4. Исследования знаний обучаемых. Модели тестов и процессов тестирования
Наряду с традиционными методами контроля уровня подготовки обучаемых всё большую роль игра-
ют методы тестирования, которые имеют большие перспективы, а в современном состоянии и большие изъяны: недостаточно высокая точность, достоверность, чувствительность (дифференцирующая способность результатов тестирования), недостаточная глубина анализа знаний обучаемых, большая трудоемкость разработки высококачественных тестов. В педагогическом процессе различают входной, текущий, рубежный, итоговый контроль знаний, оценку остаточных знаний после завершения процесса обучения. Первые три типа контроля решают задачи педагогической диагностики и доучивания студентов, в общем случае каждый вид педагогического исследования преследует одну, а чаще несколько целей, которые формализуются моделью целевого оператора С в граф-схеме ГАВСDES.
Цели педагогических исследований и решаемые задачи включают: оценку уровня и качества знаний, умений, навыков по разделам и дисциплине в целом; оценку способностей, уровня интеллекта, креативности студента; ранжирование, дифференциация студентов по знаниям и способностям; воспитание, повышение мотивации, желания учиться; прогнозирование успешности будущей профессиональной деятельности, профориентация обучаемых. В зависимости от целей тестирования формируется набор тестовых заданий, измеряемых параметров процесса тестирования, алгоритмы обработки результатов педагогических измерений.
Функциональная модель технологии тестирования в абстрактном представлении совпадает с рассмотренной выше моделью обучения, однако имеет иную семантику операторов ГАВСDES и входных/ выходных объектов иух4хДД:1 этих операторов. Модель генерации Г порождает очередное тестовое задание - текст и либо выбирает его из банка заданий. Целевой оператор С формирует эталонный ответ х. Студент воспринимает своими сенсорами А текст задания и, выделяет в нем рефором Б\ известные по накопленным знаниям J компоненты у (слова, формулы, рисун-
ки), наделяя их соответствующей семантикой, определяет неизвестные и способы их нахождения рефором В2. При этом могут возникать синтаксические и семантические ошибки, контролируемые рефором Вз, тогда составной рефор В = В1В2В3, в результате формирует ответ х. Адекватор Б тестовой системы (преподавателя) сравнивает решение х с эталоном х и получает оценку достоверности или расхождения по конкретному тестовому заданию, а оператор связывания S вычисляет среднюю оценку ошибочности Д = S{Д} и итоговую оценку правильности решений заданий по всему тесту.
Оценки достоверности решений обучаемого для многоцелевых (гетерогенных) тестов вычисляются по отдельным группам тестовых заданий, определяются затраты времени на выполнение каждого задания, группы заданий и теста в целом, оцениваются другие свойства процесса решения, которые позволяет измерить технология тестирования. Результаты измерений и вычислений обрабатывают программные модули рефора В тестовой системы по каждому целевому параметру эталонного вектора х совместно с априорной информацией педагогической ситуации.
Основными компонентами априорной информации о проблемной информации тестирования служат: исходные модели знаний и умений обучаемых, модели существенных факторов, влияющих на результаты тестирования и, очевидно, модели предметной области или ее фрагментов. Модель обучаемого в аспекте тестирования включает информацию о характеристиках памяти, ума, поведения, накопленных знаний и умений. Состав этой информации зависит от целей и решаемых задач тестирования. В простейших ситуациях она ограничивается экспертной оценкой готовности и заинтересованности обучаемого к освоению дисциплины или данными об успеваемости по предшествующим родственным дисциплинам.
Факторы, влияющие на достоверность результатов педагогических исследований знаний испыту-
емых, разделяются на два класса, соответствующих этапам измерения компетенций и обработки полученных данных. На результаты измерения влияют: репрезентативность теста учебному материалу дисциплины; качество формулировок и содержания тестовых заданий; последовательность предлагаемых доз знаний; соблюдение правил проведения тестирования; физическое и психологическое состояние испытуемых, окружающая обстановка.
Нарушение репрезентативности множества включенных в тест заданий - непредставительность теста, ведет к ошибкам в анализе полноты и качества усвоения знаний, не обеспеченных контролем. Субъективные оценки представительности теста выполняются экспертами. Объективные методы оценки репрезентативности, учитывающие зависимости между контролируемыми и неконтролируемыми ДЗУ, между тестовыми заданиями, судя по публикациям, находятся в начальной стадии разработки. Простейшей оценкой репрезентативности теста является отношение объема информации ДЗУ, контролируемых тестом, к общему объему учебного материала.
Неудачные формулировки тестовых заданий, наличие в них синтаксических и семантических ошибок и неопределенностей, ошибки в эталонных ответах выявляются на этапе «прогона теста» с учетом мнений студентов и оцениваются экспертами. Объективные оценки качества заданий остаются пока проблематичными. Последовательности представления заданий испытуемым определяется целями тестирования. При итоговом контроле порядок заданий обычно соответствует логической последовательности изложения учебного материала. Изменение этого порядка при оценивании прочности знаний порождает у студентов психологический дискомфорт и дополнительные случайные ошибки в ответах.
Нарушение правил технологии тестирования обучаемыми и преподавателями, заинтересованными в высоких оценках (списывание, подсказки, подмена испытуемых),
является одним из основных факторов, искажающих результаты тестирования. Уровень этих искажений оценивается по результатам предшествующих исследований, используя информацию об успеваемости испытуемых, о применяемых средствах контроля за проведением тестирования и т.д. Нарушения нормального физического и психологического состояния испытуемого и окружающей обстановки приводят к искажениям ответов, не соответствующих его действительным знаниям, умениям. Учет этих обстоятельств приводит к коррекциям технологии тестирования.
Укажем основные негативные факторы этапа обработки результатов педагогических измерений, которые снижают качество итоговых оценок тестирования: невысокое качество алгоритмов обработки фактических и априорных данных; ошибки оценок параметров процесса тестирования; ошибки в моделях обучаемых; неточности в назначении весов тестовых заданий, отражающих относительную важность, сложность, трудность их решений; неопределенности и ошибки задания граничных значений при переводе оценок из 100-балльной шкалы в 5-балльную экзаменационную шкалу либо 2-балльную зачетную шкалу (сдал / не сдал).
В тестологии вводится понятие истинного балла ученика - это идеал достоверности результата тестирования, к которому должны стремиться педагогические исследования. Пусть эталонные знания ДЗУ и знания обучаемого ДЗУ' по разделу либо дисциплине в целом характеризуются количественными (числовыми) либо качественными (классификационными, логическими) признаками. Введем функцию расстояния (метрику), которая количественно оценивает меру различия между эталоном и приобретенными знаниями ученика: 4ДЗУ', ДЗУ > 0. Значение d = 0 характеризует полное совпадение значений признаков: ДЗУ' = ДЗУ, максимальное расстояние d = dmax означает предельную искажен-ность знаний и умений обучаемого, охарактеризованных этими признаками. Относительная мера
неполноты, искаженности знаний д = d /dmax принимает значения из единичного интервала 0 < д < 1. Мера точности, полноты и достоверности приобретенных знаний t = 1 - д лежит в том же интервале. Единичная шкала [0, 1] оценок знаний и умений является унифицирующей для всех видов тестов и заданий: чтобы получить итоговую оценку по дисциплине, необходимо оценки всех типов тестовых заданий привести к единой шкале [5]. В этой же шкале оцениваются математические и субъективные вероятности случайного угадывания. Умножая меры точности и ошибок на 100, получаем оценки в процентах или в 100-балльной шкале:, Д = 100д, Т = 100t - это истинные баллы обучаемого.
К сожалению, признаки знания обучаемого ДЗУ' недоступны для непосредственных измерений и оцениваются косвенно процедурами тестирования. Кроме того, результаты измерений и их обработки искажены перечисленными выше влияющими факторами. Пусть Т = 100 - Д есть истинные баллы знаний испытуемого, известные, скажем, по результатам экспертизы либо информационного или математического моделирования, а Т' =100 - Д' - их оценка в результате реального тестирования, уровень ошибок тестирования ДТ в баллах есть разность между оцененными ошибками обучаемого Д и действительными ошибками: ДТ =Д - Д. Иначе, Д = Д + ДТ, следовательно, ошибки тестирования могут занижать, при ДТ > 0, либо завышать, при ДТ < 0, итоговую оценку знаний испытуемого: Т = Т - ДТ.
Ошибка тестирования включает систематическую ДТо и случайную ДТ1 составляющие: ДТ = ДТ0 + Дп. Они имеют разные источники и разные способы коррекции. Систематическая ошибка тестирования в основном порождается нарушением репрезентативности теста, недостаточным качеством тестовых заданий и алгоритмов обработки, ошибками в априорных данных. Случайная составляющая зависит от психологического состояния испытуемого, нарушений технологии тестирования и определяет уровень
воспроизводимости (повторяемости) результатов тестирования.
5. Автоматизированное проектирование тестов и технологии тестирования
Описанные выше модели объектов и процессов обучения и контроля приобретенных знаний позволяют перейти к созданию более совершенных средств тестирования и облегчить труд преподавателей при создании и использовании автоматизированных обучающих систем (АОС), в которые включаются подсистемы контроля знаний/ умений. Ядром АОС по дисциплине служит электронный учебник преподавателя, пакеты программ и базы данных предметной области, которые подлежат дидактической адаптации к информационной технологии обучения и контроля знаний.
Традиционные методы разработки контрольно-измерительных материалов и реализации процедур тестирования, описанные во многих работах [2-4, 15], предъявляют весьма жесткие требования к тестам, тестовым заданиям, технологиям измерений, обработки, анализа полученных результатов и принятия окончательных решений по каждому студенту и группе студентов. Для автоматизированного проектирования средств контроля процесса обучения необходимо формализовать педагогические понятия, используемые в традиционных подходах на интуитивном (субъективном) уровне, обеспечить их принципиальную измеримость / вычислимость, оценить точность результатов, сформировать описатели тестового задания, теста и технологии тестирования.
Типовой описатель тестового задания содержит следующие сведения: проблемный объект тестирования; тип тестового задания; шкала измерения качества решения задания; контролируемые понятия и ДЗУ изучаемой дисциплины; ожидаемое и фактическое (среднее) время решения задания; теоретическая сложность задания; фактическая (статистическая) трудность решения задания; дифферент задания, мера различимости студентов
по их способностям к решению задания; вероятность случайного угадывания правильного ответа; оценки качества формулировок в тексте задания; веса элементов задания, из которых формируется решение.
Перечисленные в описателе задания понятия имеют однозначную формализацию (см. например [2-5]), приведем здесь некоторые уточнения. Проблемные объекты исследования при тестировании -это понятийные и фактические знания обучаемого. При синтезе теста необходимо различать сложность задания и трудность его решения для испытуемого. Сложность есть объективная характеристика задачи, входящих в нее понятий, связей с другими понятиями и ДЗУ, шагов их преобразований при получении правильного ответа. Меры сложности задач представлены в [6], меры сложности сети понятий описаны в [14]. Трудность решения задания характеризует успешность действий и затраченные усилия испытуемых и зависит от их подготовки и сложности задания. Меры трудности строятся по субъективным сравнительным оценкам, полученным в результате опроса студентов, и мнениям экспертов или по объективным результатам тестирования, оцениваемым в двоичной шкале (1 - решил, 0 - не решил) либо в числовой шкале точности/ погрешности [0, 1], отражающей частичность, неполноту ответа.
Эмпирическая трудность в
- о N0
двоичной шкале оценок о0 = ,
эмпирическая легкость задания N
Р = N = 1" Р,, где М и N0 - число студентов, решивших и не решивших данное задание; М0 + N1 = = N - общее число студентов. Эмпирическая легкость задания, измеряемая в единичном числовом интервале оценок по точности ^ решения задания 1-м студентом, есть „ 1 ^
Р = — ^ - оценка вероятности
решения задания; Р0 = 1 - Р\ - эмпирическая трудность, оценка вероятности не решить задание для студента из заданной группы. Последние формулы справедливы и для двоичных значений и = 0 либо и = 1.
По значениям трудности Р0 и легкости Р\ задания вычисляются его дифферент - дифференцирующая способность задания различать студентов по знаниям/умениям. Эмпирическая дисперсия двоичных значений точности и есть а = ^]Р0 * р, дифферент задания является квадратным корнем из значения дисперсии: а =^Р0 * р . Эта формула приближенно оценивает дифферент задания и при двоичных числовых оценках точности и е [0, 1]. Более точная оценка дифферента задания выполняется по формуле:
I 1 N 2 2 о, = Л — ^ ,2 - Рр. Результаты эмпирических оценок трудности и дифферента объективно отражают свойства тестового задания, если выбранная группа студентов репрезентативна поставленным целям. Вероятности случайного угадывания для различных типов заданий определены в [5]. Простота и адекватность формулировок заданий, а также веса его альтернатив пока определяются экспертным путем.
Типовой описатель теста содержит следующую информацию: предметная область, контролируемая дисциплина; тип теста; количество заданий в тесте, количество заданий различных типов, для гетерогенного теста - число заданий, их номера для каждого измеряемого свойства; репрезентативность теста, полнота охвата контролем учебного материала; ожидаемое суммарное среднее время решения всех заданий теста и фактической время, затраченное испытуемыми по каждой цели тестирования; веса тестовых заданий для каждой цели тестирования; средневзвешенные сложность, трудность, дифферент теста для целевых групп заданий; валидность теста.
Тип теста определяется видом контроля знаний в процессе обучения, целями тестирования, измеряемыми свойствами компетенций обучаемых, соответствующей классификацией тестов на бумажные/ компьютерные, гомогенные/гетерогенные и т.д. Средневзвешенные оценки количественного свойства теста х определяются по формуле
N N
х = ^ / ^ wj, где х - свойство
1=1
j=l
]-го задания, ^^ - его вес, N - количество заданий, 1 < ] < N Веса заданий в основном назначаются экспертами с учетом их сравнительной важности, сложности, трудности.
Понятие валидности, пришедшее из психологии, понимается педагогами по-разному. Приемлемая формализация смысла этого понятия состоит в следующем: валид-ность - это сводная, интегральная характеристика теста, означающая его теоретическую и практическую пригодность в предположении, что тест репрезентативен, соответствует целям тестирования, языковым нормам, доступен для испытуемых. Иногда к этим признакам добавляют субъективно оцениваемые свойства теста - его надежность, объективность, эффективность.
Технология тестирования, как правило, включает выполнение следующих этапов: разработка банка тестовых заданий по дисциплине; сбор априорных данных об условиях проведения тестирования, группах студентов, влияющих факторах, средствах обработки результатов решения заданий, средствах контроля процесса тестирования; разработка теста, оценка его свойств, пробная проверка, внесение корректив; составление инструкций для преподавателей и обучаемых, ознакомление с правилами проведения тестирования, тренинг; получение студентами заданий, их выполнение, контроль за соблюдением правил, исключающих нарушения правил и процедуры тестирования; обработка результатов тестовых измерений и априорных данных о процессах тестирования, выставление студентам итоговых оценок Т в баллах, 1 < I < N - число студентов в группах.
При объективации педагогических исследований знаний испытуемых к этим этапам добавляют процедуру оценки точности/погрешности результатов тестирования: Т. = Т. + &ТР где fi - известный испытуемому и педагогу результат тестирования, Т - неизвестные истинные баллы, ДТ - погрешность тестирования. Из этой формулы следует, что ДТ = Т — Г. Ошибка тестирования ДТ' может существенно завышать либо занижать
итоговую оценку Т по сравнению с истинным значением Т', и в конечном итоге величина ДТ' определяет информативность и действительную полезность технологии тестирования. Процедура получения оценки ДТ1 истинной величины погрешности ДТ' основного процесса тестирования, называемая контрольной процедурой или адек-вативным процессом [6], на порядок сложнее основного процесса получения оценки Ti и также подвержена искажениям, прежде всего из-за ошибок априорной информации: ДТ = ДТ, + ДДТ'. В левой части формулы стоит известный результат этой процедуры, а справа - неизвестная истинная погрешность результата тестирования ДТ' плюс неизвестная погрешность этапа контроля процесса тестирования: ДДТ' - погрешность погрешности, равная разности баллов ДТ - ДТ'. Основное требование к адекватив-ному процессу (в данном случае -это контроль контроля знаний) и технологии тестирования в целом состоит в том, чтобы уровень ошибок контроля не превышал уровень ошибок основного процесса:
|ддт| <|дт|.
По априорной информации и контрольным проверкам процедуры измерений можно приближенно определить уровни систе-магической ДТ0 и случайной ДТц составляющих ошибки ДТ' результатов тестирования. Знак случайной составляющей неизвестен, но можно оценить средний уровень влияния случайных факторов, порождающих невоспроизводимость результатов тестирования. Если достаточно точно известна систематическая составляющая погрешности результатов тестирования, то она должна учитываться в итоговых оценках тестирования: Т = Т - -исправленное значение итоговой оценки за счет некачественности теста и процесса тестирования.
Типовой описатель технологии тестирования содержит следующие данные: дисциплина, набор дисциплин, по которым проводится тестирование; цели, решаемые задачи, искомые параметры компетенций обучаемых; набор тестов, банков тестовых заданий по
учебному материалу либо их генерация тестовой подсистемой АОС; нормативное время на выполнение заданий испытуемыми; средства защиты технологии измерений от искажающих воздействий; необходимая априорная информация об испытуемых, влияющих факторах, качестве тестовых заданий, ожидаемых случайных и систематических ошибках итоговых оценок; необходимые программные средства обработки фактических и априорных данных о процессе тестирования и испытуемых; время обработки результатов измерений, априорной информации и выдачи окончательных оценок испытуемым.
Тестовая подсистема АОС реализует интерактивные (человеко-машинные) алгоритмы разработки тестовых заданий, тестов, технологии тестирования, используя описатели понятий, доз знаний и умений, компетенций, а также алгоритмы обработки результатов тестирования. Приведем перечень основных программных модулей тестовой
подсистемы в составе АОС и выполняемых ими функций: формирование описателей контролируемых понятий, ДЗУ, компетенций по данной дисциплине; построение семантических сетей дисциплины и всех ДЗУ; формирование описателей тестового задания, теста, технологии тестирования; вычисление сложности понятия, ДЗУ, тестового задания; оценка трудности/легкости тестовых заданий по матрице {Щ результатов предваряющего тестирования размерностью М х Мс, 1 < I < N3 - число заданий, 1 < ] < N1: - число студентов; вычисление суммарного ожидаемого времени решения всех тестовых заданий; модуль генерации вариантов тестовых заданий по типовым шаблонам; формирование банка тестовых заданий; формирование индивидуального теста для каждого испытуемого; расчет репрезентативности теста по объемам ДЗУ; модуль формирования весов тестовых заданий; оценка погрешности/ точности, достоверности решений
тестовых заданий различных типов; вычисление мер точности, неопределенности решений тестовых заданий в шкалах информационных логик; преобразование числовых значений результатов тестирования в 5-балльную шкалу итоговых оценок; коррекция модели понимания испытуемого по результатам тестирования.
Выводы
Для повышения точности и объективности теории и практики тестовых испытаний в данной работе предложены формализованные определения основных понятий и моделей тестологии, процессов исследования приобретенных знаний и компетенций. Построены базовые семиотические и математические модели изучаемой дисциплины, ее понятий, доз знаний и компетенций, тестов и процессов тестирования. Предложены средства автоматизированного проектирования тестов и технологии тестирования.
Список литературы
1. Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы. - М.: Когито-Центр, 1999. - 144 с.
2. ЧелышковаМ.Б. Теория и практика конструирования педагогических тестов: учебное пособие. - М.: Логос, 2002.
3. Измерение и оценка качества образования / А.А. Глушенко и др. - М.: МПА-Пресс, 2003. - 237 с.
4. Технология создания адаптивных распределенных электронных ресурсов / М.Б. Гузаиров и др. - Уфа: УГАТУ, 2010. - 357 с.
5. Зверев Г.Н., Зверева Н.Н. К проблеме объективации педагогической диагностики и тестирования // Журнал «Открытое образование». - 2012. - № 5(99). - С. 83-92.
6. Зверев Г.Н. Теоретическая информатика и ее основания. В двух томах. - М.: Физматлит, Т.1, 2007. - 592 с.; Т. 2, 2009. - 576 с.
7. Scott, D., Suppes, P. Foundational aspects of theories of measurement // J. Symbolic Logic. - 1958. - № 23. -P. 113-128.
8. Суппес П., Зинес Дж., Льюс Р., Галантер Е. Психологические измерения. - М.: Мир, 1967. - 196 с.
9. Пфанцагль И. Теория измерений. - М.: Мир, 1976. - 248 с.
10. Зверев Г.Н. О термине «информация» и месте теоретической информатики в структуре современной науки // Журнал «Открытое образование». - 2010. - № 2 (79). - С. 48-62.
11. Official ADL SCORM overview. - URL: http: www.adlnet.gov/scorm.
12. Норенков И.П. Онтологические методы синтеза электронных учебных пособий // Журнал «Открытое образование». - 2010. - № 6(83). - С. 40-44.
13. Малышев Н.Г. Общий подход к автоматизации проектирования электронного контента // Журнал « Открытое образование». 2012. - № 3(92). - С. 36-40.
14. Соколов Н.К., Карпенко А.П. Расширенная семантическая сеть обучающей системы и оценка ее сложности // Наука и образование: электронное науч.-техн. издание, 12.12.2008. - URL: http://www.technomag.edu.ru/doc.
15. Пучков А.П. Разработка банков тестовых заданий: методические рекомендации / А.П. Пучков, К.В. Брян-кин, Н.В. Майстренко. - Тамбов: ТГТУ 2009. - 64 с.
