CC BY
63
21. Haeberli W. et al. Integrated monitoring of mountain glaciers as key indicators of global climate change: the European Alps // Annals of glaciology. 2007. V. 46. P. 150-160.
22. Тихонов А.Н., Цветков В.Я. Методы и системы поддержки принятия решений. - М.: Макс Пресс, 2001. 312 с.
23 Чехарин Е.Е. Языки информационных технологий // Славянский форум. 2017. № 2(16). С.57-61.
24. Цветков В.Я. Язык информатики // Успехи современного естествознания. 2014. № 7. С. 129-133.
25. Rozenberg G., Salomaa A. (ed.). Handbook of Formal Languages: Vol. 3. Beyond Words. -Springer Science & Business Media, 2012
26. Цветков В.Я. Логика в науке и методы доказательств. - LAP LAMBERT Academic Publishing GmbH & Co. KG, Saarbrücken, Germany, 2012. 84 p.
27. Tsvetkov V.Yа. Opposition information analysis // European Journal of Technology and Design . 2014. Vol. (6). N 4. P. 189-196.
Сведения об авторе Information about author
Господинов Славейко Господинов Gospodinov Slaveyko Gospodinov
д-р наук Ph.D.
проф. professor
Проректор по НИР vice-rector for research
Университета по архитектуры, строительства University of architecture, construction and ge-
и геодезии odesy
Болгария, София Bulgaria, Sofia
Эл. почта: sgospodinov@mail.bg Е-mail: sgospodinov@mail.bg
УДК 004.5; 378.1 Т.А. Ожерельева
ГРНТИ 14.01.85 Московская финансово юридическая академия
ПРИМЕНЕНИЕ ВЕРОЯТНОСТНОЙ ЛОГИКИ В ТЕСТИРОВАНИЯ
Статья исследует применение вероятностной логики в образовании. Дается анализ вероятностной логики и ее применение в разных сферах. Раскрывается содержание эргодических процессов. Рассмотрены условия эргодичности при образовательном тестировании. Статья дает систематику тестирования. Исследованы три типа тестовых вопросов: один вариант, много вариантов, открытый ответ. Описан принцип получения вероятностной оценки теста. Статья описывает методику эргодического тестирования на основе модели Раша. Данный тест является групповым, то есть однородным внутри группы. Раскрыто содержание однопарамет-рической модели Раша. Оцениваются два параметра: уровень знаний и трудность задания. дается графическая модель тестов. Обсуждаются параметры модели. Показан механизм шкалирования и анализа результатов. показана связь оценок тестирования с реальным уровнем знаний и сложностью теста.
Ключевые слова: образование, логика, вероятностная логика, тестирование, эргодические процессы, логиты. Модель Раша.
ТА. Ozhereleva
Moscow Financial Law Academy
THE USE OF PROBABILISTIC LOGIC IN TESTING
The article explores the use of probabilistic logic in education. An analysis of probabilistic logic and its application in various fields is given. The content of ergodic processes is revealed. The conditions of ergodicity in educational testing are considered. The article gives a systematic testing. Three types of test questions were investigated: one option, many options, an open answer. The principle of obtaining a probabilistic test score is described. The article describes the ergodic testing methodology based on the Rush model. This test is group, that is homogeneous within the group. The content of the one-parameter Rush model is disclosed. Two parameters are evaluated: level of knowledge and difficulty of the task. A graphical test model is given. Model parameters are discussed. The mechanism of scaling and analysis of results is shown. The connection of test scores with the real level of knowledge and test complexity is shown.
Keywords: education, logic, probabilistic logic, testing, ergodic processes, logites. Rush model.
Введение.
Вероятностная логика оценивает истинности высказываний, принимающих значения в интервале (0<х<1) [1, 2]. При использовании вероятностной логики, надо оговаривать, какая базовая логика используется. Если базовая логика двоичная, то используют два значения: «истина», «ложь». Для троичной логики к двум значениям добавляется третье - «неопределенность». Важным для вероятностной логики является то, что она осуществляет анализ высказываний. При этом надо иметь в виду, что к логическим высказываниям не относят: вопросительные предложения (полная неопределенность); определения; недоопределенные выражения «x2-8x+43=0», по поводу которых нельзя однозначно сказать, истинно оно или ложно. Из вопроса нельзя сделать вывода, как и из одной посылки. Определения являются тождественно истинными выражениями. Недоопределенные выражения требуют задания области существования, на которой можно найти область истинности. Высказывание можно рассматривать как информационную единицу. Как информационная единица высказывание может быть простым или составным. Простым оно является, если оно не включает в себя другие высказывания. Это пример системной неделимости. Иногда вероятностную логику рассматривают как разновидность индукции. Это обусловлено тем, что отношение между единицами индуктивного рассуждения можно оценивать с помощью вероятности. Значение данной вероятности можно определить количественно или качественно (больше, меньше, очень много, самый большой). Для вероятностной логики можно ввести понятие вероятностная логическая единица. Вероятностная логическая единица - это простое высказывание, которое характеризуется вероятностью реализации этого высказывания.
Вероятностная логика (ВЛ) связана с прагматической вероятностной логикой (ПВЛ). В ПВЛ понятие вероятности используется для анализа прагматических аспектов исследования (вероятностные логики действия, вероятностные логики выбора, вероятностные логики изменения, вероятностные логики предпочтения, вероятностные логики оценивания, вероятностные логики тестирования).
Цель вероятностного рассуждения состоит в том, чтобы объединить свойство теории вероятностей обрабатывать неопределенность со способностью дедуктивной логики использовать структуру формального аргумента. В результате получается более богатый и выразительный формализм с широким спектром возможных областей применения
Особенности вероятностной логики
Термин «вероятностная логика» впервые был использован в статье Нильса Нильссона, опубликованной в 1986 году, где истинные значения предложений являются вероятностями [3]. Существует множество реализаций вероятностной логике. Грубо их можно разделить на два разных класса. Первый класс образуют логики, которые пытаются сделать вероятностное расширение логического вложения, такие как логические сети Маркова. Второй класс логики, которые пытаются решить проблемы неопределенности и отсутствия доказательств (логика доказательств).
При использовании вероятностной логики краеугольным камнем является положение о том, что вероятность и неопределенность - разные сущности и их нельзя отождествлять. На основе этого приходим к разновидности вероятностной логик доказательственной логике. Вдока-зательственной логике существует необходимость отличать истинность утверждения от уверенности в его истинности: таким образом, неуверенность в вине подозреваемого, это не то же самое, что присвоение числовой вероятности совершения преступления.
Вероятностная логика учитывает понятие семантики, которое обычная логика не рассматривает. Семантическое обобщение индуцирует вероятностное логическое вложение, которое сводится к обычному логическому влечению, когда вероятности всех предложений равны либо 0, либо 1. Это обобщение применяется к любой логической системе, для которой согласованность конечного набора предложений может быть установлена.
Вполне «логично», что разделом вероятностной логики является «субъективная логика». Центральным понятием в теории субъективной логики [4] являются мнения о некоторых пропозициональных переменных, входящих в данные логические предложения. Биномиальное мнение относится к одному предложению и представляется как трехмерное расширение одного значения вероятности, чтобы выразить различные степени неведения относительно истинности предложения.
Для вычисления производных мнений, основанных на структуре аргументных мнений, теория предлагает соответствующие операторы для различных логических связок, таких как, например, умножение ( AND ), умножение ( OR ), деление (UN-AND) и деление (Ц^ ИЛИ) мнений [5], а также условной дедукции ( МР ) [6] и абдукции ( МТ ) [7].
Нечеткая логика другой пример реализации вероятностной логики. Формализм
приближенного рассуждения, предложенный нечеткой логикой, можно использовать для получения логики, в которой модели представляют собой распределения вероятностей. В такой логике вопрос о согласованности имеющейся информации строго связан с вопросом о частичной вероятностной привязке.
Марковские сети относятся к области вероятностной логики. Марковские сети можно рассматривать как последовательность секвенций или логические цепочки [8]. Марковские логические сети реализуют форму неопределенного вывода, основанную на принципе максимальной энтропии - идею о том, что вероятности должны назначаться таким образом, чтобы максимизировать энтропию, по аналогии с тем, как цепи Маркова присваивают вероятности переходам конечного автомата.
Неаксиоматические системы также относятся к вероятностной логике. Такие системы, как неаксиоматическая система рассуждений Пей Вана (NARS) или вероятностные логические сети (PLN) Бена Гоэрцеля, добавляют явное доверительное ранжирование, а также вероятность для логических единиц и предложений. Правила дедукции и индукции включают эту неопределенность, таким образом обходя трудности в чисто байесовских подходах к логике (включая марковскую логику), и в то же время избегая парадоксов теории Демпстера-Шафера. Реализация PLN пытается использовать и обобщать алгоритмы из логического программирования с учетом этих расширений
Теория вероятностной аргументации является разделом вероятностной логики. В теории вероятностной аргументации [9] вероятности не связаны напрямую с логическими предложениями. Вместо этого предполагается, что конкретное подмножество Ж переменных V определяет вероятностное пространство над соответствующей ст-алгеброй. Это вызывает две различные вероятностные меры в отношении Ж V, которые называются степенью поддержки и степенью вероятности соответственно. Степени поддержки можно рассматривать как неаддитивные вероятности доказуемости, которые обобщают понятия обычного логического следствия V и классические апостериорные вероятности для V = Ж.
В данном разделе перечислены не все приложения вероятностной логики, но принципиально показано ее применение в разных направлениях и соответственно ее значение для практических рассуждений. Коротко перечислим области применения вероятностной логики: теория аргументации; искусственный интеллект; естественный общий интеллект; биоинформатика; формальная эпистемология; теория игр; философия науки; психология; статистика; распознавание образов и др
Эргодичность в тестировании
Можно ввести понятие логической ситуации [10], которое расширяет область исследования и возможности анализа. Логическая ситуация может анализироваться независимо и совместно с группой логических ситуаций, что имеет значения для образования и для тестирования. Метод группового анализа логических ситуаций позволяет сводить оценки единиц сложных логических структур к совокупности групповых оценок. В какой-то степени эта методология опирается на теорию эргодических систем и эргодическую обработку информации.
Эргодичностью называют свойство динамических систем, состоящее в том, что в процессе развития каждое состояние с определённой вероятностью проходит вблизи любого другого состояния системы. Система, в которой фазовые средние совпадают с временными, называется эр-годической.
Напомним, что при достаточном времени наблюдения или при достаточной статистике эр-годические системы можно описывать статистическими методами. Предварительно необходимо доказать эргодичность данной системы. Условие эргодических процессов в том, что один экземпляр процесса на интервале эквивалентен всему ансамблю реализаций процесса [11]. Процессы обработки информации в информационных системах являются эргодическими [12]. Процессы тестирования в образовании являются эргодическими. Это дает основание оценивать их статистически.
Например, уровень подготовленности группы - это мера средней успеваемости данной группы. Для эргодических систем математическое ожидание по временным рядам совпадает с математическим ожиданием по пространственным рядам. Для расчёта параметров эргодической системы можно либо долго наблюдать за поведением одного её элемента, а можно за очень короткое время рассмотреть все её элементы (или достаточно много элементов). В обоих случаях получатся одинаковые результаты, если система обладает свойством эргодичности. Такими системами являются учебные группы.
Виды тестирований
По большому счету тестирование во многом опирается на вероятностную логику. Но в силу традиций говорят только о статистическом оценивании в тестировании. Вторая причина повальное незнание работниками образования теории вероятностной логики. В зависимости от аспекта рассмотрения можно давать разную градацию методам тестирования.
По типу активности различают пассивное, полуактивное и активное тестирование [13, 14]. По принципу организации теста выделяют нормативное тестирование [15-17] и свободное тестирование [18]. В сфере образования большинство тестов являются нормативными. Прохождения нормативного теста включает анализ задания и последующий поиск ответа на поставленный нормативный вопрос. Такое тестирование сводится к информационному поиску нормативных ответов в справочниках и учебниках. Оно исключает творческий процесс. Но такое тестирование снижает информационную нагрузку на преподавателя.
При таком тестировании преподаватель химии может принимать тестирование по физике. Чиновник муниципалитета (не имеющий образования) может принимать тестирование по биологии и так далее. У преподавателя, проводящего тестирование, есть ответы на вопросы. Смысл ответов он не понимает, но читать умеет. Наличие совпадения между ответом учащегося и нормативным ответом дает положительную оценку. По существу, такое тестирование является формальным поскольку оценка ставиться на основе формального совпадения вопроса и ответа. Совпадение обеспечивает специалист, а не знающий человек использует знания специалиста. Существуют еще комплексные методы оценивания результатов обучения [19, 20, 21], включающие разные методы тестирования.
Эргодическое тестирование на основе модели Раша
Эргодическое тестирование фактически использует вероятностную логику и предположение об эргодической составляющей знаний. Это предполагает наличие групп студентов с примерно равными способностями восприятия, анализа и воспроизведения знаний внутри группы и различием этих показателей для разных групп.
Тестирование обычно осуществляется по методу «вопрос-ответ». Тестирование может проводиться в двух режимах: самоконтроль и экзамен. Отличие между ними в том, что в самоконтроле обучаемому показывается правильный ответ на вопрос, если он ошибается при ответе. При экзамене правильный ответ не показывается. Вопрос и варианты ответов могут содержать текст и графический рисунок (либо вместе, либо только что-то одно). Рисунок может быть статическим или анимированным. Кроме того, при тестировании часто применяют оппозиционные переменные [22-25]. Оппозиционные переменные - это, по сути, логические переменные, которые имеют два значения «истина» / «ложь». Иногда оппозиционный анализ сочетают с коррелятивным анализом [26], что дает дополнительную информацию о результате тестирования.
Вопросы при проведении тестирования могут быть трех типов:
- одновариантный вопрос - имеется несколько вариантов ответов, из которых только один может быть правильным;
- многовариантный вопрос - имеется несколько вариантов ответов, из которых правильных может быть несколько или даже все;
- открытый вопрос - обучаемый должен ввести ответ с клавиатуры (удобны для ввода числовых ответов; например, на вопрос «Чему равна дисперсия константы?», ответ: 0 - обучаемый должен ввести его сам, а не выбрать из списка предложенных ему вариантов).
Оценка при контроле обычно не выставляется. Фиксируется количество заданных вопросов, количество правильных ответов и время прохождения теста. По этим данным преподаватель сам выставляет оценку. Во многих странах и в России [27] 1ля оценки уровня подготовленности обучаемого и трудности заданий, применяется одно параметрическая (1РЬ) модель Раша.
№ = И № = (!)
В выражении (1) Ь и ¡5- независимые переменные для первой и второй функций соответственному- дихотомическая переменная, принимающая значение 0 или 1. Во многих вариантах вместо Ь используют символ в.
В этой модели два параметра: Ь (в) - уровень трудности, в - уровень знания при ответе на тест. Переменной может быть любая величина [28] вили р. При этом другая считается константой. В первом случае вероятность правильного выполнения у-го задания теста р является
9 = А
Рис.1. Характеристическая кривая у-го тестирования группы
возрастающей функцией переменной. Чем выше уровень знаний испытуемого, тем больше вероятность правильного выполнения им у-го задания теста. На рис. 1 изображена характеристическая кривая у-го задания теста, показывающая взаимосвязь между значениями независимой переменной в и значениями Ру.
Точке перегиба характеристической кривой соответствует значение в=ру, а р в этой точке равно 0,5. Таким образом, испытуемый с уровнем знаний, равным трудности у-го задания теста, ответит на него правильно с вероятностью 0,5. Для испытуемых с уровнями знаний, намного большими Pj -го, вероятность правильного ответа стремится к единице. Если же значение 6 расположено достаточно далеко от значения в=р и слева от точки перегиба, то вероятность правильного выполнения у-го задания теста будет стремиться к нулю.
Увеличение трудности у-го задания теста на константу с (с> 0) вызовет смещение характеристической кривой вправо. С прежней вероятностью на это более трудное задание будет отвечать испытуемый с уровнем знаний в+с. Так как в- р= (в+с)-(р-с), то значения функции р (9) не изменятся.
Вероятность правильного выполнения /-м испытуемым различных по трудности заданий р является убывающей функцией переменной р. Это означает, что с ростом трудности заданий значения вероятности будут уменьшаться. График функции р называют индивидуальной кривой /-го испытуемою (рис.2). В точке перегиба кривой, соответствующей значению независимой переменной 9=р, функция Р/ принимает значение Р/ = 0,5. В процессе обучения, по мере накопления знаний индивидуальная кривая испытуемого смещается вправо. Существует коррелятивная связь [29] между знаниями и трудностью теста.
Для построения характеристических кривых заданий теста и индивидуальных кривых испытуемых необходимо знать значения параметров в и р. Оценка параметров проводится в предположении нормальности распределений эмпирических данных тестирования как по множеству испытуемых, так и по множеству заданий. Считаются нормально распределенными и значения латентных переменных. В процессе разработки теста приходится оценивать оба параметра: в и р. В случае использования готового теста с известными устойчивыми значениями параметра трудности, выраженными в логитах, задача сводится к оцениванию только параметра в.
Начальная оценка уровня знаний /-го испытуемого в логитах находится по формуле
Рис. 2. Индивидуальная кривая /-го теста
в0 = , i = 1,2,..., N
V, -
(2)
где N - число испытуемых; р/ - доля правильных ответов /-го испытуемого на все задания теста; ф/- соответственно доля неправильных ответов, причем р/ = 1 — ф/. Аналогично, начальное значение параметра Р/° в логитах определяют как
=1п —, j = 1,2, Р }
(3)
где п - число заданий;. рj — доля правильных ответов всех испытуемых группы нау-е задание теста; у доля неправильных ответов, причем р] = 1 — ф
Теоретически значения параметров в и р. могут меняться в интервале , т.е - да
< в< + <х> и аналогично - да < р< + го. Но практически при р< -6 значенияр/ близки к единице (р/ = 0,999...). С этими заданиями в тесте справляются все, и они оказываются просто лишними. В равной мере бесполезны задания при р> 6. С такими заданиями не может справиться ни один испытуемый в группе, и они не несут никакой информации о различиях в знаниях студентов.
Аналогично рассуждение и для в.
Этот этап оценивания параметров в и р. рассматривается как начальный. После его завершения значения каждого из параметров будут выражены в интервальной шкале, но с разными значениями средних и с разными стандартными отклонениями. На втором этапе начальные значения логитов уровней знаний и логитов трудностей заданий сводятся в одну интервальную шкалу.
В формуле для такого искусственного перевода значений в0 в в заложена идея уничтожения эффекта влияния трудности заданий на оценки тестируемых студентов. На этом этапе оценки параметра вв логитах вычисляются по формуле
вг =в +1 РП, и вг =в + Хв0 г = 1,2,...,N
Чг
( Ж2 "2
где Х +Ц"
Здесь в- среднее значение логитов трудности заданий теста; Ж - стандартное отклонение распределения начальных значений параметра в; N - число испытуемых. Эта формула позволяет получить объективную оценку уровня знаний каждого испытуемого, не зависящую от трудности заданий, включенных в тест. На основе таких оценок можно корректно сравнить уровни знаний испытуемых, выполнивших различные по трудности задания теста и даже разные тесты.
С помощью аналогичного искусственного приема устраняется влияние среднего значения логитов уровней знаний и стандартного отклонения по множеству начальных значений переменной в при оценивании параметра в. Объективное значение переменной в для у-го задания теста можно найти по формуле
в = в +1 ^к, и в =в + j = 1,2,.,п
' Pj
где
Y = 11 +
V 2 2,8 9
в- среднее значение логитов уровней знаний; V- стандартное отклонение распределения начальных значений параметра в ; п - число заданий в тесте. Эта формула позволяет получить устойчивые оценки параметра в, не зависящие от свойств выборки испытуемых. После оценивания значений в и в в шкале логитов приступают к построению характеристических кривых заданий теста. Анализ их взаимного расположения позволяет наметить пути дальнейшего совершенствования теста и сформировать систему заданий для объективного оценивания знаний каждого испытуемого выборки. Для этого, прежде всего из теста нужно устранить лишние задания. В том случае, если характеристические кривые накладываются одна на другую, одно из заданий следует оставить, а остальные удалить, так как они ничего не дают для теста как совокупности работающих заданий возрастающей трудности.
Далее следует обратить внимание на те интервалы оси в, где отсутствуют характеристические кривые. В тест необходимо добавить задания, соответствующие по трудности выделенным интервалам на оси латентной переменной в.. В идеале характеристические кривые должны заполнять более или менее равномерно практически весь интервал (-6; +6) шкалы логитов. Причем заданий средней трудности должно быть намного больше, чем на краях распределения значений р. Однако это приведет к неоправданному увеличению длины теста и, в конечном счете, сделает тестирование неэффективным. Поэтому решение об устранении лишних заданий и добавлении недостающих пока не является окончательным. Его можно рассматривать лишь как предварительный этап в создании теста, разумный после первоначального сбора эмпирических данных, когда число заданий в тесте намного превышает планируемое и рассчитано именно на такую предварительную работу.
Для более обоснованного решения необходим дополнительный анализ тестируемого контингента. Одно и то же задание может оказаться как эффективным, так и неэффективным при измерении различных значений в. Поэтому не существует единой оптимальной модели при отборе заданий в тест. Предлагаемое моделирование позволяет путем целенаправленного подбора заданий для
2
оценивания данного в, лишь минимизировать стандартную ошибку измерения его значения.
Для полного решения поставленной, задачи однопараметрической модели Раша оказывается недостаточно. Это связано с определенными ограничениями, накладываемыми на крутизну характеристических кривых заданий в рамках данной модели. В частности, она считается одинаковой у всех кривых, что, конечно, обеспечивает определенную простоту в практических приложениях модели Раша, но вместе с тем является и недостатком. Этот недостаток особенно заметен, когда нужно отдать предпочтение одному из заданий равной трудности. Если анализ проводится без привлечения двухпараметрической модели, то можно легко прийти к неверному решению и существенно снизить надежность и валидность теста, удалив задания с более крутыми характеристическими кривыми, а оставив с более пологой.
А также при подведении итогов учитываются времена ответов на каждый вопрос. С увеличением времени ответа оценка снижается. Подсчет оценки каждого вопроса производится по формуле:
Ka1=1 - (to -tmax)/100
Если Ka1 >1 , то Kh1 = 1
Если Ka1 <1 , то Kl1 =0
где: Ka1 - оценка текущего вопроса; Ka1 е {0, 1}; to - время ответа на вопрос; tmax - максимальное время, в течение которого уменьшения оценки не происходит. Время tmax установлено для того, чтобы обучаемый мог прочитать вопрос и варианты ответов и выбрать правильный ответ. По умолчанию оно равно 15 секундам, но может настраиваться по желанию преподавателя. Оценка Ka1 вычисляется для каждого вопроса.
После тестирования вычисляется общий коэффициент усвоения материала (фактически это коэффициент Ka) по формуле:
где n - количество заданных вопросов.
В итоге результирующее значение К может отличаться от значения, полученного при делении количества правильных ответов на общее количество заданных вопросов, если обучаемый долго думал при ответе на вопросы. Это сделано для того, чтобы учесть возможность несамостоятельного ответа на вопросы: обучаемый может долго искать ответ в учебнике, а в итоге его оценка все равно будет низкой, даже если на все вопросы он ответил правильно. С другой стороны, если он не пользовался подсказками, а долго думал над ответами, то это означает, что он недостаточно хорошо изучил теорию, а в результате даже при правильных ответах оценка будет снижена. Каждый вопрос связывается с теоретической темой. После тестирования по оценкам вопросов определяется коэффициент усвоения для каждой темы. Темы, у которых коэффициент усвоения меньше 0.7, предлагаются обучаемому для повторного изучения.
Заключение
Вероятностные логики пытаются найти естественное расширение традиционных логических таблиц истинности: вместо них результаты, которые они определяют, выводятся с помощью вероятностных выражений. Сложность вероятностных логик заключается в том, что они имеют тенденцию к умножению вычислительных сложностей своих вероятностных и логических компонентов. Другие трудности включают возможность противоречивых результатов.
Модель Раша является моделью в области вероятностной логики. Однопараметрическая модель Раша является простейшей в Item Response Theory [28]. Методологически эта теория тестирования основана на наличии эргодического информационного взаимодействия [30-33] между тестом и учащимся. При информационном взаимодействии можно использовать разные методы оценки тестирования, включая системный подход [34]. Главная идея метода логитов сводится к обоснованию корреляции [26, 29, 35, 36] между ответами учащихся одной группы и одного потока в усвоении знаний изучаемого предмета. Предполагается, что ответы на тесты не являются случайными, а коррелированы общим уровнем знаний. Второй корреляцией считается зависимость трудности теста от уровня подготовки. Технологическая сущность метода в том, что
ответы множества испытуемых на множество заданий теста прогнозируются на основе математических моделей при наличии эмпирически полученной матрицы исходных тестовых баллов Xij, где индекс i указывает на номер испытуемого, а индекс j- на номер задания. Для балов допускают разные интервалы. Идея оценивания аналогична, приведенной выше в разделе адаптивное тестирование, модели Раша. Мера трудности заданий. - это корректированные в процессе шкалирования значения ln qj/p. В качестве окончательной меры трудности заданий принимается именно эта мера. В теории логитов она называется параметром трудности задания. Значение ln qj/p. корректируется для построения общей (единой) шкалы уровня трудности заданий и уровня подготовленности испытуемых. Это представляет собой процесс шкалирования [37 - 40], проводимый с помощью различных статистических пакетов. Скорректированные значения ln pi/qi называются параметром подготовленности испытуемого под номером i. Все логистические модели можно применять для тестирования знаний или исследования процессов, которые описываются логистическими кривыми. Чем проще модель, тем легче ее использовать на практике, поскольку в этом случае надо находить меньшее число параметров. Однако для проведения качественного тестирования необходимо использовать большее число параметров. Это представляет практическую сложность, поэтому является результатом дальнейших исследований.
Литература
1. Adams E. W., 1998. A Primer of Probability Logic. CSLI Publications (Univ. of Chicago Press).
2. Bacchus, F., 1990. "Representing and reasoning with Probabilistic Knowledge. A Logical Approach to Probabilities". The MIT Press.
3. Nilsson, NJ, 1986, Probabilistic logic // Artificial Intelligence 28(1): 71-87.
4. J0sang, A., 2001, A logic for uncertain probabilities // International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems9(3):279-311.
5. J0sang, A. and McAnally, D, 2004, Multiplication and Comultiplication of Beliefs // International Journal of Approximate Reasoning, 38(1), P. 19-51, 2004.
6. J0sang, A., 2008, " Conditional Reasoning with Subjective Logic // Journal of Multiple-Valued Logic and Soft Computing, 15(1), P. 5-38. 2008.
7. Болбаков Р.Г., Цветков В.Я. Абдуктивный вывод // Славянский форум. 2018. № 3(21). С.68-72.
8. Раев В.К., Цветков В.Я. Логические цепочки // Дистанционное и виртуальное обучение. 2018. № 1(120). C. 14-21.
9. Haenni, R, 2005, " Towards a Unifying Theory of Logical and Probabilistic Reasoning // ISIPTA'05, 4th International Symposium on Imprecise Probabilities and Their Applications: 193-202. "Archived copy" (PDF) . Archived from the original (PDF) on 2006-06-18. Retrieved 2006-06-18.
10. Охотников А.Л. Логическая информационная ситуация // Наука и технологии железных дорог. 2018. № 4(8). С. 23-32.
11. Козлов В.В. «Человеческий фактор» как современная методология обеспечения надежного функционирования эргатических систем // Безопасность жизнедеятельности. 2004. № 7. С. 7-10.
12. Цветков В.Я. Эргатические аспекты обработки информации в информационных системах // Славянский форум. 2017. № 1(15). С. 95-103.
13. Ожерельева Т.А. Особенности тестирования специалистов в области наук о Земле // Международный журнал экспериментального образования. - 2013. - № 7 - стр. 135-136.
14. Кулагин В.П., Цветков В.Я. Особенности многоуровневого тестирования // Дистанционное и виртуальное обучение. 2013. № 4. С. 5-12.
15. Майоров А.А., Шкуров Ф.В. Особенности тестирования при повышении квалификации специалистов в области наук о Земле // Управление образованием: теория и практика. 2014. № 1. С.145-152.
16. Цветков В.Я. Направления тестирования в сфере образования // Современное дополнительное профессиональное педагогическое образование. 2017. № 2. С. 72-80.
17. Сафиулин Р.З. Развитие технологий тестирования в образовании // Управление образованием: теория и практика. 2015. № 1(17). С. 139-149.
18. Тымченко Е.В. Обработка информации при свободном тестировании // Дистанционное и виртуальное обучение. 2017. № 6(120). С. 153-159.
19. Ожерельева Т.А. Тестирование в области наук о Земле // Славянский форум. 2013. № 1(3). С. 95-100.
20. Ожерельева Т.А. Логические информационные единицы // Славянский форум. 2015. № 2(8). С. 240-249.
21. Пушкарева К.А. Методы комплексного оценивания обучения // Управление образованием: теория и практика. 2015. № 1(17). С. 150-155.
22 Цветков В.Я. Использование оппозиционных переменных для анализа качества образовательных услуг // Современные наукоёмкие технологии. 2008. № 1. С. 62-64.
23. Ожерельева Т.А. Оппозиционный анализ информационных моделей // Международный журнал прикладных и фундаментальных исследований. 2014. № 11-5. С. 746-749.
24. Tsvetkov V.Ya. Opposition information analysis // European Journal of Technology and Design. 2014. Vol (6). N 4. P. 189-196.
25. Савиных В.П. Оппозиционный анализ в информационном поле // Славянский форум.
2016. №-3(13). С. 243-248.
26. Tsvetkov V.Y. Correlative analysis and opposition variables // European Journal Of Natural History. 2014. № 1. С. 48-52.
27. ЦветковВ.Я., ВойноваЕ.В. Модификация модели Раша для оценки свободного тестирования // Вестник Рязанского государственного радиотехнического университета. 2018. № 1(63). С. 90-94.
28. Цветков В.Я. Применение теории отклика // Славянский форум. 2018. № 1(19). С. 77-81.
29. Цветков В.Я., Оболяева Н.М. Использование коррелятивного подхода для управления персоналом учебного заведения // Дистанционное и виртуальное обучение. 2011. № 8(50). С. 4- 9.
30. Розенберг И.Н. Взаимодействие в информационных системах // Славянский форум. 2015. № 4(10). С. 292-300.
31. Чехарин Е.Е. Информационное взаимодействие в компьютерной лингвистике // Славянский форум. 2016. № 3(13). С. 334-339.
32. Tsvetkov V.Yа. Information interaction // European researcher. Series A. 2013. № 11-1(62). С. 2573-2577.
33. Кудж С.А. Информационное взаимодействие и его атрибуты // Славянский форум.
2017. № 4(18). С. 27-33.
34. Оболяева Н.М. Системный подход к анализу качества образования // Управление образованием: теория и практика. 2012. № 3. С. 101-105.
35. Кудж С.А. Коррелятивный анализ как метод познания // Перспективы науки и образования. 2013.№ 5. С. 9-13.
36. Азаренкова Н.В. Применение коррелятивного анализа при каскадном методе проектирования информационной системы // Перспективы науки и образования. 2014. № 2. С. 46-50.
37. Цветков В.Я. Логический анализ и шкалы переменных // Славянский форум. 2018. № 4(22). С. 103-109.
38. ТолстоваЮ.Н. Одномерное шкалирование: тестовая традиция в социологии (построение индексов, шкала Лайкерта, латентно-структурный анализ) // Социология: методология, методы, математическое моделирование. 1997. № 8. С. 54-65.
39. Мищик С.А. Педагогометрика и математическое моделирование учебной деятельности // Theoretical & Applied Science. 2014. № 6. С. 54-56.
40 Воронцов К.В. Лекции по алгоритмам кластеризации и многомерного шкалирования. -М.: МГУ, 2007.
Сведения об авторе Information about author
Татьяна Алексеевна Ожерельева Tatyana Alekseevna Ozhereleva
Ст. преп. Senior lecturer
Московская финансово юридическая академия Moscow Financial Law Academy
Россия, Москва Russia, Moscow
Эл. почта: ozerjtan@yandex.ru Е-mail: ozerjtan@yandex.ru
