Оценка результатов тестирования на полиграфе методами регрессионного анализа Текст научной статьи по специальности «Компьютерные и информационные науки»

Наука и Образование

МГТУ им. Н.Э. Баумана

Сетевое научное издание

Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 10. С. 230-243.

Б01: 10.7463/1014.0728906

Представлена в редакцию: 19.05.2014

© МГТУ им. Н.Э. Баумана

УДК 51.76

Оценка результатов тестирования на полиграфе методами регрессионного анализа

Леонтьев К. А.1, Панин С. Д.1'*, Холодный Ю. И.1

1МГТУ им. Н.Э. Баумана, Москва, Россия

ратп'З1 bmstu.ru

Рассмотрена задача установления значимости для исследуемого субъекта задаваемых ему вопросов при проведении судебно-психофизиологической экспертизы с применением полиграфа, опираясь на математические методы. Предложен алгоритм классификации на основе логистической регрессии как оптимального байесовского классификатора, учитывающий весовые коэффициенты информативности для регистрируемых полиграфом физиологических параметров. При соблюдении методик тестирования, высокой квалификации эксперта-полиграфолога, данный подход обеспечивает достоверный результат. Приведен пример классификации, ее анализ, определено правило для минимального количества наблюдений.

Ключевые слова: весовые коэфициенты, полиграф, логистическая регрессия

Введение

Криминалистические исследования с применением полиграфа более двадцати лет активно используются правоохранительными органами России в ходе раскрытия и расследования преступлений. В 2001 году было начато проведение их в форме судебно-психофизиологической экспертизы с применением полиграфа: результаты таких экспертиз суды стали принимать в качестве доказательств, и потребность в производстве судебно-психофизиологических экспертиз в следственной и судебной практике неуклонно растет.

Одной из задач является установление значимости для исследуемого человека задаваемых ему стимулов (вопросов) путем оценки возникающих на них физиологических реакций, результаты которых содержатся в полиграммах. Классификация стимулов по значимости для исследуемого человека на основе оценки динамики его физиологического реагирования может рассматриваться как «1» или «0» - т.е. «значимый» или «незначимый». На практике эксперты часто делают чисто качественную оценку показателей реакций человека при классификации стимулов, что является проявлением субъективизма [1, 2]. Достоверное решение проблем классификации требует реализации

математического аппарата для принятия решении, и существуют различные подходы как к методам классификации, так и к числовой оценке полиграмм. Известны различные статистические методы классификации, например:

• байесовское оптимальное решение;

• дискриминантное правило Фишера;

• алгоритм на основе бинарной логистической регрессии;

• метод опорных векторов Вапника.

Существуют и другие подходы к отнесению случайно выборки к какому-либо классу, в том числе и с помощью вероятностной нейронной сети.

Для применения математических методов необходима числовая система оценки, в качестве которой наиболее уместно использовать метрическую оценку полиграмм.

Метрическая оценка, когда, осуществив замеры реакций в каких-то единицах измерений (например, миллиметрах или пикселях), полиграфолог применяет в ходе дальнейших расчетов методы математической статистики [1].

В данной работе использована метрическая оценка полиграмм и классификация их результатов с помощью алгоритма бинарной логистической регрессии [8] по следующим соображениям:

• числовые статистические данные в нормированном виде обеспечивает метрическая оценка полиграмм;

• логистическая кривая имеет две асимптоты и обеспечивает достоверное разделение на два класса при небольших затратах времени на вычисления.

Этот алгоритм применяют в задачах классификации в социологии, экономике и в технических науках. Кроме приемлемого качества классификации, алгоритм позволяет оценить вероятности попадания объектов в классы [13].

В качестве начальных данных используется вектор выходных признаков объекта (метрически измеренные показатели реакций), преобразованный к стандартизованному виду х = (х1 ,х2 .., по ним вычисляют коэффициенты линейной регрессии, а затем уже по логистической кривой происходит классификация.

Разделение образов на классы аг и а2 осуществляется следующим образом. Пусть переменная у принимает значения 1 или 0, и тем самым определяет принадлежность вектора признаков х = (х1 ,х2 . . ..х^) к классу а - и а2. Регрессионная модель имеет вид:

р (у = 1 | X) = -1~—, (1)

^ 1 > 1+ехр(-г) 4 '

где х= м0+м/1х1 +—I- м/кхк - уравнение линейной регрессии, м/0 ,. . .,м/к - его неизвестные параметры.

Дискриминантная функция для классификации будет следующей:

Ч при условии > 0,5

й { (х) = | ( ) ) (2)

а2, при условии 1+ехр ^^ < 0,5

Здесь вектор оценок параметров регрессии z = w0 + wxхг + —\-wkxk; его получают обработкой значений признаков объекта, приведенных к стандартизованному виду. Значения оценок коэффициентов w 0 ,. . .,Wk вычисляют различными способами, например, методом максимального правдоподобия [5] по результатам экспериментов на полиграфе. Происходит обучение на конкретных опытных данных.

Качество классификации было проверено с помощью ROC-анализа (Receiver Operator Characteristics или функциональные характеристики приемника).

Для определения достаточного объема обучающей выборки на практике часто используют формулу:

« = (3)

где N - минимальное число наблюдений, K - число предикторов (независимых переменных) и d - меньшее относительное значение положительных или отрицательных исходов.

Для теста формата «5 предъявлений по 5 стимулов с выделенными 4 информативными признаками» получаем достаточный объем выборки в 200 наблюдений, или 8 контрольных тестов [6]. При этом, если вычисленное N < 100 следует дополнить выборку до 100 элементов [7].

1. Пример классификации стимулов по результатам исследований на

полиграфе

С первичными метрическими результатами, полученными при опросе на полиграфе, сначала необходимо провести процедуру стандартизации и перевода данных в Z-оценки, а также проверить нормальность распределения полученных данных. Под Z-оценками будем понимать первичные данные, выраженные в стандартных отклонениях наблюдаемых величин.

О процессе выбора информативных признаков и снятия первичных данных описано в открытой литературе, например [2]. Проверка гипотезы о нормальности выборки можно выполнить с помощью теста Харке-Бера в среде MATLAB, и некоторые результаты такого подхода для разных информативных признаков приведены ниже.

Для примера были выбраны 4 параметра физиологических реакций, снятых с каналов кожно-гальванического рефлекса (КГР), сердечно-сосудистой системы (ССС) и канала дыхания (Д):

• Амплитуда КГР

• Уменьшение частоты сердечных сокращений (далее - ЧСС)

• Длительность 2,5 циклов дыхания (циклом дыхания считается время от момента начала вдоха до полного выхода)

• Сумма амплитуд 2,5 циклов дыхания.

1) Амплитуда КГР

-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 Квантили нормального распределения

Рис. 1. Сравнение распределения выборки реакции амплитуды КГР с нормальным законом

2) Уменьшение ЧСС

Гипотеза о нормальности принята,

[ нормального распределения Рис. 2. Сравнение распределения выборки реакции уменьшение ЧСС с нормальным законом

3) Длительность 2,5 циклов дыхания

Рис.3. Сравнение распределения выборки реакции длительность 2,5 циклов дыхания с нормальным законом

4) Сумма амплитуд 2,5 циклов дыхания Гипотеза о нормальности принята,

Рис. 4. Сравнение распределения выборки реакции сумма амплитуд 2,5 циклов дыхания с нормальным

законом

Распределение первичных данных соответствует нормальному закону распределения, поэтому их можно перевести в 2-оценки.

Для примера проводится 1 тест из эксперимента формата 3 контрольных теста +1 проверочный тест, по 3 предъявления, по 5 стимулов (вопросов) каждый.

Затем данные заносятся в таблицу вида табл.1 и выполняется расчет 2-оценок. В табл. 1 приведены данные проверочного теста.

Таблица 1. Перевод первичных данных в 2-оценки

№ Стимула Первое предъявление Второе предъявление Третье предъявление

Стимул х± Х4 х± Х4 х± Х4

Стимул 1* 26 15 30 31 26 15 28 53 26 22 31 42

Стимул 2 26 17 31 34 26 12 38 63 27 13 34 55

Стимул 3 29 40 30 32 27 50 34 50 27 20 28 38

Стимул 4 26 12 28 40 26 13 34 54 26 16 32 42

Стимул 5 24 16 26 39 25 13 30 53 25 15 26 38

Среднее 26,20 20,00 29,00 35,20 26,00 20,60 32,80 54,60 26,20 17,20 30,20 43,00

Сигма 1,60 10,14 1,79 3,66 0,63 14,73 3,49 4,41 0,75 3,31 2,86 6,26

Стимул 1** -0,13 -0,49 0,56 -1,15 0,00 -0,38 -1,38 -0,36 -0,27 1,45 0,28 -0,16

Стимул 2 -0,13 -0,30 1,12 -0,33 0,00 -0,58 1,49 1,91 1,07 -1,27 1,33 1,92

Стимул 3 1,75 1,97 0,56 -0,88 1,58 2,00 0,34 -1,04 1,07 0,85 -0,77 -0,80

Стимул 4 -0,13 -0,79 -0,56 1,31 0,00 -0,52 0,34 -0,14 -0,27 -0,36 0,63 -0,16

Стимул 5 -1,38 -0,39 -1,68 1,04 -1,58 -0,52 -0,80 -0,36 -1,60 -0,66 -1,47 -0,80

* - первичные данные (в мм);

** - 2-оценки.

х1 - Уменьшение ЧСС

х2 - Амплитуда КГР

х3 - Длительность 2,5 циклов дыхания

х4 - Сумма амплитуд 2,5 циклов дыхания

Первичные данные, снятые с разных каналов реакций, переводятся в Z-оценки для последующей классификации. Собственно, классификация выполнена по проверочной выборке из 3 предъявлений по 5 стимулов с помощью логистической регрессии. Сначала была сделана оценка параметров регрессии в (1) и их значения приведены в табл. 2.

На контрольной выборке из 3 тестов по 5 стимулов с помощью логистической регрессии были рассчитаны весовые коэффициенты (табл. 2).

Таблица 2. Весовые коэффициенты

Показатель Параметр регрессии Значение

Св. член м/0 -19,80

12,10

Х2 м/2 6,21

Х3 ш3 10,41

Х4 и/4 1,35

По весовым коэффициентам и (1) была рассчитана условная вероятность отнесения каждого стимула к классу «значимый». Результаты приведены в табл. 3 и на рис. 5:

Таблица 3. Результат классификации.

№ Стимула ™гхг И'зХз ш4х4 Взвешенная сумма Вероятность отнесения к классу а 1

Стимул 1 -1,5821 1,1936 -1,8649 -0,7523 -22,8056 0,0000

Стимул 2 3,8076 -4,4470 13,6701 1,5721 -5,1972 0,0055

Стимул 3 17,7474 9,9649 0,4615 -1,2228 7,1510 0,9992

Стимул 4 -1,5821 -3,4515 1,4409 0,4578 -22,9349 0,0000

Стимул 5 -18,3908 -3,2601 -13,7075 -0,0548 -55,2133 0,0000

•60 -40 -20 0 20 40 60

Взвешенная сумма

Рис. 5. Результат классификации

Результат классификации:

• Стимул № 1 классифицирован как «значимый» с вероятностью 0

• Стимул №2 классифицирован как «значимый» с вероятностью 0,0055.

• Стимул №3 классифицирован как «значимый» с вероятностью 0,9992.

• Стимул №4 классифицирован как «значимый» с вероятностью 0.

• Стимул №5 классифицирован как «значимый» с вероятностью 0.

2. Оценка качества эффективности модели

В регрессионном анализе для оценки эффективности модели принято пользоваться коэффициентом детерминации (коэффициентом множественной корреляции), показывающим долю объясненной дисперсии зависимой переменной с помощью рассматриваемой модели. Но в работе [9] указано, что настоящая мера точности подгонки модели базируется исключительно на сравнении между наблюдаемыми и предсказанными значениями. Тогда имеет смысл оценить эффективность модели, и тем самым, качество классификации. Это допустимо сделать с помощью ROC-анализа (Receiver Operator Characteristics или функциональные характеристики приемника).

В табл. 4 показаны возможные исходы классификации.

Таблица 4. Таблица сопряженности.

Расчет по модели Фактически

Положительно Отрицательно

Положительно True Positive (TP) False Negative(FN)

Отрицательно False Positive (FP) True Negative (TN)

• TP (True Positives) - верно классифицированные положительные примеры (так называемые истинно положительные случаи);1

• TN (True Negatives) - верно классифицированные отрицательные примеры (истинно отрицательные случаи);

• FN (False Negatives) - положительные примеры, классифицированные как отрицательные (ошибка I рода). Это так называемый "ложный пропуск" - когда интересующее нас событие ошибочно не обнаруживается (ложноотрицательные примеры);

• FP (False Positives) - отрицательные примеры, классифицированные как положительные (ошибка II рода); Это ложное обнаружение, т.к. при отсутствии события ошибочно выносится решение о его присутствии (ложноположительные случаи).

При анализе пользуются относительными показателями - долями истинно положительных исходов (TPR) и ложноположительных исходов (FPR):

TP

TPR =

FPR =

TP+FN FP

TN+FP

Используя эти показатели, строится ROC-кривая «Чувствительность-Специфичность»: Чувствительность (Sensitivity) - это и есть доля истинно положительных случаев:

„ TP

Se =

TP+FN

Авторы данной статьи умышленно сохранили терминологию, использующуюся в западной

*

литературе*

Специфичность (Specificity) - доля истинно отрицательных случаев, которые были правильно идентифицированы моделью:

„ TN

Sp = -

r TN+FP

Для идеального классификатора график ROC-кривой проходит через верхний левый угол, где доля истинно положительных случаев составляет 100% или 1.0 (идеальная чувствительность), а доля ложноположительных примеров равна нулю. Поэтому чем ближе кривая к верхнему левому углу, тем выше предсказательная способность модели.

ROC-кривые для разных размеров выборки (в порядке возрастания):

1) N=10

Specificity Рис. 6. ROC-кривая для N=10

2) N=15

Specificity Рис. 7. ROC-кривая для N=15

3) N=30

Specificity

Рис. 8. ROC-кривая для N=30

4) N=45

Specificity

Рис. 9. ROC-кривая для N=45

Отсюда возникает правило, что необходимая минимальная выборка - N >= 45. В этом случае доля истинно положительно классифицированных данных стремится к 1. Этот результат резко отличается от расчетной величины N по формуле (3), ввиду ее эмпирического характера.

Заключение

Принятая методика классификации стимулов, предъявляемых человеку в ходе тестирования на полиграфе, позволяет корректно и быстро определять их значимость. Это достигается обучением бинарной логистической регрессии на исследуемом индивиде. Применение методов ROC-анализа делает оценку классификации проверяемой и «прозрачной» для экспертного сообщества.

Список литературы

1. Холодный Ю.И., Парфенов А.А. Оценка результатов судебно-психофизиологической экспертизы с применением полиграфа // Межд. науч.-практ. конф. «Актуальные проблемы расследования преступлений» (ИПК СК РФ, Москва, 23.05.2013 г.). М.: Изд-во ООО «Буки Веди», 2013. С. 383-388.

2. Оглоблин С.И., Молчанов А.Ю. Инструментальная «детекция лжи»: академический курс. Ярославль: Нюанс, 2004. С. 353-354.

3. Hosmer D.W., Lemeshow S. Applied Logistic Regression. 2nd ed. N.Y.: John Wiley & Sons, Inc., 2000. P. 34.

4. Mitchell T.M. Ch. 6. Bayesian Learning // In book: Machine Learning. McGraw-Hill Science/Engineering/Math, 1997. P. 154-200.

5. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. 2nd ed. Springer New York, 2009. P. 119-128; P. 210-211. DOI: 10.1007/978-0-387-84858-7

6. Peduzzi P., Concato J., Kemper E., Holford T.R., Feinstein A.R. A simulation study of the number of events per variable in logistic regression analysis // Journal of Clinical Epidemi-ology.1996. Vol. 49, iss. 12. P. 1373-1379. DOI: 10.1016/S0895-4356(96)00236-3

7. Long J.S. Regression Models for categorical and limited dependent variables. Thousand Oaks, CA: Sage Publications, 1996. P. 65.

8. The Polygraph and Lie Detection / Committee to Review the Scientific Evidence on the Polygraph; Cognitive, and Sensory Sciences Board on Behavioral; Committee on National Statistics; Division of Behavioral and Social Sciences and Education; National Research Council. The National Academies Press, 2003. P. 300-322.

9. Hosmer D.W., Lemeshow S. Applied Logistic Regression. 2nd ed. N.Y.: John Wiley & Sons, Inc., 2000. P. 164.

10. Machin D., Campbell M.J., Walters S.J. Medicial Statistics. 4th ed. N.Y.: John Wiley & Sons, Inc., 2007. 331 p.

11. Scholkopf B., Smola A.J. Learning with Kernels. Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, Cambridge, MA, 2002. 626 p.

12. Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики. М.: Наука, 1965. 512 с.

13. Горяинова Е.Р., Слепнева Т.И. Методы бинарной классификации объектов с номинальными показателями // Журнал Новой Экономической Ассоциации. 2012. № 2. С. 27-49.

Science and Education of the Bauman MSTU, 2014, no. 10, pp. 230-243.

DOI: 10.7463/1014.0728906

Received:

19.05.2014

Science ^Education

of the Bauman MSTU

ISSN 1994-0448 © Bauman Moscow State Technical Unversity

Polygraph Test Results Assessment by Regression Analysis Methods

K.A. Leontiev1, S.D. Panin1*, Yu. I. Kholodniy1 panmgbmstum

1Bauman Moscow State Technical University, Moscow, Russia

Keywords: weight coefficients, polygraph, logistic regression

The paper considers a problem of defining the importance of asked questions for the examinee under judicial and psychophysiological polygraph examination by methods of mathematical statistics. It offers the classification algorithm based on the logistic regression as an optimum Bayesian classifier, considering weight coefficients of information for the polygraph-recorded physiological parameters with no condition for independence of the measured signs.

Actually, binary classification is executed by results of polygraph examination with preliminary normalization and standardization of primary results, with check of a hypothesis that distribution of obtained data is normal, as well as with calculation of coefficients of linear regression between input values and responses by method of maximum likelihood. Further, the logistic curve divided signs into two classes of the "significant" and "insignificant" type.

Efficiency of model is estimated by means of the ROC analysis (Receiver Operator Characteristics). It is shown that necessary minimum sample has to contain results of 45 measurements at least. This approach ensures a reliable result provided that an expert-polygraphologist possesses sufficient qualification and follows testing techniques.

References

1. Kholodnyi Iu.I., Parfenov A.A. Evaluation of the results of forensic psycho-physiological examination with the use of polygraph. Mezhd. nauch.-prakt. konf. "Aktual'nye problemy rassledovaniia prestuplenii" [International scientific-practical conference "Actual problems of investigation of crimes"], Moscow, 23 May 2013. Moscow, "Buki Vedi Publ., 2013, pp. 383-388. (in Russian).

2. Ogloblin S.I., Molchanov A.Iu. Instrumental'naia "detektsiia lzhi": akademicheskii kurs [Instrumental "lie detection": academic course]. Iaroslavl', Niuans Publ., 2004, pp. 353-354. (in Russian).

3. Hosmer D.W., Lemeshow S. Applied Logistic Regression. 2nd ed. N.Y., John Wiley and Sons, Inc., 2000, p. 34.

4. Mitchell T.M. Ch. 6. Bayesian Learning. In book: Machine Learning. McGraw-Hill Science/Engineering/Math, 1997, pp. 154-200.

5. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. 2nd ed. Springer New York, 2009, pp. 119-128; pp. 210-211. DOI: 10.1007/978-0-387-84858-7

6. Peduzzi P., Concato J., Kemper E., Holford T.R., Feinstein A.R. A simulation study of the number of events per variable in logistic regression analysis. Journal of Clinical Epidemiology, 1996, vol. 49, iss. 12, pp. 1373-1379. DOI: 10.1016/S0895-4356(96)00236-3

7. Long J.S. Regression Models for categorical and limited dependent variables. Thousand Oaks, CA, Sage Publications, 1996, p. 65.

8. The Polygraph and Lie Detection. Committee to Review the Scientific Evidence on the Polygraph; Cognitive, and Sensory Sciences Board on Behavioral; Committee on National Statistics; Division of Behavioral and Social Sciences and Education; National Research Council. The National Academies Press, 2003, pp. 300-322.

9. Hosmer D.W., Lemeshow S. Applied Logistic Regression. 2nd ed. N.Y., John Wiley and Sons, Inc., 2000, p. 164.

10. Machin D., Campbell M.J., Walters S.J. Medicial Statistics. 4th ed. N.Y., John Wiley and Sons, Inc., 2007. 331 p.

11. Schölkopf B., Smola A.J. Learning with Kernels. Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, Cambridge, MA, 2002. 626 p.

12. Smirnov N.V., Dunin-Barkovskii I.V. Kurs teorii veroiatnostei i matematicheskoi statistiki [Course in probability theory and mathematical statistics]. Moscow, Nauka Publ., 1965. 512 p. (in Russian).

13. Goriainova E.R., Slepneva T.I. Binary Classification of Objects with Nominal Indicators.

Zhurnal Novoi Ekonomicheskoi Assotsiatsii = Journal of the New Economic Association, 2012, no. 2, pp. 27-49. (in Russian).