КЛАССИФИКАЦИОННЫЕ ВОЗМОЖНОСТИ МЕТОДИК ТЕСТИРОВАНИЯ Текст научной статьи по специальности «Экономика и бизнес»

МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ

ЭКОНОМИКИ

MATHEMATICAL AND INSTRUMENTAL METHODS

OF ECONOMICS

DOI: 10.18287/2542-0461-2022-13-3-131-137 У

НАУЧНАЯ СТАТЬЯ УДК 330.45

Дата поступления: 21.07.2022 рецензирования: 25.08.2022 принятия: 28.09.2022

Классификационные возможности методик тестирования

С.П. Борисова

Самарский национальный исследовательский университет имени академика С.П. Королева,

г. Самара, Российская Федерация E-mail: borisova-svetlana2807@yandex.ru. ORCID: https://orcid.org/0000-0001-6875-0244

М.Е. Таликина

Самарский национальный исследовательский университет имени академика С.П. Королева,

г. Самара, Российская Федерация E-mail: talikina@mail.ru. ORCID: https://orcid.org/0000-0001-8149-082X

Аннотация: При осуществлении предпринимательской деятельности особенно важным является оценка способности контрагентов выполнять свои контрактные обязательства. Пока контрагент осуществляет свою деятельность, всегда существует и возможность урегулирования возникающих разногласий, но эта возможность практически исчезает в случае банкротства контрагента. Несмотря на достаточно большое количество методик определения склонности предпринимателя к банкротству, не всегда они дают точные результаты. В связи с этим важным представляется вопрос доверия к данным методикам. Для решения этой проблемы целесообразным является использование имитационного моделирования, которое позволяет исследовать системы любой природы. В данном научном исследовании с помощью имитационного моделирования проводится анализ результатов тестирования различного рода, в том числе тестирования предприятий на склонность к банкротству. Также осуществляется анализ результатов ПЦР-тестирования на новую коронавирусную инфекцию. Научная новизна исследования обусловлена применением имитационного моделирования таблицы сопряженности изучаемой совокупности данных для анализа результатов тестирования. Результаты тестирования оформляются в виде таблицы сопряженности. С помощью имитационного моделирования таблицы сопряженности определяется процент верно и неверно предсказанных моделью результатов, что дает возможность значительно повысить точность результатов тестирования.

Ключевые слова: банкротство предприятия; тестирование; таблица сопряженности; имитационное моделирование; вероятность; классификационные возможности; оценка риска.

Цитирование. Борисова С.П., Таликина М.Е. Классификационные возможности методик тестирования // Вестник Самарского университета. Экономика и управление. 2022. Т. 13, № 3. С. 131-137. DOI: http://doi.org/10.18287/2542-0461 -2022-13-3-131-137.

Информация о конфликте интересов: авторы заявляют об отсутствии конфликта интересов. © Борисова С.П., Таликина М.Е., 2022

Светлана Павловна Борисова - кандидат педагогических наук, доцент, доцент кафедры математики и бизнес-информатики, Самарский национальный исследовательский университет имени академика С.П. Королева, 443086, Российская Федерация, г. Самара, Московское шоссе, 34.

Марина Евгеньевна Таликина - старший преподаватель кафедры математики и бизнес-информатики, Самарский национальный исследовательский университет имени академика С.П. Королева, 443086, Российская Федерация, г. Самара, Московское шоссе, 34.

SCIENTIFIC ARTICLE

Submitted: 21.07.2022 Revised: 25.08.2022 Accepted: 28.09.2022

Classification possibilities of testing methods

S.P. Borisova

Samara National Research University, Samara, Russian Federation E-mail: borisova-svetlana2807@yandex.ru. ORCID: https://orcid.org/0000-0001-6875-0244

M.E. Talikina

Samara National Research University, Samara, Russian Federation E-mail: talikina@mail.ru. ORCID: https://orcid.org/0000-0001-8149-082X

Abstract: When carrying out entrepreneurial activities, it is especially important to assess the ability of counterparties to fulfill their contractual obligations. While the counterparty carries out its activities, there is always the possibility of settling emerging disagreements, but this possibility practically disappears in the event of bankruptcy of the counterparty. Despite a fairly large number of methods for determining the propensity of an entrepreneur to bankruptcy, they do not always give accurate results. In this regard, the issue of trust in these methods is important. To solve this problem, it is advisable to use simulation modeling, which allows you to explore systems of any nature. In this scientific study, using simulation modeling, the analysis of the results of testing of various kinds, including testing enterprises for a tendency to bankruptcy, is carried out. The results of PCR testing for a new coronavirus infection are also being analyzed. The scientific novelty of the study is determined by the use of simulation modeling of the contingency table of the studied data set for the analysis of test results. The test results are presented in the form of a contingency table. With the help of simulation modeling of the contingency table, the percentage of correctly and incorrectly predicted results by the model is determined, which makes it possible to significantly improve the accuracy of test results.

Key words: enterprise bankruptcy; testing; contingency table; simulation; probability; classification possibilities; risk assessment.

Citation. Borisova S.P., Talikina M.E. Classification possibilities of testing methods. Vestnik Samarskogo universiteta. Ekonomika i upravlenie = Vestnik of Samara University. Economics and Management, 2022, vol. 13, no. 3, pp. 131-137. DOI: http://doi.org/10.18287/2542-0461-2022-13-3-131-137. (In Russ.) Information on the conflict of interest: authors declare no conflict of interest.

© Borisova S.P., Talikina M.E., 2022

Svetlana P. Borisova - Candidate of Pedagogical Sciences, associate professor of the Department of Mathematics and Business Informatics, Samara National Research University, 34, Moskovskoye shosse, Samara, 443086, Russian Federation.

Marina E. Talikina - senior lecturer of the Department of Mathematics and Business Informatics, Samara National Research University, 34, Moskovskoye shosse, Samara, 443086, Russian Federation.

Введение

Существует множество методик определения склонности предпринимателя к банкротству: ско-ринг-анализ на основе ROC-кривых в деятельности кредитных организаций, методика Альтмана, кластерный и дискриминантный анализ с привлечением большого количества показателей [1; 2].

Довольно часто оказывается, что предприятия продолжают существовать и успешно развиваться, хотя тестирование деятельности на основе двух-трех десятков финансовых показателей доказывает обратное. Бывает и наоборот, особенно когда успешная деятельность предприятия во многом зависит от личных связей, контактов и договоренностей. Также имеют место ситуации, когда разные методики дают разные результаты или когда данные меняются, пусть и незначительно [3]. Так что, можно сказать, вчера была высокая оценка риска банкротства, а через месяц уже незначительная.

При осуществлении проектов, связанных с бюджетными средствами, наличие тестируемых методик должно быть обязательным. С этой точки зрения представляет интерес вопрос, насколько можно доверять даже очень хорошим методикам, которые допускают предпринимателей к бюджетным средствам.

Аналогичная ситуация с тестированием на СОУГО-19. Диагностика новой коронавирусной инфекции чаще всего осуществляется молекулярно-генетическими методами - ПЦР (полимеразная цепная реакция). Для исследования берется мазок из носа и ротоглотки, а также проводятся другие анализы по назначению врача. Методика тестирования со временем совершенствуется, однако вначале вероятность ложноположительного или ложноотрицательного теста была достаточно высокой.

Целью данной работы является анализ результатов тестирования различного рода, а именно тестирования предприятий на склонность к банкротству и ПЦР-тестирования на новую коронавирус-ную инфекцию с помощью имитационного моделирования. В качестве элемента научной новизны проделанного исследования следует отметить применение имитационного моделирования таблицы сопряженности изучаемой совокупности данных для анализа результатов тестирования.

Ход исследования

Введем обозначения. Пусть I - индикатор фактического состояния предприятия, принимающее значение В - болен (близок к банкротству) или Z - «здоров». Результат тестовой методики I обозначим В, г соответственно.

Наличие высокого риска банкротства - положительный результат теста, отсутствие риска банкротства - отрицательный результат теста.

Вероятности р(1 = В, I = В), р(1 = В, I = г), р(1 = г, I = В), р(1 = г, I = г) будем обозначать

как р(в, В), р(в, г), р(г, В), р(г, г) соответственно.

Результаты тестирования можно оформить в виде таблицы сопряженности (таблица 1).

Таблица 1 - Таблица сопряженности

Table 1 - Conjugacy table

Значения B Z

B ni(TP) n2 (FN) nB = n1 + n2

Z П3 (FP) П4 (TN) nZ = n2 + n4

Сопряженность nB = П + n3 nt = n2 + n4 N = n1 + n2 + n3 + n4

Здесь:

П = N • p(b, B) - TP (True Positives) - верно классифицированные положительные примеры, так называемые истинно положительные случаи;

n2 = N • p(b, Z) - FN (False Negatives) - положительные примеры, классифицированные как отрицательные, — ошибка 1-го рода, так называемые ложноотрицательные случаи, то есть интересующее нас событие (банкротство) ошибочно не обнаруживается;

= N • P (Z, B ) - FP (False Positives) - отрицательные примеры, классифицированные как положительные, - ошибка 2-го рода, так называемые ложноположительные, то есть ложное обнаружение: фактически банкротства нет, но выносится решение о его наличии;

n4 = N • p(z, Z) - TN (True Negatives) - верно классифицированные отрицательные примеры, истинно отрицательные случаи.

При ошибке 1-го рода FN предприятие, близкое к банкротству, классифицируется как финансово устойчивое. Это опасно как для общества (возможность распространения банкротства за счет нарушения контрактных обязательств с другими предпринимателями), так и для тестируемого предприятия, которое поздно начнет осуществлять меры, направленные на устранение риска, на повышение финансовой устойчивости предприятия.

При ошибке 2-го рода FP финансово устойчивое предприятие методика признает близким к банкротству, что ведет к падению его имиджа, ограничению его в деятельности, заставляет прибегать к «ненужному» принятию мер.

Для практики особое значение имеют показатели:

True Positive Rate (TPR) показывает, какой процент среди всех positive (близких к банкротству предприятий) верно предсказан моделью: TPR = TP / (TP + FN).

Это эквивалентно условной вероятности TPR = p(b i B).

False Positive Rate (FPR): какой процент среди всех negative (финансово устойчивых предприятий) неверно предсказан моделью: FPR = FP / (FP + TN).

Это эквивалентно условной вероятности FPR = p(b i Z).

Для хорошего теста TPR близок к 1, например, TPR=0,9 - хороший показатель для теста, аналогично FPR должен быть близок к нулю, например, FPR=0,1- хороший показатель для теста.

Таким образом, можно принять, что для хорошего теста имеют место приблизительные равенства:

TPR = p(b i b)= 0,9 ; FPR = p(b i Z)= 0,1 [4; 5].

Для предприятия, прошедшего тестирование, рассмотрим условную вероятность того, что оно близко к банкротству при условии, что тест положителен (предприятие признано близким к шагу от банкротства).

Эта вероятность может быть записана на основе формулы Байеса [6; 7], полагая гипотезу H1 = B равной наличию банкротства и H2 = Z ее отсутствию, тогда

p(b i B )= p(b )• p(b i b)/ p(b ),

где P(B)= P(B)• P(B i B)+ P(Z)• P(B i Z).

Эта вероятность существенным образом зависит от величины Р(в).

В частности, для «хорошего теста» при TPR = p(B i B) =0,9 и для FPR = p(B i Z)= 0,1

имеем р(в I B) = —9P(B^ , аналогично при FPR = p(B i Z)= 0,2, соответственно, получим V ' 8P(B) +1 V '

Р (BIBB )= 9 р(в)

7 Р (B) + 2 '

Ниже приведены данные зависимости р(в i B) от Р(в) (таблица 2).

Таблица 2 - Данные зависимости р(в i B) от Р(в) Table 2 - Data dependencies p(b i B) from Р(в)

P(B) 0,00 0,05 0,10 0,15 0,20 0,25 0,30 0,35 0,40 0,45 0,5

Р(Б1БЛ)_1 0,0% 32,1% 50,0% 61,4% 69,2% 75,0% 79,4% 82,9% 85,7% 88,0% 90,0%

P(BiBA)_2 0,0% 19,1% 33,3% 44,3% 52,9% 60,0% 65,9% 70,8% 75,0% 78,6% 81,8%

P(B) 0,55 0,6 0,65 0,7 0,75 0,8 0,85 0,9 0,95 1 —

Р(Б1БЛ)_1 91,7% 93,1% 94,4% 95,5% 96,4% 97,3% 98,1% 98,8% 99,4% 100,0% —

Р^Л^ 84,6% 87,1% 89,3% 91,3% 93,1% 94,7% 96,2% 97,6% 98,8% 100,0% —

Данные таблицы приведены на рисунке (рисунок 1). График р(в i В)_1 для РРЯ = р(в i Z)= 0,1, график р(в i В)_1 для ЕрЯ = р(В i Z)= 0,2.

Как можно видеть при Р(в) =0,1 и ЕРЯ = р(В i Z) = 0,1 тест работает с вероятностью 0,5, то есть точно так же, как и бросание монеты при игре «орел — решка». Аналогичные результаты при р(в) =0,15 и ЕрЯ = р(В i Z)= 0,2.

Получается, что методика тестирования теряет свои классификационные возможности в окрестности некоторой вероятности наличия близких к банкротству среди всех предприятий, проходящих тестирование.

Конкретное значение такой вероятности зависит в свою очередь от конкретных значений ошибок 1-го и 2-го рода: ТрЯ = р(В i в)и ЕрЯ = р(В i Z).

Рисунок - Графики зависимости р(в i B) от p(b) Figure - Dependency graphs p(b i B) from p(b)

Аналогичные ситуации возникают и во множестве других случаев. Особенно интересным представляется возможности ПЦР-тестирования на наличие - отсутствие ковида.

Например, рассмотрим статистические данные о распространении ковида: порядка 25 тысяч выявленных случаев на 188 тысяч суточных тестов [8], что дает грубую оценку Р(в) =0,133.

В этом случае вполне возможно, что тесты работают как игра «орел - решка», что и дает оценку р(в i B)-0,5.

Имитационное моделирование таблицы сопряженности для анализа результатов тестирования

Для моделирования нужны следующие вероятности:

Р(в) — вероятность банкротства (в совокупности среди всех);

p(B i в) — True Positive Rate (TPR) показывает, какой процент среди всех positive (близких к банкротству) верно предсказан моделью: TPR = TP / (TP + FN).

FPR = p(B i Z) — False Positive Rate (FPR): какой процент среди всех negative (финансово устойчивых предприятий) неверно предсказан моделью: FPR = FP / (FP + TN).

Таким образом, для моделирования таблицы сопряженности достаточно задания величин: Р(в),

TPR = p(B i в), FPR = p(B i Z) (таблица 3).

Таблица 3 - Величины, необходимые для моделирования таблицы сопряженности

Значения в Z

в p(b)p(B i в) p(b)p(Z i в)

Z p(z )p(B i z p(z )p(Z i Z)

Зададим два равномерно распределенных от 0 до 1 случайных числа: z1, г2.

Тогда заполнение ячеек таблицы идет при выполнении условий относительно z1, ¿2 следующим образом (таблица 4).

Произведем, например, моделирование [9; 10] для N=18800 ковид-тестов при значениях параметров:

р(в) = 0,133, тря = р(в i в)= 0,9, еря = р(в i Z )= 0,2.

Результаты моделирования приведены в таблице 5. Таблица 4 - Таблица сопряженности

Table 4 - Conjugacy table

Значения в Z

в zy < p(b) ; Z2 < p(b i в); Z1 < p(b) ; Z2 > p(в i в);

n = n+1 n2 = n2 +1

Z Z1 > p(b) ; Z2 < P(в iZ); Z1 > P(B); z2 > p(в i Z);

n3 = n3 +1 n4 = n4 +1

Таблица 5 - Результаты моделирования Table 5 - Simulation results

TP=n1 FN=n2 Итого

2 246 237 2 483

FP=n3 TN=n4 Итого

3 265 13 052 16 317

Итого Итого n

5 511 13 289 18 800

Как можно видеть, здесь TPR = p(B i в)=2246/2483=0,90. FPR = p(B i Z) =3265/16317=0,20.

Заключение

Вопросу диагностики банкротства предприятий в экономической науке уделяется значительное внимание. Это обусловлено тем, что: банкротство определенного предприятия приводит к нарушению макроэкономического равновесия, от того, насколько объективно проведена оценка степени вероятности банкротства предприятия, зависят цена предприятия, его инвестиционная привлекательность.

Таким образом, анализ диагностики банкротства и его предотвращения, поддержка платежеспособности предприятия актуальны в странах с рыночными отношениями. Эффективным средством предотвращения банкротства является анализ результатов тестирования.

Данная методика может быть применена не только для анализа возможности банкротства предприятия, но и для анализов результатов тестирования различного рода. Особенно актуальным в настоящее время является достоверность результатов ПЦР-тестирования.

Библиографический список

1. Дягель О.Ю., Энгельгардт К.О. Диагностика вероятности банкротства организаций: сущность, задачи и сравнительная характеристика методов // Экономический анализ: теория и практика. 2008. № 13 (118). С. 49-57. URL: https://wiseeconomist.ru/poleznoe/44980-diagnostika-veroyatnosti-bankrotstva-organizacij-sushhnost-zadachi-sravnitelnaya; https://www.elibrary.ru/item.asp?id=10366419. EDN: https://www.elibrary.ru/ iswbkf.

2. Мельников А.В., Попова Н.В., Скорнякова В.С. Математические методы финансового анализа. Москва: Анкил, 2006, 440 с. URL: https://etextbook.files.wordpress.com/2011/06/d187d0b0d181d182d18c1.pdf.

3. Королев В.Ю., Бенинг В.Е., Шоргин С.Я. Математические основы теории риска. Москва: Физматлит, 2007. 544 с. URL: https://institutiones.com/download/books/2164-matematichiskie-osnovy-teorii-riska-korolev.html.

4. Феллер В. Введение в теорию вероятностей и ее приложения: в 2 т. Т. 1. Москва: Мир, 1984. 528 с. URL: https://vk.com/wall-49053453_1640.

5. Феллер В. Введение в теорию вероятностей и ее приложения: в 2 т. Т. 2. Москва: Мир, 1984. 738 с. URL: https://vk.com/wall-49053453_1640.

6. Ито К. Вероятностные процессы, вып. 1,2. Москва: ИЛ, 1960. URL: http://publ.lib.ru/ARCHIVES/ B/''Biblioteka_sbornika_"Matematika''/_"BSM''.html.

7. Ширяев А.Н. Основы стохастической финансовой математики. Москва: Изд. Центр «Акционер», 2014. 1056 с. URL: https://institutiones.com/download/books/1274-osnovy-stoxasticheskoj-finansovoj-matematiki. html.

8. Коронавирус: статистика. URL: https://yandex.ru/covid19/stat (дата обращения: 15.01.2022).

9. Беннинга Шимон. Финансовое моделирование с использованием EXCEL. Москва: ООО «И.Д. Вильямс», 2007, 592 с. URL: https://bookscat.org/book/1334356.

10. Джексон Мэри, Стонтон Майк. Финансовое моделирование в EXCEL и VBA: углубленный курс. Москва: ООО «И.Д. Вильямс», 2006, 352 с. URL: https://books.google.ru/books?id=DGvjYgG0rmYC& printsec=frontcover&hl=ru#v=onepage&q&f=false.

References

1. Dyagel O.Yu., Engelhardt K.O. Diagnostics of the probability of bankruptcy of organizations: essence, tasks and comparative characteristics of methods. Economic Analysis: Theory and Practice, 2008, no. 13 (118), pp. 4957. Available at: https://wiseeconomist.ru/poleznoe/44980-diagnostika-veroyatnosti-bankrotstva-organizacij-sushhnost-zadachi-sravnitelnaya; https://www.elibrary.ru/item.asp?id=10366419. EDN: https://www.elibrary.ru/ iswbkf. (In Russ.)

2. Melnikov A.V., Popova N.V., Skornyakova V.S. Mathematical methods of financial analysis. Moscow: Ankil,

2006, 440 p. Available at: https://etextbook.files.wordpress.com/2011/06/d187d0b0d181d182d18c1.pdf. (In Russ.)

3. Korolev V.Yu., Bening V.E., Shorgin S.Ya. Mathematical foundations of risk theory. Moscow: Fismatlit,

2007, 544 p. Available at: https://institutiones.com/download/books/2164-matematichiskie-osnovy-teorii-riska-korolev.html. (In Russ.)

4. Feller V. Introduction to the theory of probability and its applications: in 2 vols. Vol. 1. Moscow: Mir, 1984, 528 p. Available at: https://vk.com/wall-49053453_1640. (In Russ.)

5. Feller V. Introduction to the theory of probability and its applications: in 2 vols. Vol. 2. Moscow: Mir, 1984, 738 p. Available at: https://vk.com/wall-49053453_1640. (In Russ.)

6. Ito K. Probabilistic processes, issues 1.2. Moscow: IL, 1960. Available at: http://publ.lib.ru/ ARCHIVES/B/"Biblioteka_sbornika_''Matematika"/_''BSM''.html. (In Russ.)

7. Shiryaev A.N. Fundamentals of stochastic financial mathematics. Moscow: Izd. Tsentr «Aktsioner», 2014, 1056 p. Available at: https://institutiones.com/download/books/1274-osnovy-stoxasticheskoj-finansovoj-matematiki.html. (In Russ.)

8. Coronavirus: statistics. Available at: https://yandex.ru/covid19/stat (accessed 15.01.2022) (In Russ.)

9. Simon Benninga. Financial modeling using EXCEL. Moscow: OOO "I.D. Vil'yams", 2007, 592 p. Available at: https://bookscat.org/book/1334356. (In Russ.)

10. Jackson Mary, Staunton Mike. Advanced Modeling in Finance using EXCEL and VBA. Moscow: OOO «I.D. Vil'yams», 2006, 352 p. Available at: https://books.google.ru/books?id=DGvjYgG0rmYC&printsec= frontcover&hl=ru#v=onepage&q&f=false. (In Russ.)