Классификационные возможности методик тестирования

Полный текст

Введение

Существует множество методик определения склонности предпринимателя к банкротству: скоринг-анализ на основе ROC-кривых в деятельности кредитных организаций, методика Альтмана, кластерный и дискриминантный анализ с привлечением большого количества показателей [1; 2].

Довольно часто оказывается, что предприятия продолжают существовать и успешно развиваться, хотя тестирование деятельности на основе двух-трех десятков финансовых показателей доказывает обратное. Бывает и наоборот, особенно когда успешная деятельность предприятия во многом зависит от личных связей, контактов и договоренностей. Также имеют место ситуации, когда разные методики дают разные результаты или когда данные меняются, пусть и незначительно [3]. Так что, можно сказать, вчера была высокая оценка риска банкротства, а через месяц уже незначительная.

При осуществлении проектов, связанных с бюджетными средствами, наличие тестируемых методик должно быть обязательным. С этой точки зрения представляет интерес вопрос, насколько можно доверять даже очень хорошим методикам, которые допускают предпринимателей к бюджетным средствам.

Аналогичная ситуация с тестированием на COVID-19. Диагностика новой коронавирусной инфекции чаще всего осуществляется молекулярно-генетическими методами – ПЦР (полимеразная цепная реакция). Для исследования берется мазок из носа и ротоглотки, а также проводятся другие анализы по назначению врача. Методика тестирования со временем совершенствуется, однако вначале вероятность ложноположительного или ложноотрицательного теста была достаточно высокой.

Целью данной работы является анализ результатов тестирования различного рода, а именно тестирования предприятий на склонность к банкротству и ПЦР-тестирования на новую коронавирусную инфекцию с помощью имитационного моделирования. В качестве элемента научной новизны проделанного исследования следует отметить применение имитационного моделирования таблицы сопряженности изучаемой совокупности данных для анализа результатов тестирования.

 

Ход исследования

Введем обозначения. Пусть I – индикатор фактического состояния предприятия, принимающее значение B  – болен (близок к банкротству)  или Z – «здоров».  Результат тестовой методики  обозначим  соответственно.

Наличие  высокого риска банкротства – положительный результат теста, отсутствие риска банкротства – отрицательный результат теста.

Вероятности , , ,   будем обозначать как , , ,  соответственно.

Результаты тестирования можно оформить в виде таблицы сопряженности (таблица 1).

 

Таблица 1 – Таблица сопряженности

Table 1 – Conjugacy table

Значения
	(TP)	(FN)
	(FP)	(TN)
Сопряженность

 

Здесь:

 − TP (True Positives) − верно классифицированные  положительные примеры, так называемые истинно положительные случаи;

 − FN (False Negatives) – положительные примеры, классифицированные как отрицательные, − ошибка  1-го рода, так называемые ложноотрицательные случаи, то есть интересующее нас событие (банкротство) ошибочно не обнаруживается;

 − FP (False Positives) – отрицательные примеры, классифицированные как положительные, − ошибка  2-го рода, так называемые ложноположительные, то есть ложное обнаружение: фактически банкротства нет, но выносится решение о его наличии;

 − TN (True Negatives) – верно классифицированные отрицательные примеры, истинно отрицательные случаи.

При  ошибке 1-го рода FN предприятие, близкое к банкротству, классифицируется как финансово устойчивое. Это опасно как для общества (возможность распространения банкротства за счет нарушения контрактных обязательств с другими предпринимателями), так и для тестируемого предприятия, которое  поздно начнет осуществлять меры, направленные на устранение риска, на повышение финансовой устойчивости предприятия.

При ошибке 2-го рода FP финансово устойчивое предприятие методика признает близким к банкротству, что ведет к падению его имиджа, ограничению его в деятельности, заставляет прибегать к «ненужному» принятию мер.

Для практики особое значение имеют показатели:

True Positive Rate (TPR) показывает, какой процент среди всех positive (близких к банкротству предприятий)  верно предсказан моделью: TPR = TP / (TP + FN).

Это эквивалентно условной вероятности .

False Positive Rate (FPR): какой процент среди всех negative (финансово устойчивых предприятий) неверно предсказан моделью: FPR = FP / (FP + TN).

Это эквивалентно условной вероятности .

Для хорошего теста TPR близок к 1, например, TPR=0,9 – хороший показатель для теста, аналогично FPR должен быть близок к нулю, например, FPR=0,1− хороший показатель для теста.

Таким образом, можно принять, что для хорошего теста имеют место приблизительные равенства:

; [4; 5].

Для предприятия, прошедшего тестирование, рассмотрим условную вероятность того, что оно близко к банкротству при условии, что тест положителен (предприятие признано близким к шагу от банкротства).

Эта вероятность может быть записана на основе формулы Байеса [6; 7], полагая гипотезу H1 = B равной наличию банкротства и H2 = Z ее отсутствию, тогда

,

где .

Эта вероятность существенным образом зависит от величины .

В частности, для «хорошего теста» при =0,9 и для  
имеем , аналогично при , соответственно, получим .

Ниже приведены данные зависимости от  (таблица 2).

 

Таблица 2 – Данные зависимости от

Table 2 – Data dependencies  from

P(B)	0,00	0,05	0,10	0,15	0,20	0,25	0,30	0,35	0,40	0,45	0,5
P(B|B^)_1	0,0%	32,1%	50,0%	61,4%	69,2%	75,0%	79,4%	82,9%	85,7%	88,0%	90,0%
P(B|B^)_2	0,0%	19,1%	33,3%	44,3%	52,9%	60,0%	65,9%	70,8%	75,0%	78,6%	81,8%
P(B)	0,55	0,6	0,65	0,7	0,75	0,8	0,85	0,9	0,95	1	–
P(B|B^)_1	91,7%	93,1%	94,4%	95,5%	96,4%	97,3%	98,1%	98,8%	99,4%	100,0%	–
P(B|B^)_2	84,6%	87,1%	89,3%	91,3%	93,1%	94,7%	96,2%	97,6%	98,8%	100,0%	–

 

Данные таблицы приведены на рисунке (рисунок 1). График для , график  для .

Как можно видеть при =0,1 и  тест работает с вероятностью 0,5, то есть точно так же, как и бросание монеты при игре «орел − решка». Аналогичные результаты при
=0,15 и .

Получается, что методика тестирования теряет свои классификационные возможности в окрестности некоторой вероятности наличия близких к банкротству среди всех предприятий, проходящих тестирование.

Конкретное значение такой вероятности зависит в свою очередь от конкретных значений ошибок 1-го и 2-го рода: и .

 

 

Рисунок – Графики зависимости  от

Figure – Dependency graphs  from

 

Аналогичные ситуации возникают и во множестве других случаев. Особенно интересным представляется возможности ПЦР-тестирования на наличие – отсутствие ковида.

Например, рассмотрим статистические данные о распространении ковида: порядка 25 тысяч выявленных случаев на 188 тысяч суточных тестов [8], что дает грубую оценку =0,133.

В этом случае вполне возможно, что тесты работают как игра «орел − решка», что и дает оценку ≈0,5.

 

Имитационное моделирование таблицы сопряженности для анализа результатов тестирования

Для моделирования нужны следующие вероятности:

− вероятность банкротства (в совокупности среди всех);

 − True Positive Rate (TPR) показывает, какой процент среди всех positive (близких к банкротству)  верно предсказан моделью: TPR = TP / (TP + FN).

 − False Positive Rate (FPR): какой процент среди всех negative (финансово устойчивых предприятий) неверно предсказан моделью: FPR = FP / (FP + TN).

Таким образом, для моделирования таблицы сопряженности достаточно задания величин: , ,  (таблица 3).

 

Таблица 3 – Величины, необходимые для моделирования таблицы сопряженности

Table 3 – Quantities needed to model the contingency table

Значения

 

Зададим два равномерно распределенных от 0 до 1 случайных числа: z1, z2.

Тогда заполнение ячеек таблицы идет при выполнении условий относительно z1, z2 следующим образом (таблица 4).

 

Произведем, например, моделирование [9; 10] для N=18800 ковид-тестов при значениях параметров:

, , .

Результаты моделирования приведены в таблице 5.

 

Таблица 4 – Таблица сопряженности

Table 4 – Conjugacy table

Значения
	; ;	; ;
	; ;	; ;

 

Таблица 5 – Результаты моделирования

Table 5 – Simulation results

TP=n1	FN=n2	Итого
2 246	237	2 483
FP=n3	TN=n4	Итого
3 265	13 052	16 317
Итого	Итого	n
5 511	13 289	18 800

 

Как можно видеть, здесь =2246/2483=0,90.

=3265/16317=0,20.

 

Заключение

Вопросу диагностики банкротства предприятий в экономической науке уделяется значительное внимание. Это обусловлено тем, что: банкротство определенного предприятия приводит к нарушению макроэкономического равновесия, от того, насколько объективно проведена оценка степени вероятности банкротства предприятия, зависят цена предприятия, его инвестиционная привлекательность.

Таким образом, анализ диагностики банкротства и его предотвращения, поддержка платежеспособности предприятия актуальны в странах с рыночными отношениями. Эффективным средством предотвращения банкротства является анализ результатов тестирования.

Данная методика может быть применена не только для анализа возможности банкротства предприятия, но и для анализов результатов тестирования различного рода. Особенно актуальным в настоящее время является достоверность результатов ПЦР-тестирования.

Об авторах

Светлана Павловна Борисова

Самарский национальный исследовательский университет имени академика С.П. Королева

Автор, ответственный за переписку.
Email: borisova-svetlana2807@yandex.ru
ORCID iD: 0000-0001-6875-0244

кандидат педагогических наук, доцент, доцент кафедры математики и бизнес-информатики

Россия, 443086, Российская Федерация, г. Самара, Московское шоссе, 34.

Марина Евгеньевна Таликина

Самарский национальный исследовательский университет имени академика С.П. Королева

Email: talikina@mail.ru
ORCID iD: 0000-0001-8149-082X

старший преподаватель кафедры математики и бизнес-информатики

Россия, 443086, Российская Федерация, г. Самара, Московское шоссе, 34

Список литературы

Дополнительные файлы