Классификационные возможности методик тестирования
- Авторы: Борисова С.П.1, Таликина М.Е.1
-
Учреждения:
- Самарский национальный исследовательский университет имени академика С.П. Королева
- Выпуск: Том 13, № 3 (2022)
- Страницы: 131-137
- Раздел: МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ ЭКОНОМИКИ
- URL: https://journals.ssau.ru/eco/article/view/10871
- DOI: https://doi.org/10.18287/2542-0461-2022-13-3-131-138
- ID: 10871
Цитировать
Полный текст
Аннотация
При осуществлении предпринимательской деятельности особенно важным является оценка способности контрагентов выполнять свои контрактные обязательства. Пока контрагент осуществляет свою деятельность, всегда существует и возможность урегулирования возникающих разногласий, но эта возможность практически исчезает в случае банкротства контрагента. Несмотря на достаточно большое количество методик определения склонности предпринимателя к банкротству, не всегда они дают точные результаты. В связи с этим важным представляется вопрос доверия к данным методикам. Для решения этой проблемы целесообразным является использование имитационного моделирования, которое позволяет исследовать системы любой природы. В данном научном исследовании с помощью имитационного моделирования проводится анализ результатов тестирования различного рода, в том числе тестирования предприятий на склонность к банкротству. Также осуществляется анализ результатов ПЦР-тестирования на новую коронавирусную инфекцию. Научная новизна исследования обусловлена применением имитационного моделирования таблицы сопряженности изучаемой совокупности данных для анализа результатов тестирования. Результаты тестирования оформляются в виде таблицы сопряженности. С помощью имитационного моделирования таблицы сопряженности определяется процент верно и неверно предсказанных моделью результатов, что дает возможность значительно повысить точность результатов тестирования.
Полный текст
Введение
Существует множество методик определения склонности предпринимателя к банкротству: скоринг-анализ на основе ROC-кривых в деятельности кредитных организаций, методика Альтмана, кластерный и дискриминантный анализ с привлечением большого количества показателей [1; 2].
Довольно часто оказывается, что предприятия продолжают существовать и успешно развиваться, хотя тестирование деятельности на основе двух-трех десятков финансовых показателей доказывает обратное. Бывает и наоборот, особенно когда успешная деятельность предприятия во многом зависит от личных связей, контактов и договоренностей. Также имеют место ситуации, когда разные методики дают разные результаты или когда данные меняются, пусть и незначительно [3]. Так что, можно сказать, вчера была высокая оценка риска банкротства, а через месяц уже незначительная.
При осуществлении проектов, связанных с бюджетными средствами, наличие тестируемых методик должно быть обязательным. С этой точки зрения представляет интерес вопрос, насколько можно доверять даже очень хорошим методикам, которые допускают предпринимателей к бюджетным средствам.
Аналогичная ситуация с тестированием на COVID-19. Диагностика новой коронавирусной инфекции чаще всего осуществляется молекулярно-генетическими методами – ПЦР (полимеразная цепная реакция). Для исследования берется мазок из носа и ротоглотки, а также проводятся другие анализы по назначению врача. Методика тестирования со временем совершенствуется, однако вначале вероятность ложноположительного или ложноотрицательного теста была достаточно высокой.
Целью данной работы является анализ результатов тестирования различного рода, а именно тестирования предприятий на склонность к банкротству и ПЦР-тестирования на новую коронавирусную инфекцию с помощью имитационного моделирования. В качестве элемента научной новизны проделанного исследования следует отметить применение имитационного моделирования таблицы сопряженности изучаемой совокупности данных для анализа результатов тестирования.
Ход исследования
Введем обозначения. Пусть I – индикатор фактического состояния предприятия, принимающее значение B – болен (близок к банкротству) или Z – «здоров». Результат тестовой методики обозначим соответственно.
Наличие высокого риска банкротства – положительный результат теста, отсутствие риска банкротства – отрицательный результат теста.
Вероятности , , , будем обозначать как , , , соответственно.
Результаты тестирования можно оформить в виде таблицы сопряженности (таблица 1).
Таблица 1 – Таблица сопряженности
Table 1 – Conjugacy table
Значения |
| ||
(TP) | (FN) | ||
(FP) | (TN) | ||
Сопряженность |
Здесь:
− TP (True Positives) − верно классифицированные положительные примеры, так называемые истинно положительные случаи;
− FN (False Negatives) – положительные примеры, классифицированные как отрицательные, − ошибка 1-го рода, так называемые ложноотрицательные случаи, то есть интересующее нас событие (банкротство) ошибочно не обнаруживается;
− FP (False Positives) – отрицательные примеры, классифицированные как положительные, − ошибка 2-го рода, так называемые ложноположительные, то есть ложное обнаружение: фактически банкротства нет, но выносится решение о его наличии;
− TN (True Negatives) – верно классифицированные отрицательные примеры, истинно отрицательные случаи.
При ошибке 1-го рода FN предприятие, близкое к банкротству, классифицируется как финансово устойчивое. Это опасно как для общества (возможность распространения банкротства за счет нарушения контрактных обязательств с другими предпринимателями), так и для тестируемого предприятия, которое поздно начнет осуществлять меры, направленные на устранение риска, на повышение финансовой устойчивости предприятия.
При ошибке 2-го рода FP финансово устойчивое предприятие методика признает близким к банкротству, что ведет к падению его имиджа, ограничению его в деятельности, заставляет прибегать к «ненужному» принятию мер.
Для практики особое значение имеют показатели:
True Positive Rate (TPR) показывает, какой процент среди всех positive (близких к банкротству предприятий) верно предсказан моделью: TPR = TP / (TP + FN).
Это эквивалентно условной вероятности .
False Positive Rate (FPR): какой процент среди всех negative (финансово устойчивых предприятий) неверно предсказан моделью: FPR = FP / (FP + TN).
Это эквивалентно условной вероятности .
Для хорошего теста TPR близок к 1, например, TPR=0,9 – хороший показатель для теста, аналогично FPR должен быть близок к нулю, например, FPR=0,1− хороший показатель для теста.
Таким образом, можно принять, что для хорошего теста имеют место приблизительные равенства:
; [4; 5].
Для предприятия, прошедшего тестирование, рассмотрим условную вероятность того, что оно близко к банкротству при условии, что тест положителен (предприятие признано близким к шагу от банкротства).
Эта вероятность может быть записана на основе формулы Байеса [6; 7], полагая гипотезу H1 = B равной наличию банкротства и H2 = Z ее отсутствию, тогда
,
где .
Эта вероятность существенным образом зависит от величины .
В частности, для «хорошего теста» при =0,9 и для
имеем , аналогично при , соответственно, получим .
Ниже приведены данные зависимости от (таблица 2).
Таблица 2 – Данные зависимости от
Table 2 – Data dependencies from
P(B) | 0,00 | 0,05 | 0,10 | 0,15 | 0,20 | 0,25 | 0,30 | 0,35 | 0,40 | 0,45 | 0,5 |
P(B|B^)_1 | 0,0% | 32,1% | 50,0% | 61,4% | 69,2% | 75,0% | 79,4% | 82,9% | 85,7% | 88,0% | 90,0% |
P(B|B^)_2 | 0,0% | 19,1% | 33,3% | 44,3% | 52,9% | 60,0% | 65,9% | 70,8% | 75,0% | 78,6% | 81,8% |
P(B) | 0,55 | 0,6 | 0,65 | 0,7 | 0,75 | 0,8 | 0,85 | 0,9 | 0,95 | 1 | – |
P(B|B^)_1 | 91,7% | 93,1% | 94,4% | 95,5% | 96,4% | 97,3% | 98,1% | 98,8% | 99,4% | 100,0% | – |
P(B|B^)_2 | 84,6% | 87,1% | 89,3% | 91,3% | 93,1% | 94,7% | 96,2% | 97,6% | 98,8% | 100,0% | – |
Данные таблицы приведены на рисунке (рисунок 1). График для , график для .
Как можно видеть при =0,1 и тест работает с вероятностью 0,5, то есть точно так же, как и бросание монеты при игре «орел − решка». Аналогичные результаты при
=0,15 и .
Получается, что методика тестирования теряет свои классификационные возможности в окрестности некоторой вероятности наличия близких к банкротству среди всех предприятий, проходящих тестирование.
Конкретное значение такой вероятности зависит в свою очередь от конкретных значений ошибок 1-го и 2-го рода: и .
Рисунок – Графики зависимости от
Figure – Dependency graphs from
Аналогичные ситуации возникают и во множестве других случаев. Особенно интересным представляется возможности ПЦР-тестирования на наличие – отсутствие ковида.
Например, рассмотрим статистические данные о распространении ковида: порядка 25 тысяч выявленных случаев на 188 тысяч суточных тестов [8], что дает грубую оценку =0,133.
В этом случае вполне возможно, что тесты работают как игра «орел − решка», что и дает оценку ≈0,5.
Имитационное моделирование таблицы сопряженности для анализа результатов тестирования
Для моделирования нужны следующие вероятности:
− вероятность банкротства (в совокупности среди всех);
− True Positive Rate (TPR) показывает, какой процент среди всех positive (близких к банкротству) верно предсказан моделью: TPR = TP / (TP + FN).
− False Positive Rate (FPR): какой процент среди всех negative (финансово устойчивых предприятий) неверно предсказан моделью: FPR = FP / (FP + TN).
Таким образом, для моделирования таблицы сопряженности достаточно задания величин: , , (таблица 3).
Таблица 3 – Величины, необходимые для моделирования таблицы сопряженности
Table 3 – Quantities needed to model the contingency table
Значения | ||
Зададим два равномерно распределенных от 0 до 1 случайных числа: z1, z2.
Тогда заполнение ячеек таблицы идет при выполнении условий относительно z1, z2 следующим образом (таблица 4).
Произведем, например, моделирование [9; 10] для N=18800 ковид-тестов при значениях параметров:
, , .
Результаты моделирования приведены в таблице 5.
Таблица 4 – Таблица сопряженности
Table 4 – Conjugacy table
Значения | ||
; ; | ; ; | |
; ; | ; ; |
Таблица 5 – Результаты моделирования
Table 5 – Simulation results
TP=n1 | FN=n2 | Итого |
2 246 | 237 | 2 483 |
FP=n3 | TN=n4 | Итого |
3 265 | 13 052 | 16 317 |
Итого | Итого | n |
5 511 | 13 289 | 18 800 |
Как можно видеть, здесь =2246/2483=0,90.
=3265/16317=0,20.
Заключение
Вопросу диагностики банкротства предприятий в экономической науке уделяется значительное внимание. Это обусловлено тем, что: банкротство определенного предприятия приводит к нарушению макроэкономического равновесия, от того, насколько объективно проведена оценка степени вероятности банкротства предприятия, зависят цена предприятия, его инвестиционная привлекательность.
Таким образом, анализ диагностики банкротства и его предотвращения, поддержка платежеспособности предприятия актуальны в странах с рыночными отношениями. Эффективным средством предотвращения банкротства является анализ результатов тестирования.
Данная методика может быть применена не только для анализа возможности банкротства предприятия, но и для анализов результатов тестирования различного рода. Особенно актуальным в настоящее время является достоверность результатов ПЦР-тестирования.
Об авторах
Светлана Павловна Борисова
Самарский национальный исследовательский университет имени академика С.П. Королева
Автор, ответственный за переписку.
Email: borisova-svetlana2807@yandex.ru
ORCID iD: 0000-0001-6875-0244
кандидат педагогических наук, доцент, доцент кафедры математики и бизнес-информатики
Россия, 443086, Российская Федерация, г. Самара, Московское шоссе, 34.Марина Евгеньевна Таликина
Самарский национальный исследовательский университет имени академика С.П. Королева
Email: talikina@mail.ru
ORCID iD: 0000-0001-8149-082X
старший преподаватель кафедры математики и бизнес-информатики
Россия, 443086, Российская Федерация, г. Самара, Московское шоссе, 34Список литературы
- Дягель О.Ю., Энгельгардт К.О. Диагностика вероятности банкротства организаций: сущность, задачи и сравнительная характеристика методов // Экономический анализ: теория и практика. 2008. № 13 (118). С. 49–57. URL: https://wiseeconomist.ru/poleznoe/44980-diagnostika-veroyatnosti-bankrotstva-organizacij-sushhnost-zadachi-sravnitelnaya; https://www.elibrary.ru/item.asp?id=10366419. EDN: https://www.elibrary.ru/iswbkf.
- Мельников А.В., Попова Н.В., Скорнякова В.С. Математические методы финансового анализа. Москва: Анкил, 2006, 440 с. URL: https://etextbook.files.wordpress.com/2011/06/d187d0b0d181d182d18c1.pdf.
- Королев В.Ю., Бенинг В.Е., Шоргин С.Я. Математические основы теории риска. Москва: Физматлит, 2007. 544 с. URL: https://institutiones.com/download/books/2164-matematichiskie-osnovy-teorii-riska-korolev.html.
- Феллер В. Введение в теорию вероятностей и ее приложения: в 2 т. Т. 1. Москва: Мир, 1984. 528 с. URL: https://vk.com/wall-49053453_1640.
- Феллер В. Введение в теорию вероятностей и ее приложения: в 2 т. Т. 2. Москва: Мир, 1984. 738 с. URL: https://vk.com/wall-49053453_1640.
- Ито К. Вероятностные процессы, вып. 1,2. Москва: ИЛ, 1960. URL: http://publ.lib.ru/ARCHIVES/B/''Biblioteka_sbornika_''Matematika''/_''BSM''.html.
- Ширяев А.Н. Основы стохастической финансовой математики. Москва: Изд. Центр «Акционер», 2014. 1056 с. URL: https://institutiones.com/download/books/1274-osnovy-stoxasticheskoj-finansovoj-matematiki.html.
- Коронавирус: статистика. URL: https://yandex.ru/covid19/stat (дата обращения: 15.01.2022).
- Беннинга Шимон. Финансовое моделирование с использованием EXCEL. Москва: ООО «И.Д. Вильямс», 2007, 592 с. URL: https://bookscat.org/book/1334356.
- Джексон Мэри, Стонтон Майк. Финансовое моделирование в EXCEL и VBA: углубленный курс. Москва: ООО «И.Д. Вильямс», 2006, 352 с. URL: https://books.google.ru/books?id=DGvjYgG0rmYC&printsec=frontcover&hl=ru#v=onepage&q&f=false.
Дополнительные файлы
![](/img/style/loading.gif)