Method of indirect preferences for forming criterion weights with a mul-ti-level structure
- Authors: Korneenko V.P.1,2
-
Affiliations:
- RUDN University
- V.A. Trapeznikov Institute of Management Problems of the Russian Academy of Sciences
- Issue: Vol 13, No 4 (2023)
- Pages: 580-596
- Section: METHODS AND TECHNOLOGIES OF DECISION MAKING
- URL: https://journals.ssau.ru/ontology/article/view/27786
- DOI: https://doi.org/10.18287/2223-9537-2023-13-4-580-596
- ID: 27786
Cite item
Full Text
Abstract
The method of forming criterion weights in tasks of multi-criteria evaluation of objects with a multi-level structure of indicators presented in the form of a hierarchical tree, is shown. The weights values are calculated on the basis of indirect measurement of preferences of adjacent pairs of local weights of criteria included in the vertices of a higher level of the hierarchical tree, in the form of expert assessments in the quantitative scale of relations. The calculation of quantitative weights first comes down to lexicographic sorting by descending order of criteria importance at each level of the hierarchy that are included in the vertices of a higher level, as a result of which the number of expert comparisons of adjacent pairs in the scale of relations is reduced. The formation of local coefficients of the criteria importance is mathematically justified and is based on a matrix with special properties. A comparative analysis of the proposed method for forming quantitative weights with the method of hierarchy analysis, the least squares method and the approximation matrix method based on the matrix of paired comparisons, is given. An example is given of solving the problem of multi-criteria evaluation of combat aircraft that participated in the tender, according to the tactical and technical characteristics presented in various measurement scales.
Full Text
Введение
Принятие управленческих решений часто сопряжено с решением прикладных задач оценивания и выбора эффективных объектов (вариантов решений, альтернатив, стратегий), которые относятся к классу многокритериальных задач. На практике к этому классу относятся задачи: построения рейтингов компаний, банков; оценки эффективности деятельности коллективов в организационных системах; синтеза сложной технической системы.
Для объектов с многоуровневой структурой характерно представление системы критериев в виде иерархического дерева [1–3]. При этом возникает проблема оценки количественной важности локальных критериев, входящих в вершину более высокого уровня.
Обзору и классификации методов формирования весовых коэффициентов посвящено большое число работ [4–9]. Известно более двадцати различных методов определения весов, часть из которых подробно рассмотрена в статье [8].
Настоящая статья посвящена развитию методов косвенного измерения предпочтений критериев в шкале отношений [10].
1. Определение важности критериев
Одна из первых методик решения многокритериальных задач с многоуровневой структурой была разработана для оценки эффективности вариантов прогнозирования и планирования при разработке сложных научных и научно-технических программ (ПАТТЕРН, PATTERN1, США) [2]. Методика включает построение дерева целей, которое служит для оценки относительной важности критериев, и применение прямого метода экспертного оценивания количественных весов критериев.
Оценки количественной важности локальных критериев, входящих в вершины более высокого уровня, эксперты проставляют на бланке (в долях единицы). Процедура определения коэффициентов проходит в несколько туров, пока не будет согласована со всеми экспертами. Пересчёт их в глобальные веса для концевых (висячих) вершин дерева осуществляется перемножением весов всех вершин, лежащих на пути, ведущем к данной вершине. Для каждой альтернативы (объекта, проекта, варианта) находится агрегированная оценка, равная сумме произведений глобальных весов и оценок критериев в концевых вершинах дерева.
В соответствии с теорией измерений [11] веса важности критериев могут быть измерены в градациях различных шкал, например: в номинальных шкалах с двумя градациями «равноважны» и «неравноважны»; в количественных (разности, отношений) с различными весами важности (предпочтительности) по числу критериев.
Понятие важности критериев c точки зрения теории измерений можно рассмотреть следующим образом. Пусть объекты множества
Определение 1. В количественной шкале отношений критерий
и наоборот, менее важен, если
Известно следующее определение однородных критериев по важности [12, 13].
Определение 2. Утверждение «критерий
Здесь
Замечание 1. Сравнение определений 1 и 2 приводит к выводу о том, что определение 1 не привязано к векторным оценкам, в отличие от определения 2. Можно показать, что утверждение «каждая векторная оценка
Действительно, пусть критерий
где
Агрегированные оценки векторов
Разность
т.е. векторная оценка
В работе [14] в качестве количественных весов предлагается использовать числовую последовательность П. Фишберна [15]:
где
В работе [16] предложена формула для вычисления задающих коэффициентов в виде:
где s - группа важности,
В силу того, что нормированные веса частных критериев характеризуют долю вклада в обобщённый критерий и формируются обычно методами экспертного оценивания [8], то вследствие этого формулы (1) и (2) не могут быть применимы в качестве весов критериев, связанных с различными предметными областями решаемых многокритериальных задач.
Таким образом, предпочтительность одного критерия относительно другого, а также их количественные веса не зависят от векторных оценок объектов и определяются экспертами. В дальнейшем для оценки количественной важности критериев используется определение 1.
2. Алгоритм метода
В основе вычисления весов критериев метода косвенных предпочтений (МКП) лежит предварительная процедура упорядочения критериев, представленных в виде иерархического дерева. Процедура базируется на экспертном выявлении косвенной предпочтительности одного критерия относительно другого смежного критерия на каждом уровне иерархии при предположении о неизвестности количественных значений важности. Алгоритм рассматриваемого метода состоит из следующих шагов.
Шаг 1. Построение иерархического дерева упорядоченных критериев по убыванию предпочтительности. На этом шаге эксперты ранжируют по убыванию важности критерии, входящие в вершины более высокого уровня иерархического дерева. При наличии нескольких экспертов, участвующих в ранжировании, находится результирующее ранжирование (медиана Кемени), метод формирования которого представлен в работе [17].
Для деревьев в основном применяются два способа перечисления: «по ветвям», когда индекс вершины указывает путь к этой вершине; «по уровням», когда по очереди рассматриваются все уровни сверху вниз, а вершины одного уровня нумеруются подряд слева направо. Способом перечисления «по ветвям» дерево задаётся в виде множества упорядоченных вершин [18]:
где
Концевые вершины
на k-м уровне иерархии упорядоченных по убыванию важности и входящих в вершину
где ≽ – обозначение нестрогого предпочтения, которое означает для пары критериев строгого предпочтения (обозначение ≻) или отношение равнозначности (обозначение
Шаг 2. Экспертное оценивание степеней превосходства смежных критериев на k-м уровне иерархического дерева в шкале отношений. Эксперту предъявляется множество подкритериев
Результаты сравнения
квадратной матрицы попарного сравнения смежных подкритериев
При этом количественная оценка
Исходя из свойства обратной симметрии, равенство
При таком подходе достаточно всего лишь (
Шаг 3. Формирование элементов столбцов матрицы коэффициентов важности критериев. По экспертным оценкам (4) предпочтительности смежных критериев, входящих в вершину критерия более высокого уровня иерархического дерева, формируются элементы столбцов матрицы
Любой элемент произвольного столбца матрицы можно вычислить по экспертным оценкам относительно критерия, принимаемого за базовый, которому соответствует единичный элемент
Теорема 1. Пусть даны экспертные оценки
Доказательство. Действительно, для номеров строк
аналогично для номеров строк
что и требовалось доказать.
Пример 1. Пусть для четырёх упорядоченных по важности
Их нормированные веса имеют значения 0,4; 0,3; 0,2 и 0,1. Пусть локальные веса заранее неизвестны, но эксперт результаты сравнения смежных пар представил в виде:
которые приняты за наддиагональные элементы матрицы. С учётом обратной симметрии матрицу можно представить в виде
Остальные элементы столбцов
В результате получается матрица:
(8)
Замечание 2. Можно убедиться, что ранг матрицы
Матрица
Шаг 4. Формирование локальных коэффициентов важности критериев. За локальные коэффициенты принимаются нормированные элементы любого столбца матрицы
Теорема 2 (о взаимосвязи между нормированными элементами полной матрицы и нормированными весами критериев). Нормированные элементы столбцов
где
Доказательство. Из формулы (6) следует, что для полной матрицы для любого столбца
что и требовалось доказать.
Если в примере 1 пронормировать столбцы матрицы
Таким образом, за коэффициенты важности критериев можно взять нормированные элементы любого столбца, которые вычисляются по наддиагональным элементам матрицы попарных сравнений смежных критериев.
При решении прикладных задач проще использовать элементы последнего столбца матрицы, которые можно вычислить через произведения
а затем нормировать и принять за коэффициенты важности критериев.
Из примера 1 видно, что по формуле
Шаг 5. Формирование глобальных коэффициентов важности критериев. Глобальные коэффициенты формируются путём вычисления произведения локальных коэффициентов вершин, лежащих на пути от корневой вершины
Пусть веса
Произведение весов вершин, лежащих на пути от корневой вершины
null
где
Тогда постановку многокритериальной задачи оценки объектов с многоуровневой структурой можно представить в виде аддитивной свёртки:
где
Решение задачи можно представить в виде упорядочения объектов в соответствии с значениями агрегированных оценок:
В качестве примера на рисунке 1 представлено трёхуровневое иерархическое дерево упорядоченных по важности критериев, где веса обозначены в виде:
Рисунок 1 – Трёхуровневое иерархическое дерево критериев оценки объектов
Замечание 3. Глобальные коэффициен-ты, вычисляемые на шаге 5 данного метода, аналогично вычисляются и в методе ПАТТЕРН [2] и в МАИ [1]. При этом глобальный вес концевого критерия в иерархическом дереве характеризует (относительную) долю, которую он вносит в глобальный критерий верхнего (нулевого) уровня иерархии.
3. Анализ эффективности методов, базирующихся на матрицах парных сравнений
Для сравнения методов используются данные из работы [19], в которой оцениваются сравнительные расстояния между городами Каир, Токио, Чикаго, Сан-Франциско, Лондон, Монреаль. Матрица парных сравнений получена методом экспертных оценок [19]:
Упорядочив города в виде Токио, Каир, Лондон, Сан-Франциско, Чикаго, Монреаль по убыванию расстояния по методу данной работы, можно сравнить расстояния между смежными парами городов токио-Каир, Каир-Лондон, Лондон-Сан-Франциско, Сан-Франциско-Чикаго, Чикаго-Монреаль, результаты которого можно представить наддиагональными элементами мультипликативной матрицы и вычисленными элементами правого столбца:
нормированные элементы которого принять за количественные веса расстояний и представить в виде вектора:
Поскольку по нормированным элементам весов критериев восстанавливаются все элементы
Мультипликативная матрица обладает особым свойством – любой элемент можно представить через произведение пары других
где
Можно показать взаимосвязь между нормированными элементами важности критериев и элементами восстановленной мультипликативной матрицы.
Теорема 3. Между любыми элементами
Доказательство. Так как матрица
Представленный МКП нахождения весов по парным смежным (
По МАИ решением служит нормированный собственной вектор матрицы , соответствующий максимальному собственному значению. По МНК в качестве искомого вектора принимается решение оптимизационной задачи [21]:
при ограничениях
Эти методы трудоёмки, и для построения матрицы
где
– нормированный элемент -го столбца мультипликативной матрицы, совпадающий с любым элементом нормированного столбца (см. теорему 2).
Исходные данные для сравнения методов представлены в таблице 1.
Таблица 1 – Нормализованные относительные расстояния
Город | 1 | ||||
1 | 2 | 3 | 4 | 5 | 6 |
токио | 0,361 | 0,397 | 0,459 | 0,389 | 0,342 |
Каир | 0,278 | 0,263 | 0,221 | 0,255 | 0,285 |
Лондон | 0,177 | 0,164 | 0,141 | 0,167 | 0,178 |
Сан-франциско | 0,132 | 0,116 | 0,107 | 0,126 | 0,119 |
Чикаго | 0,032 | 0,033 | 0,036 | 0,036 | 0,041 |
монреаль | 0,019 | 0,027 | 0,036 | 0,028 | 0,034 |
В столбцах 2 – 6 таблицы 1 представлены нормализованные относительные расстояния, где в столбце 2 – истинные нормализованные относительные расстояния,
Результаты сравнений по критерию (10) близости к исходной матрице парных сравнений представлены в таблице 2.
Таблица 2 – Результаты сравнений по критерию
Метод | ИР | МАИ | МНК | МАМ | МКП |
36,41 | 24,62 | 29,22 | 23,10 | 20,26 |
Эффективность методов можно оценить по критерию близости между векторами:
Результаты сравнения представлены в таблице 3.
Таблица 3 – Результаты сравнений по критерию
Метод | МАИ | МНК | МАМ | МКП |
0,089 | 0,237 | 0,080 | 0,064 |
Таким образом, методы, базирующиеся на матрице парных сравнений, можно ранжировать по убыванию эффективности:
Замечание 4. Преимущество МКП относительно методов, базирующихся на матрице парных сравнений, в том, что этап построения иерархического дерева упорядоченных критериев по убыванию важности позволяет снизить число экспертных смежных пар сравнений критериев до
4. Пример решения задачи многокритериального оценивания
Эффективность МКП можно рассмотреть на примере решения многокритериальной задачи сравнения боевых самолётов по тактико-техническим характеристикам (ТТХ), принимавших участие в индийском тендере MMRCA [24]. Исходные данные по девяти показателям в виде множества
Таблица 4 – ТТХ самолётов, участвовавших в тендере
Показатели ТТХ | Оценки самолётов в исходных шкалах, | Эталоны | ||||||
9,5 | 7,5 | 7,8 | 8,05 | 5,3 | 7,0 | 5,3 | 9,5 | |
нет | нет | нет | нет | нет | есть | нет | есть | |
305 | 315 | 254 | 228 | 255 | 330 | 228 | 330 | |
24,5 | 23,5 | 21,8 | 29,9 | 14,3 | 23,5 | 14,3 | 29,9 | |
1,80 | 2,25 | 2,00 | 1,80 | 2,00 | 2,25 | 1,80 | 2,25 | |
15,24 | 19,81 | 18,00 | 15,00 | 15,24 | 17,50 | 15,00 | 19,81 | |
124 | 120 | 50 | 55 | 48 | 45 | 124 | 45 | |
1,03 | 1,18 | 1,10 | 0,93 | 1,18 | 1,10 | 0,93 | 1,18 | |
4,70 | 5,00 | 3,37 | 6,78 | 3,36 | 4,80 | 3,36 | 6,78 |
В соответствии с шагом 1 алгоритма представленные в таблице 4 показатели используются как критерии. Пусть эксперты разбили критерии на три группы по предпочтительности:
В каждой группе подкритерии также упорядочены по убыванию важности:
На рисунке 2 представлено трёхуровневое иерархическое дерево.
Рисунок 2 – Иерархическое дерево критериев оценки эффективности самолётов
В соответствии с шагами 2 и 3 представлены матрицы попарных смежных сравнений и вычисленные правые столбцы:
В соответствии с шагом 4 сформированы локальные коэффициенты важности критериев:
Глобальные коэффициенты важности критериев на шаге 5 формируются путём вычисления произведения локальных коэффициентов вершин, лежащих на пути от корневой вершины
Поскольку исходные данные представлены в различных шкалах измерения, то для применения аддитивного механизма агрегирования необходимо перейти к результирующей однородной шкале [19]. Правило перехода
где
b – число шкальных градаций в порядковой (балльной) шкале
При этом каждой оценке, попадающей в класс
В качестве механизма агрегирования оценок самолётов, представленных в результирующей шкале, применён интегральный метод с учётом весов и без учёта в виде аддитивной свёртки оценок
где
В таблице 5 представлены ТТХ самолётов в 100-балльной результирующей шкале, где
Таблица 5 - Оценки самолётов в однородной 100-балльной шкале без учёта весов критериев
Показатели | Оценки самолётов в однородной 100-балльной шкале, | Эталоны | ||||||
100 | 53 | 60 | 66 | 1 | 41 | 1 | 100 | |
1 | 1 | 1 | 1 | 1 | 100 | 1 | 100 | |
76 | 86 | 26 | 1 | 27 | 100 | 1 | 100 | |
66 | 59 | 49 | 100 | 1 | 59 | 1 | 100 | |
1 | 100 | 45 | 1 | 45 | 100 | 1 | 100 | |
5 | 100 | 63 | 1 | 5 | 52 | 1 | 100 | |
1 | 6 | 94 | 88 | 97 | 100 | 1 | 100 | |
40 | 100 | 68,5 | 1 | 100 | 68,5 | 1 | 100 | |
40 | 48 | 1,0 | 100 | 1 | 43 | 1 | 100 | |
330,0 | 553,0 | 407,5 | 359,0 | 278,0 | 663,5 | 9 | 900 |
Ранжирование самолётов по обобщённым оценкам без учёта весов критериев можно представить в виде:
Результаты агрегирования с учётом глобальных весов по формуле (14) представлены в таблице 6, а также на рисунке 3.
Таблица 6 - Показатели самолётов в результирующей шкале с учётом весов критериев
Показатели | Глобальные веса критриев | Оценки самолётов в однородной 100-балльной шкале с учётом весов | Эталоны | ||||||
0,200 | 20,00 | 10,60 | 12,00 | 13,20 | 0,20 | 8,20 | 0,20 | 20,00 | |
0,150 | 0,15 | 0,15 | 0,15 | 0,15 | 0,15 | 15,00 | 0,15 | 15,00 | |
0,150 | 11,40 | 12,90 | 3,90 | 0,15 | 4,05 | 15,00 | 0,15 | 15,00 | |
0,114 | 7,52 | 6,73 | 5,59 | 11,40 | 0,11 | 6,73 | 0,11 | 11,40 | |
0,099 | 0,10 | 9,90 | 4,46 | 0,10 | 4,46 | 9,90 | 0,10 | 9,90 | |
0,087 | 0,44 | 8,70 | 5,48 | 0,09 | 0,44 | 4,52 | 0,09 | 8,70 | |
0,072 | 0,07 | 0,43 | 6,77 | 6,34 | 6,98 | 7,20 | 0,07 | 7,20 | |
0,064 | 2,56 | 6,40 | 4,38 | 0,06 | 6,40 | 4,38 | 0,06 | 6,40 | |
0,064 | 2,56 | 3,07 | 0,06 | 6,40 | 0,06 | 2,75 | 0,06 | 6,40 | |
44,80 | 58,88 | 42,79 | 37,89 | 22,85 | 73,69 | 1,00 | 100,00 |
Рисунок 3 – Результат оценивания самолётов в 100-балльной шкале с учётом весов критериев
В этом случае ранжирование самолётов по обобщённым оценкам с учётом весов критериев можно представить в виде:
На первом месте оказался самолёт МиГ-35 так как по трём показателям у него максимальные баллы. Кроме того, преимущество самолёта связано с наличием управляемого вектора тяги, который отсутствует у других самолётов.
По результатам агрегирования рейтинг боевых самолётов по эффективности представлен в таблице 7. Таким образом, самолёт МиГ-35 оказался лучшим по ТТХ и по стоимости.
Таблица 7 - Рейтинг самолётов по эффективности
№ | Самолёт | Балльная оценка | Место в рейтинге | ||
Без учёта весов | С учётом весов | Без учёта весов | С учётом весов | ||
1 | Dassault Rafale | 37 | 45 | 5 | 3 |
2 | Eurofighter Typhoon | 60 | 58 | 2 | 2 |
3 | F-16 IN Super Viper | 45 | 43 | 3 | 4 |
4 | 40 | 38 | 4 | 5 | |
5 | JAS 39 NG(IN) | 31 | 23 | 6 | 6 |
6 | МиГ-35 | 63 | 59 | 1 | 1 |
Заключение
Основное преимущество предложенного МКП - в его простоте относительно МНК и МАИ, в отсутствии выполнения всех попарных сравнений, число которых нелинейно зависит от исходного числа объектов и равно
Предложенный метод формирования весов критериев для многокритериальных задачах с многоуровневой структурой может быть использован для решения задач оценивания, ранжирования и построения рейтингов.
1 PATTERN (от англ. Planning Assistance Through Technical Evaluation from Relevans Number) поддержка планирования посредством относительных показателей технической оценки.
About the authors
Viktor P. Korneenko
RUDN University; V.A. Trapeznikov Institute of Management Problems of the Russian Academy of Sciences
Author for correspondence.
Email: vkorn@ipu.ru
ORCID iD: 0000-0002-3643-1609
Scopus Author ID: 57222359318
ResearcherId: JGD-2807-2023
(b. 1953) graduated from the Faculty of Radio Electronics of the Leningrad Military Engineering Academy named after A.F. Mozhaisky in 1975. In 1986 he graduated from the Faculty of Computational Mathematics and Cybernetics of Lomonosov Moscow State University. Senior Researcher at the V.A. Trapeznikov Institute of Management Problems of the Russian Academy of Sciences, Associate Professor of the Department of Mathematical Methods and Information Technologies of the Higher School of Industrial Policy and Entrepreneurship of the RUDN named after Patrice Lumumba. Candidate of Technical Sciences, Associate Professor. The list of scientific papers includes more than 100 works in the field of combinatorial optimization, mathematical methods in analytical activity, and multi-criteria evaluation of objects with a multi-level structure
Russian Federation, Moscow; MoscowReferences
- Saati T. Decision-making with dependencies and feedbacks: Analytical networks [In Russian]. M.: LKI, 2008. 360 p.
- Lopukhin MM. "PATTERN", a method of planning and forecasting scientific papers [In Russian]. M.: Soviet radio, 1971. 160 p.
- Keeney RL., Raiffa H. Decisions with Multiple Objectives: Preferences and Value Trade-Offs. New York: Wiley, 1976. 569 p.
- Belton V., Stewart TJ. Multiple criteria decision analysis. An integrated approach. Boston: Cluwer, 2003. 374 p.
- Bormotov AN. Substantiation of the method of forming the weighting coefficients of the criterion of practical opti-maleness based on the results of mathematical modeling of composites [In Russian]. Technical Sciences. 2016; 8: 14-18.
- Polishchuk LI. On generalized criteria with importance coefficients in vector optimization problems [In Russian]. Automaton. and telemech. 1982; 2: 55-60.
- Zotyev DB. On the problem of determining weight coefficients based on expert assessments [In Russian]. Factory laboratory. Diagnostics of materials. 2011; 77(1): 75-78.
- Anokhin AM. Glotov VA., Paveliev VV., Cherkashin AM. Methods for determining the coefficients of the importance of criteria [In Russian]. Automaton and telemech. 1997; 8: 3-35.
- Dmitriev MG., Lomazov VA. Evaluation of the sensitivity of linear convolution of particular criteria in the expert determination of weighting coefficients [In Russian]. Artificial intelligence and decision-making. 2014; 1: 52-56.
- Korneenko VP. Method of indirect preferences [In Russian]. Review of applied and industrial mathematics. 2008; 15(5): 890-891.
- Pfanzsagl J. Theory of measurement. Berlin, Heidelberg: Spriger-Verlag, 1971. 235 p.
- Podinovsky VV. Quantitative importance of criteria [In Russian]. AiT. 2000; 5: 110-123.
- Podinovsky VV. Ideas and methods of the theory of the importance of criteria in multi-criteria decision-making tasks [In Russian]. Moscow: Nauka, 2019. 103 p.
- Remesnik E.S.Application of Fishburne sequences in models with quantitative factors // Theory and Practice of Economics and Entrepreneurship / Proceedings of the XVI All-Russian Scientific and Practical conference with International participation "Theory and Practice of Economics and Entrepreneurship" (Simferopol–Gurzuf, 2019). Simferopol: IP Zueva T.V., 2019. P.210-212.
- Fishburn PC. Utility Theory for Decision Making. New York: Wiley, 1970. 234 p.
- Piyavsky SA. Forms for calculation of universal coefficients when adopting multiple critical decisions [In Russian]. Ontology of designing. 2019; 9(2): 282-298. doi: 10.18287/2223-9537-2019-9-2-282-298.
- Korneenko VP. Optimization method for selecting the resulting ranking of objects presented in the rank scale of measurement [In Russian]. Management of large systems. 2019; 82: 44-60.
- Korneenko VP. Methods of multi-criteria evaluation of objects with a multi-level structure of performance indicators [In Russian]. Moscow: MAKS Press, 2018. 292 p.
- Yushmanov SV. A method for finding weights that does not require a complete matrix of pairwise comparisons [In Russian]. AiT. 1990; 2: 186-189.
- Horn R., Johnson Ch. Matrix analysis. New York: Cambridge University, 1990. 561 p.
- Chu A., Kalaba RE., Springarn K. A Comparison of two methods for determining the weights of Belonging to fuzzy sets. Journal of Optimization Theory and Applications. 1979; 27: 531–538.
- Korneenko VP. Method of approximation matrix of object weights formation in multi-criteria selection problems [In Russian]. Bulletin of Cybernetics. 2021; 1: 51-62.
- Expert Choice. https://www.expertchoice.com/2021 (accessed: 04/25/2023).
- Comparative technical characteristics of aircraft participating in the Indian MMRCA tender [In Russian]. https://ru.wikipedia.org/wiki/Шаблон:Сравнительные_ТТХ_самолётов_принимавших_участие_в_индийском_тендере_MMRCA.
- Kendall MG. Rank correlation methods. New York: Oxford University, 1990. 260 p.
- Korneenko VP. Method for local aggregation of data of objects with multi-level structure in sequential scales [In Russian]. Proceedings of the 14th International Conference "Management of Large-scale systems Development" (MLSD-2021). Moscow: IPU RAS, 2021. P.485-493. https://mlsd2021.ipu.ru/proceedings/485-493.pdf.
Supplementary files
