Для оценки степени согласованности экспертов преобразуем множества оценок n объектов, данных каждым экспертом, в ранжировку (приписыванием ранга 1 объекту с наибольшим значением оценки, ранга 2 объекту с оценкой, следующей за наибольшей и так далее). Матрица полученных рангов представлена в таблице 30.
Повторяющихся оценок, а, следовательно, и рангов нет, поэтому полученные ранги соответствуют условию нормализации (2).
Таблица 30
Матрица рангов
Эксперты
Задачи
Проверка согласованности мнений экспертов
Согласованность мнений экспертов проверим с помощью F-критерия Фишера (случай 4, см. п. 3.1.2.) Для этого вычислим коэффициент конкордации К0. Определим среднеарифметическое сумм рангов
Определим сумму квадратов отклонений сумм рангов, полученных каждым объектом у всех экспертов, от среднеарифметического сумм рангов
Так как эксперты оценки не повторяли, то параметр Тi, для каждого эксперта равен 0. Вычислим значение коэффициента конкордации по формуле (4):
Проверим значимость коэффициента конкордации. В соответствии с п. 3.1.2. (случай 4) для проверки значимости проведем следующие вычисления. Определим значения статистик X(¹) и X(²) по формулам (5) и (6):
Найдем число степеней свободы v1, v2 F-распределения, для чего вычислим значения величин xj, Vj, V²j, j=1,2,...,8, используя данные нижней строки табл. 30.
Результаты расчетов сведем в табл. 31.
Таблица 31
Промежуточные вычисления для определения v2
Задачи
xj
Vj
V²j
3,143
4,476
20,04
2,714
4,905
24,06
4,667
21,78
5,714
2.571
6,612
5,429
3,619
13,10
4,857
10,14
102,9
5,143
6,810
46,37
39,19
238,8
Находим:
Число степеней свободы v1 = 8 - 1= 7.
По таблице F-распределения Фишера [7] находим критическое значение Fкр при уровне значимости α = 0,05 и числах степеней свободы v1 = l и v2 = 33 2,29 < Fкр < 2,31.
Сравнивая полученное нами значение Х(²) с критическим, делаем вывод о том, что мнения экспертов согласованными считать нельзя. В этом случае необходимо исключить из рассмотрения анкету наименее компетентного эксперта и провести проверку согласованности по данным оставшихся экспертов.