Согласованность экспертов при ранжировании объектов оценивается коэффициентом конкордации (согласия)
(4)
Здесь - сумма нормализованных рангов, данных всеми экспертами j-му объекту; - среднее значение сумм рангов по всем объектам; dj - отклонение суммы рангов j-го объекта от среднего значения; tμi, - число повторений μ-го ранга в ранжировке i-го эксперта (длина μ-ой группы).
Коэффициент К0 равен единице, когда все эксперты одинаково проранжировали объекты, и равен нулю при одинаковых суммах рангов всех объектов.
Разработаны приемы проверки значимости коэффициента конкордации, т.е. гипотезы о том, что его истинное значение равно нулю. Эти приемы основаны на рассмотрении распределения некоторой однозначно связанной с К0 статистики X при случайном порядке объектов в ранжировках (при этом все (n!) ^m вариантов ранжировок равновероятны). Для проверки значимости коэффициента конкордации К0 следует задать значение уровня значимости α (вероятности отвергнуть гипотезу о равенстве коэффициента конкордации нулю, когда на самом деле она верна; обычно α = 0,05 или α = 0,01), найти по распределению X при заданных n и m критическое значение статистики Хкр и сравнить его с наблюдаемым значением Хнабл. Если Хнабл ≥ Хкр то гипотезу о равенстве коэффициента конкордации нулю отвергают и мнения экспертов считают согласованными. В противном случае принимается решение о случайном характере ранжировок и, следовательно, об отсутствии согласованности в суждениях экспертов.
В этом случае надо заменить группу экспертов или вывести из ее состава одного (или нескольких) членов, имеющих меньший коэффициент компетентности.
В качестве статистики X используют одну из двух:
(5)
(6) Возможно несколько случаев:
1) для малых значений n и m используется статистика X(¹). Ее критические значения при следующих сочетаниях n и m приведены в приложении 7 [9], а также в приложении 1 данного пособия: n = 3 m = 2 - 15; n = 4 m = 2 - 8; n = 5
m = 2 - 8; n = 6 m = 2 - 8; n = 7 m = 7 - 8;
2) при n ≥ 20 и m ≥ 13 также следует использовать статистику X(¹), которая имеет при этих условиях χ² - распределение Пирсона с числом степеней свободы v= n - 1;
3) при 7 ≤ n ≤ 19 и m ≥ 13 следует использовать статистику X(²), распределение которой при этих условиях хорошо аппроксимируется F-распределением Фишера с числами степеней свободы v1 = n - 1 и
v2 = (m - l)(n - l);
4) при n ≥ 8 и 7 ≤ m ≤ 12 следует использовать статистику X(²), распределение которой при этих условиях также хорошо аппроксимируется F-распределением Фишера с числами степеней свободы v1 = n - 1 и
(7)
5) при n ≤ 7 и m ≥ 8 (кроме случаев п. 1 и п. 3) используют составную статистику
(8)
которую сравнивают с критическим значением, определяемым через статистики χ² и F:
где χ²кр - критическое значение χ² - распределения при числе степеней
свободы v = n - 1; Fкр - критическое значение F-распределения при числе степеней свободы v1 = n - 1 и v2 = (m - 1)(n - 1);
6) при n ≥ 8 и m = 3 - 6, а также при n = 7 и m = 2 - 6 используют статистику: