Визначення кількісних показників експертного опитування

Наявні дані про результати оцінки десяти напрямків розвитку, представлених чотирма експертами. На підставі даних опитування сформована матриця балів (таблиця 1).

Таблица 1. Матриця балів оцінки напрямків розвитку

Матрицю балів перетворюємо в матрицю рангів (таблица 2).

Таблица 2. Матриця рангів оцінки напрямків розвитку

Сума рангів, призначених експертами j-ому напрямку досліджень, визначається за формулою:

(1)

Для першого напрямку сума рангів складає:

S₁ = 1,5 + 1 + 2,5 + 4,5 = 9,5

Для другого напрамку сума рангів складає:

S₂ = 3,5 + 2,5 + 4 + 1,5 = 11,5

Аналогічно суми рангів визначаються для всіх напрямків. Чим менше сума рангів, тим важливіше певний напрям. Середній ранг для кожного напрямку розраховується:

(2)

Для першого напрямку середній ранг складе:

= 9,5 / 4 = 2,375

Для другого напрямку середній ранг складе:

= 11,5 / 4 = 2,875

При порівнянні важливості різних напрямків найбільш важливим слід вважати той напрямок, який характеризується найменшим значенням середньої величини рангу.
Разом із середніми рангами для кожного напрямку визначається середня величина в балах:

М _j = (3)

Показник (Мj) може приймати значення від 0 до 100 в залежності від того, яку оцінку відповідно з важливістю надали експерти цього чи іншому напрямку.
Середнє значення (в балах) для першого напряму дорівнює:

M₁= (100+100+90+80) / 4 = 92,5 балла.

Аналогічно визначаються середні значення і для інших напрямків.

Зауважимо , що при визначенні середнього значення в балах, враховується тільки та кількість експертів, які дали оцінку певному напрямку. Оскільки десятому напрямку один із експертів не поставив кількість балів, то в такому випадку середня кількість визначається без урахування одного експерта, тобто

М₁₀ = (30+20+10) / 3 = 20 балів

Чим більше значення Mj, тим більша, на думку експертів, важливість розвитку j-го напрямку.
При оцінці важливості окремих напрямків використовується показник частоти максимально можливих оцінок, який визначається за формулою:

(4)

Показник К_100j може приймати значення в межах від 0 до 1. Важливість j-го напрямку збільшується при зміні К_100j від 0 до 1.

Крім абсолютних величин оцінки важливості напрямків, при обробці даних анкет опитування застосовуються відносні показники. Для цього індивідуальні показники спочатку нормуються, а потім обчислюються середньозважені величини.
Нормування - це перехід від абсолютних величин до відносних.
Середня вага кожного напрямку (нормована оцінка) розраховується за формулою:

; . (5)

За даними таблиці 1 розрахуємо:

W_1.1 =100 / (100+90+60+70+80+90+100+60+50+30) = 0,137

W_1.2 =100/ (100+80+50+60+70+80+60+50+40+20) = 0,164

W_1.3 =90 / (90+80+60+70+90+100+70+40+30) = 0,143

Аналогічно визначаються W_ij для кожного напрямку та по кожному експерту.
У таблиці 3 наведені дані відносних показників за кожним напрямком з урахуванням думки окремих експертів.

Оскільки сума відносних значень, поставлених кожним експертом усім напрямкам, дорівнює 1, то ΣW_ij по суті дорівнює кількості експертів, які беруть участь в експертизі, тому:

W₁ = (0,137+0,164+0,143+0,119) / 4 = 0,141

W₂ = (0,123+0,131+0,127+0,134) / 4 = 0,129

Аналогічно обчислюються середні відносні значення за всіма напрямами.
На основі матриці рангів будується матриця переваг, суть якої полягає в тому, щоб оцінити, скільки експертів віддають перевагу даного напряму в порівнянні з іншим, або, іншими словами, матриця переваг визначає число випадків, якщо напрямок j визначається як більш важливе, ніж напрямок Z .
Матриця переваг, показники якої розраховані на основі даних матриці рангів (таблиця 2), наведених у таблиці 4:

Таблица 4. Матриця переваг

Розрахуємо розмах,використовуючи для цього залежність:

L _j = C _{j max} – C _{j min} , где(6)

L _j — розмах оцінок в балах, дані j -му напрямку;

C _{j max} , C _{j min} - відповідно максимальна і мінімальна оцінки, поставлені j-тому напрямку окремим експертом.

Активність експертів за кожним напрямком розраховуємо за допомогою коефіцієнта активності: , де (7)

K _аеj — коефіціент активності експертів за j -й напрямок;

m_j — кількість експертів, які оцінили j -е напрямком;

т — загальна кількість експертів.

У таблиці 5 наведені показники, які відображають порівняльну важливість напрямків, обчислених за формулами (1) - (7).

Оцінка показників відносної важливості напрямків, які знаходяться в таблиці 5, свідчать про те, що група експертів віддала перевагу в основному першому і шостому напрямках і менш схильна вважати доцільним 9-й і 10-й напрямки. Разом з тим, як показує величина розмаху, за винятком 3-го, 7-го і 10-го напрямків, особливого розмаху в оцінках експертів не спостерігається.

За значенням показника активності експертів можна судити, з одного боку, про компетентність експертів, а з іншого боку, що всі напрямки досить обгрунтовані, оскільки, за винятком 10-го напрямку, всі експерти дали оцінку запропонованим напрямкам. Показники частоти максимально можливих оцінок свідчать про те, що тільки для трьох напрямків експерти призначили 100-бальну оцінку, з них для першого напряму двічі, для 6-го і 7-го - один раз.

Таблица 5. Показники порівняльної важливості напрямків

Показники	Ум. позн.	Напрямки (фактори, параметри)
сума рангів	S j	9,5	11,5	26,5	24	16	8,5	17	31	36	40
середній ранг		2,375	2,875	6,625	6	4	2,125	4,25	7,75	9	10
Середнє значення у балах	M j	92,5	85	62,5	67,5	80	90	77,5	50	40	20
Частота макс. можливих оцінок	K 100j	0,5	0	0	0	0	0,25	0,25	0	0	0
Середня вагомість	W j	0,141	0,129	0,095	0,102	0,122	0,137	0,116	0,076	0,061	0,03
розмах	L j	20	10	30	10	20	20	40	20	20	30
Коефіціент активності експертів	K аэj	1,0	1,0	1,0	1,0	1,0	1,0	1,0	1,0	1,0	0,9

ОЦІНКА МІРИ УЗГОДЖЕННОСТІ ДУМОК ЕКСПЕРТІВ

Для оцінки узагальненої міри узгодженості думок експертів по всіх напрямах використовується коефіцієнт конкордації

К _конк = ; d _j = S _j - ; S _j = ;

T_i = ; (8)

де L — кількість груп зв'язаних (однакових) рантів;

te — кількість зв'язаних рангів в кожній групі.

За даними таблиці 2 матриці рангів оцінки напряму розвитку отримуємо наступні дані:

L = 10

1. (1,5: 1,5) 6. (5,5: 5,5)

2. (3,5: 3,5) 7. (2,5: 2,5)

3. (7,5: 7,5) 8. (5,5: 5,5)

4. (2,5: 2,5) 9. (4,5: 4,5: 4,5 :4,5)

5. (7,5: 7,5) 10. (1,5: 1,5)

Звідси t_e1 = 2; t_e2 = 2; t_e3 = 2; t_e4 = 2; t_e5 =2; t_e6 = 2; t_e7 = 2; t_e8 =2; t_e9 = 4; t_e10 = 2

Для визначення коефіцієнта конкордациі використовуємо дані таблиці 5. Проміжні розрахунки показані в таблиці 6.

Обчислимо результати проміжних розрахунків, підставляючи у формулу коефіцієнта конкордації.

åTi = (23-2) + ( 23-2) + (23-2) + (23-2) + (23-2) + (23-2) + (23-2) + (23-2) + (43-4) + (23-2) = 114

Коефіцієнт конкордації становить:

К _конк= =0,885

К _конк набуває значення від 0 до 1.Чим більше значення коефіцієнта конкордациі,тим вище міра узгодженості думок експертів. Якщо К _конк = 0,то узгодженість практично відсутня.

Таблиця 6. Визначення середньої суми рангів і квадратів відхилень суми рангів від середньої суми.

Статистична істотність коефіцієнта конкордації перевіряється по критерію Пірсона c _р2

(9)

Розраховане значення критерію Пірсона зіставляється з табличним значенням χ ²_т для n - 1 ступенів свободи і довірчої ймовірності (р = 0,95 или р = 0,99). Якщо c2 _р < c2 _табл ., то коефіцієнт конкордації істотний, якщо ж c 2 _р > c 2 _табл, то необхідно збільшити кількість експертів.

Для наведеного прикладу при 10-1 ступенів свободи і р = 0,95, c2 _табл =16,92 ,а для р = 0,99, c2_табл = 21,67.

І в першому і в другому випадку c2 _р > c 2 _табл.Значить К_конк статистично істотний. При оцінці погодженості думок експерта важливо визначити в якій мірі кожний експерт впливає на узагальнену узгодженість групи. Для цього, послідовно з розрахунків виключається один експерт і обчислюється К _конк без урахування думок одного експерта. В таблиці7. наведено коефіцієнти конкордації, які розраховані без урахування думок одного експерта.

Таблиця 7. Коефіцієнт конкордації, обчислений шляхом послідовного виключення одного з експертів

У процесі багато турів експертизи виключати експертів з оригінальною точкою зору необхідно з великою обережністю. Оскільки, такі експерти можуть схилити на свій бік більшу частину групи.

Розкид думок експертів оцінюється також за допомогою статистичних показників, таких як дисперсія оцінок, коефіцієнт варіації оцінок, загальна дисперсія оцінок, а також загальна дисперсія рангів.

Дисперсія оцінок, дана j-му напрямку розраховується за формулою:

(10)

Для прикладу, розрахуємо дисперсію оцінок по першому показнику:

σ ₁² = [(100 - 92,5)² + (100 - 92,5)² + (90 - 92,5)² + (80 - 92,5)²] = 91,667;

Для прикладу, розрахуємо дисперсію оцінок по десятому показнику:

σ ₁₀ ² = [(30 - 20)² + (20 - 20)² + (0 - 20)² + (10 - 20)²] = 200;

Коефіцієнт варіації оцінок даний j-му напрямку розраховується за формулою:

; σ _j = ; (11)

Для 1-го напрямку коефіцієнт варіації оцінок становить:

γ₁ = √91,667 / 92,5 *100% = 10,35%;

Для 2-го напрямку коефіцієнт варіації оцінок становить:

γ₂ = √33,333 / 85 *100% = 6, 79%;

Для 10-го напрямку коефіцієнт варіації оцінок становить:

γ₁₀ = √ 200 / 20 *100% = 70, 71%;

Загальна дисперсія оцінок розраховується за формулою:

; М = ; (12)

Загальна дисперсія ранга розраховується за формулою:

(13)

Загальна дисперсія оцінок і рангів відображає узагальнену характеристику узгодженості думок експертів за всіма напрямками, в той час як інші показники показують узгодженість тільки за окремими напрямками.

В таблиці 8. наведені результати розрахунків оцінок і коефіцієнтів варіації за всіма напрямками, розраховані аналогічно 1-му напрямку.

Таблиця 8. Показники узгодженості думок експертів за визначеними напрямами

Для визначення загальної дисперсії можна скористатися даними таблиці 5.

Розраховуємо

=

Оскільки третій експерт не оцінив десятий напрямок, то для одного Мj=10-1=9

s 2 = 1 / 9 [(2,375 -5,641)2 + (2,875 -5,641)2 + (6,625 -5,641)2 + (6 -5,641)2 + (4 -5,641)2 + (2,125 -5,641)2 +

+ (4,25 -5,641)2 + (7,75 -5,641)2 + (9 -5,641)2 + (10 -5,641)2] = 1 / 9 * 71,137 = 7,904

Аналогічно вираховується загальна дисперсія оцінок в балах тільки замість величин рангів використовуються відповідні величини кількості балів. За даними М=2640 / 40 = 66,

Наведена вище оцінка показників відображає ступінь погодженості думок експертів, загалом. Ступінь збігу думок двох експертів визначається за допомогою коефіцієнта парної рангової кореляції між оцінками двох експертів l і b,інформаційної заходи збігу думок (коефіцієнт Устюжанінова).

Коефіцієнт парної рангової кореляції між оцінками двох експертів визначається за формулою:

; (14)

де Ψ _j - це різниця по модулю величин рангів оцінок j-го напрямку, поставлених експертами l і b. Ψ _j = êRl - Rbï,

Тl и Тb - показники пов'язаних рангів оцінок експертів l і b , які розраховуються аналогічно як для коефіцієнта конкордації.Розрахунок квадрату різниці величин рангів двох експертів наведено в таблиці 9.

Коефіцієнт парної рангової кореляції може приймати значення від –1 до +1. Якщо Р=1, то це відповідає повному збігу думок експертів.

Розрахуємо коефіцієнт парної рангової кореляції для перших двох експертів. Пов'язані ранги відповідно складуть:

Т1 = (23 – 2) + (23 – 2) + (23 – 2) = 18

Т2 = (23 – 2) + (23 – 2) + (23 – 2) = 18

Т3 = (23 – 2) + (23 – 2) = 12

Т4 = (43 – 4) + (23 – 2) = 66

Р =1- = 0,879

У таблиці 10 представлені коефіцієнти парної рангової кореляції між оцінками всіх можливих пар експертів.

Таблиця 9. ,Розрахунок квадрата різниці величин рангів двох експертів

Таблиця 10. Матриця коефіцієнтів парної рангової кореляції.

Із значень коефіцієнтів парної рангової кореляції видно, що ступінь збігу думок між парами експертів досить велика.

Інформаційна міра збігу думок розраховується за формулою: (15)

де Е _{l, b} - міра збігу думок експерта.

n _{l, b} - кількість напрямків однаково оцінених експертами l і b.

Підставимо значення в формулу. Розрахуємо міру збігу думок 1 і 2 експертів, і міру збігу думок 1и 3 експертів.

У таблиці 11 наведено показники інформаційної міри збігу думок між окремими експертами групи.

Таблиця 11. Матриця показників інформаційної міри збігу думок експертів

Поиск по сайту: