. Методи експертних оцінок

В умовах, коли немає можливості або дуже складно отримати об’єктивну інформацію, для дослідження складних проблем залучають експертів, знання, досвід та інтуїція яких спроможні зменшити складність проблеми. При цьому використовується здатність людини розв’язувати слабко структуровані задачі.

Існують різні форми та методи отримання інформації від експертів. Це анонімні та відкриті опитування, анкети, наради, дискусії, ділові ігри, мозковий штурм тощо.

В методі переваги експерти нумерують об’єкти у порядку їх переваги; в методі рангу об’єкт розміщують уздовж шкали, яка розділена на декілька частин, і експерт проводить лінію від кожного об’єкта до відповідної точки оціночної шкали.

Метод часткового попарного порівняння передбачає розміщення об’єктів в блоках таблиці і експерт вказує в кожному блоці цифру більш корисного, на його погляд, об’єкта з пари, яка складає координати цього блоку. В даному методі кожен об’єкт з’єднується з кожним іншим об’єктом в пару один раз.

В методі повного попарного порівняння, який є аналогічним попередньому, перелік об’єктів подвоюється, оскільки кожна пара об’єктів з^/являється двічі: перший раз, наприклад, у послідовності А – В, а другий раз – у послідовності В – А. Подібне дублювання виключає помилки психологічного плану, пов’язані з розміщенням об’єктів в блоці.

В методі послідовного порівняння експерт розташовує об’єкти в порядку їх цінності; вибирає самий важливий об’єкт; розташовує його у визначеному цифровому діапазоні, а решту об’єктів – у порядку їх значимості; вирішує, чи є цей об’єкт більш важливим, ніж всі інші; вирішує, чи є другий за значущістю об’єкт більш важливим, ніж всі інші, що мають більш низьку оцінку і т. д.

Оцінка при використанні будь – яких методів звичайно виконується двома категоріями експертів – вузькими спеціалістами та спеціалістами широкого профілю. Можливо також комбінування різних методів.

В основу обробки експертних оцінок покладені методи рангової кореляції. Вони дозволяють відносно простими засобами об’єктивно опрацювати суб’єктивні думки експертів щодо поставленої проблеми. На цьому етапі важливим є встановлення ступеня надійності та кореляції між оцінками окремих експертів і різних груп їх.

Робота експертів багато в чому залежить від внутрішніх та зовнішніх чинників. Вже сама відповідальність може накладати психологічні обмеження на характер вибору альтернатив, а цього треба уникати. На хід експертизи впливають стосунки експертів, особиста зацікавленість, об’єктивність, їхні особисті якості. Але при всіх своїх недоліках метод експертних оцінок дозволяє отримати додаткову інформацію для прийняття рішення, виділити найбільш раціональні та перспективні з запропонованих варіантів (альтернатив) з метою подальшого їх детального дослідження.

Алгоритм методу полягає у наступному. Кожен з експертів повинен проранжувати об’єкти. Ранжування являє собою заміну важливості або якості об’єкту черговим номером (рангом). Якщо експерт не може віддати перевагу якомусь об’єкту серед декількох, він приписує двом або кільком об’єктам один і той же черговий номер. Це ранжування зі збіжними рангами.

Вагові коефіцієнти експертів можуть прийматися однаковими або різними в залежності від фаху та досвіду експертів.

Після опитування експертів матрицю рангів приводять до нормального ранжування таким чином, щоб сума рангів у рядку кожного експерта дорівнювала:

l = 0,5(n + 1)n,

де n – кількість об’єктів експертизи.

При цьому об’єктам з однаковим рангом призначають ранг, який дорівнює середньому значенню місць, котрі ці об’єкти розділили між собою.

Для оцінки ступеня узгодженості думок експертів застосовують коефіцієнт конкордації (коефіцієнт одностайності Кендела):

,

де m – кількість експертів;

d_і = σ_і - - відхилення суми рангів по і – тому об’єкту від загального середнього значення;

- сума квадратів відхилень;

- середня оцінка об’єктів;

- сумарна оцінка і – того об’єкта всіма m експертами.

В разі збіжних рангів значення коефіцієнту конкордації обчислюють за формулою:

,

де n_jk – кількість об’єктів зі збіжними рангами в кожній к – тій групі у j – того експерта;

в – кількість груп об’єктів експертизи зі збіжними рангами у j – того експерта, тобто груп об’єктів з однаковими рангами в рядку j – того експерта;

к = 1, 2, …, в – номер групи об’єктів зі збіжними рангами.

Коефіцієнт W змінюється в межах від 0 до 1. При W = 0 узгоджена точка зору експертів відсутня; при W = 1 існує повна одностайність думок експертів.

Значимість коефіцієнта конкордації перевіряють за критерієм Пірсона:

χ_р² = m(n – 1)W.

Якщо розрахункове значення χ_р² перевищує табличне значення χ_т² для заданого рівня значимості q і кількості ступенів свободи f = n – 1, то з імовірністю Р = 1 – q можна стверджувати, що існує певна узгодженість думок експертів щодо цінності (якості, важливості) тих або інших об’єктів.

Якщо достатня узгодженість думок експертів відсутня, застосовують багатоетапні методи, які спрямовані на зменшення неузгодженості шляхом додаткових опитувань експертів за визначеною програмою. Найбільш поширеним є метод “Дельфі”, в основі якого лежить ідея, що критика позитивно впливає на експерта, якщо вона не пов’язана з особистою конфронтацією. Тому експертиза та оцінка альтернатив проходить за цім методом в декілька турів з повідомленням після кожного повних підсумків при збереженні анонімності учасників. В такому разі експерти схильні не тільки критикувати, але й прислухатися до критики, вносити корективи. Графічна ілюстрація методу “Дельфі” наведена на рис. 5.3.

Якщо експертами є різні групи спеціалістів (наукові співробітники, заводські фахівці та інші), для оцінки узгодженості думок різних груп розраховують коефіцієнти конкордації для цих груп.

Для оцінки ступеня зв’язку середніх ранжировок різних груп фахівців визначають коефіцієнт парної рангової кореляції Спірмена, який відіграє роль коефіцієнту об’єктивності:

,

де х_Аі та х_Ві – нормовані ранги груп експертів А та В щодо і – того об’єкту.

Значимість r перевіряють за критерієм Стьюдента:

.

В разі високого ступеня узгодженості як між окремими експертами, так і між групами їх, сумарну ранжировку можна використовувати для виділення найбільш перспективного об’єкту або декількох об’єктів для подальших поглиблених їх досліджень.

Приклад. Група з m = 15 експертів визначала доцільність запровадження на підприємстві кожного з n = 8 запропонованих заходів щодо зменшення рівня шкідливих викидів в атмосферу. До складу групи входили 7 заводських спеціалістів і 8 працівників наукових та проектних організацій. Результати опитування наведені в табл. 5.1. Виділити три найбільш ефективні заходи і визначити надійність цієї експертної оцінки.

Таблиця 5.1

Результати опитування експертів

Оскільки ранжування виконано в рангах, що збігаються, приводимо матрицю рангів до нормальної ранжировки (табл. 5.2). Для цього об’єктам (заходам) з однаковим рангом приписуємо середні значення місць, які вони поділили, а сума рангів в рядках нормальної матриці складає:

l = 0,5(8+1)8 = 36.

Наприклад, експерт за номером j = 8 заходам і =1 та і = 4 віддав 1 ÷ 2 місце, заходам за номерами і = 3; 6; 8 – місця №№ 5; 6; 7. Тобто маємо в = 2 групи оцінок зі збіжними рангами, у перший з них n_j = 2 оцінки, у другій –n_j = 3. Відповідно, в таблицю нормальної ранжировки до рядку j = 8 і стовпчиків і = 1; 4 заносимо значення , а до стовпчиків і = 3; 6; 7 - = 6.

З урахуванням кількості груп зі збіжними рангами і числа однакових оцінок у кожній з них знаходимо розрахункові параметри N_j для кожного j – того експерта. Наприклад, в оцінці другого експерта кількість збіжних рангів складає (2 + 2 + 2). Величина N₂ = (2³ – 2) + (2³ – 2) + (2³ – 2) = 18.

До табл. 5.2 заносимо також сумарні оцінки кожного з заходів σ_і ; наприклад, для першого заходу:

σ₁ = = 1+1,5+2+1,5+3+1+1+1,5+1,5+1+1+3+1+1+2,5 = 23,5.

Середня оцінка заходів:

.

Таблиця 5.2

Матриця нормальної ранжировки

За результатами розрахунків відхилень від середньої оцінки d_i = σ_i - , їх квадратів d_i² визначаємо величини ; , які наведені в табл. 5.2.

Коефіцієнт конкордації:

.

Розрахункове значення критерію Пірсона:

χ_р² = m(n – 1)W = 15(8 – 1)0,65 = 68,25.

Табличне значення χ_т² для рівня значимості q = 0,05 і кількості ступенів свободи f = n – 1 = 8 – 1 =7 складає 14,067. Тому з імовірністю 95% можна стверджувати, що існує певна узгодженість думок експертів щодо важливості кожного з запропонованих заходів.

Оцінимо ступінь узгодженості думок спеціалістів першої групи ( рядки №№ 1 ÷ 7 матриці) та другої (рядки №№ 8 ÷ 15). Для цього за відповідними рядками перетвореної матриці рангів визначаємо сумарні оцінки кожного з заходів по групах σ_і^І та σ_і^ІІ і будуємо нормовану матрицю рангів х_і^І та х_і^ІІ (табл. 5.3).

Таблиця 5.3

Нормована матриця рангів по групах

Коефіцієнт парної рангової кореляції між групами і значення критерію Стьюдента для нього:

; .

Отримане значення t – критерію перевищує табличне t_т = 2,45 для f = 8 – 2 = 6 і q =0,05, звідки можна з імовірністю 95% стверджувати, що є достатньо тісний кореляційний зв’язок між ранжуваннями першої та другої груп спеціалістів.

Висока ступінь узгодженості між окремими спеціалістами і між групами їх дозволяє обгрунтовано відібрати за сумарною нормальною ранжировкою три найбільш ефективні заходи (№№ 1, 2, 4), які набрали найменшу сумарну кількість балів. Ці заходи можуть бути рекомендовані для подальшого детального технічного пророблення.