. Методи експертних оцінок
В умовах, коли немає можливості або дуже складно отримати об’єктивну інформацію, для дослідження складних проблем залучають експертів, знання, досвід та інтуїція яких спроможні зменшити складність проблеми. При цьому використовується здатність людини розв’язувати слабко структуровані задачі.
Існують різні форми та методи отримання інформації від експертів. Це анонімні та відкриті опитування, анкети, наради, дискусії, ділові ігри, мозковий штурм тощо.
В методі переваги експерти нумерують об’єкти у порядку їх переваги; в методі рангу об’єкт розміщують уздовж шкали, яка розділена на декілька частин, і експерт проводить лінію від кожного об’єкта до відповідної точки оціночної шкали.
Метод часткового попарного порівняння передбачає розміщення об’єктів в блоках таблиці і експерт вказує в кожному блоці цифру більш корисного, на його погляд, об’єкта з пари, яка складає координати цього блоку. В даному методі кожен об’єкт з’єднується з кожним іншим об’єктом в пару один раз.
В методі повного попарного порівняння, який є аналогічним попередньому, перелік об’єктів подвоюється, оскільки кожна пара об’єктів з/являється двічі: перший раз, наприклад, у послідовності А – В, а другий раз – у послідовності В – А. Подібне дублювання виключає помилки психологічного плану, пов’язані з розміщенням об’єктів в блоці.
В методі послідовного порівняння експерт розташовує об’єкти в порядку їх цінності; вибирає самий важливий об’єкт; розташовує його у визначеному цифровому діапазоні, а решту об’єктів – у порядку їх значимості; вирішує, чи є цей об’єкт більш важливим, ніж всі інші; вирішує, чи є другий за значущістю об’єкт більш важливим, ніж всі інші, що мають більш низьку оцінку і т. д.
Оцінка при використанні будь – яких методів звичайно виконується двома категоріями експертів – вузькими спеціалістами та спеціалістами широкого профілю. Можливо також комбінування різних методів.
В основу обробки експертних оцінок покладені методи рангової кореляції. Вони дозволяють відносно простими засобами об’єктивно опрацювати суб’єктивні думки експертів щодо поставленої проблеми. На цьому етапі важливим є встановлення ступеня надійності та кореляції між оцінками окремих експертів і різних груп їх.
Робота експертів багато в чому залежить від внутрішніх та зовнішніх чинників. Вже сама відповідальність може накладати психологічні обмеження на характер вибору альтернатив, а цього треба уникати. На хід експертизи впливають стосунки експертів, особиста зацікавленість, об’єктивність, їхні особисті якості. Але при всіх своїх недоліках метод експертних оцінок дозволяє отримати додаткову інформацію для прийняття рішення, виділити найбільш раціональні та перспективні з запропонованих варіантів (альтернатив) з метою подальшого їх детального дослідження.
Алгоритм методу полягає у наступному. Кожен з експертів повинен проранжувати об’єкти. Ранжування являє собою заміну важливості або якості об’єкту черговим номером (рангом). Якщо експерт не може віддати перевагу якомусь об’єкту серед декількох, він приписує двом або кільком об’єктам один і той же черговий номер. Це ранжування зі збіжними рангами.
Вагові коефіцієнти експертів можуть прийматися однаковими або різними в залежності від фаху та досвіду експертів.
Після опитування експертів матрицю рангів приводять до нормального ранжування таким чином, щоб сума рангів у рядку кожного експерта дорівнювала:
l = 0,5(n + 1)n,
де n – кількість об’єктів експертизи.
При цьому об’єктам з однаковим рангом призначають ранг, який дорівнює середньому значенню місць, котрі ці об’єкти розділили між собою.
Для оцінки ступеня узгодженості думок експертів застосовують коефіцієнт конкордації (коефіцієнт одностайності Кендела):
,
де m – кількість експертів;
dі = σі - - відхилення суми рангів по і – тому об’єкту від загального середнього значення;
- сума квадратів відхилень;
- середня оцінка об’єктів;
- сумарна оцінка і – того об’єкта всіма m експертами.
В разі збіжних рангів значення коефіцієнту конкордації обчислюють за формулою:
,
де njk – кількість об’єктів зі збіжними рангами в кожній к – тій групі у j – того експерта;
в – кількість груп об’єктів експертизи зі збіжними рангами у j – того експерта, тобто груп об’єктів з однаковими рангами в рядку j – того експерта;
к = 1, 2, …, в – номер групи об’єктів зі збіжними рангами.
Коефіцієнт W змінюється в межах від 0 до 1. При W = 0 узгоджена точка зору експертів відсутня; при W = 1 існує повна одностайність думок експертів.
Значимість коефіцієнта конкордації перевіряють за критерієм Пірсона:
χр2 = m(n – 1)W.
Якщо розрахункове значення χр2 перевищує табличне значення χт2 для заданого рівня значимості q і кількості ступенів свободи f = n – 1, то з імовірністю Р = 1 – q можна стверджувати, що існує певна узгодженість думок експертів щодо цінності (якості, важливості) тих або інших об’єктів.
Якщо достатня узгодженість думок експертів відсутня, застосовують багатоетапні методи, які спрямовані на зменшення неузгодженості шляхом додаткових опитувань експертів за визначеною програмою. Найбільш поширеним є метод “Дельфі”, в основі якого лежить ідея, що критика позитивно впливає на експерта, якщо вона не пов’язана з особистою конфронтацією. Тому експертиза та оцінка альтернатив проходить за цім методом в декілька турів з повідомленням після кожного повних підсумків при збереженні анонімності учасників. В такому разі експерти схильні не тільки критикувати, але й прислухатися до критики, вносити корективи. Графічна ілюстрація методу “Дельфі” наведена на рис. 5.3.
Якщо експертами є різні групи спеціалістів (наукові співробітники, заводські фахівці та інші), для оцінки узгодженості думок різних груп розраховують коефіцієнти конкордації для цих груп.
Для оцінки ступеня зв’язку середніх ранжировок різних груп фахівців визначають коефіцієнт парної рангової кореляції Спірмена, який відіграє роль коефіцієнту об’єктивності:
,
де хАі та хВі – нормовані ранги груп експертів А та В щодо і – того об’єкту.
Значимість r перевіряють за критерієм Стьюдента:
.
В разі високого ступеня узгодженості як між окремими експертами, так і між групами їх, сумарну ранжировку можна використовувати для виділення найбільш перспективного об’єкту або декількох об’єктів для подальших поглиблених їх досліджень.
Приклад. Група з m = 15 експертів визначала доцільність запровадження на підприємстві кожного з n = 8 запропонованих заходів щодо зменшення рівня шкідливих викидів в атмосферу. До складу групи входили 7 заводських спеціалістів і 8 працівників наукових та проектних організацій. Результати опитування наведені в табл. 5.1. Виділити три найбільш ефективні заходи і визначити надійність цієї експертної оцінки.
Таблиця 5.1
Результати опитування експертів
№№ експертів i | Номер заходу j | |||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
1 | 1 | 2 | 5 | 3 | 4 | 6 | 7 | 6 |
2 | 1 | 1 | 3 | 4 | 2 | 4 | 5 | 3 |
3 | 2 | 3 | 1 | 4 | 5 | 4 | 5 | 3 |
4 | 1 | 1 | 2 | 3 | 4 | 6 | 5 | 2 |
5 | 2 | 3 | 4 | 1 | 5 | 6 | 6 | 1 |
6 | 1 | 2 | 4 | 3 | 5 | 5 | 5 | 4 |
7 | 1 | 2 | 6 | 3 | 5 | 6 | 6 | 4 |
8 | 1 | 3 | 4 | 1 | 2 | 4 | 5 | 4 |
9 | 1 | 1 | 2 | 2 | 2 | 3 | 3 | 2 |
10 | 1 | 4 | 4 | 2 | 3 | 5 | 6 | 4 |
11 | 1 | 3 | 5 | 3 | 2 | 6 | 4 | 5 |
12 | 2 | 4 | 5 | 2 | 1 | 3 | 6 | 2 |
13 | 1 | 3 | 5 | 2 | 4 | 6 | 7 | 3 |
14 | 1 | 2 | 4 | 3 | 5 | 7 | 6 | 2 |
15 | 1 | 1 | 1 | 1 | 2 | 2 | 3 | 2 |
Оскільки ранжування виконано в рангах, що збігаються, приводимо матрицю рангів до нормальної ранжировки (табл. 5.2). Для цього об’єктам (заходам) з однаковим рангом приписуємо середні значення місць, які вони поділили, а сума рангів в рядках нормальної матриці складає:
l = 0,5(8+1)8 = 36.
Наприклад, експерт за номером j = 8 заходам і =1 та і = 4 віддав 1 ÷ 2 місце, заходам за номерами і = 3; 6; 8 – місця №№ 5; 6; 7. Тобто маємо в = 2 групи оцінок зі збіжними рангами, у перший з них nj = 2 оцінки, у другій –nj = 3. Відповідно, в таблицю нормальної ранжировки до рядку j = 8 і стовпчиків і = 1; 4 заносимо значення , а до стовпчиків і = 3; 6; 7 - = 6.
З урахуванням кількості груп зі збіжними рангами і числа однакових оцінок у кожній з них знаходимо розрахункові параметри Nj для кожного j – того експерта. Наприклад, в оцінці другого експерта кількість збіжних рангів складає (2 + 2 + 2). Величина N2 = (23 – 2) + (23 – 2) + (23 – 2) = 18.
До табл. 5.2 заносимо також сумарні оцінки кожного з заходів σі ; наприклад, для першого заходу:
σ1 = = 1+1,5+2+1,5+3+1+1+1,5+1,5+1+1+3+1+1+2,5 = 23,5.
Середня оцінка заходів:
.
Таблиця 5.2
Матриця нормальної ранжировки
№№ | Номери заходів | в | Nj | |||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |||
1 | 1 | 2 | 5 | 3 | 4 | 6,5 | 8 | 6,5 | 2 | 6 |
2 | 1,5 | 1,5 | 4,5 | 6,5 | 3 | 6,5 | 8 | 4,5 | 2+2+2 | 18 |
3 | 2 | 3,5 | 1 | 5,5 | 7,5 | 5,5 | 7,5 | 3,5 | 2+2+2 | 18 |
4 | 1,5 | 1,5 | 3,5 | 5 | 6 | 8 | 7 | 3,5 | 2+2 | 12 |
5 | 3 | 4 | 5 | 1,5 | 6 | 7,5 | 7,5 | 1,5 | 2+2 | 12 |
6 | 1 | 2 | 4,5 | 3 | 7 | 7 | 7 | 4,5 | 2+3 | 30 |
7 | 1 | 2 | 7 | 3 | 5 | 7 | 7 | 4 | 3 | 24 |
8 | 1,5 | 4 | 6 | 1,5 | 3 | 6 | 8 | 6 | 2+3 | 30 |
9 | 1,5 | 1,5 | 4,5 | 4,5 | 4,5 | 7,5 | 7,5 | 4,5 | 2+4+2 | 72 |
10 | 1 | 5 | 5 | 2 | 3 | 7 | 8 | 5 | 3 | 24 |
11 | 1 | 3,5 | 6,5 | 3,5 | 2 | 8 | 5 | 6,5 | 2+2 | 12 |
12 | 3 | 6 | 7 | 3 | 1 | 5 | 8 | 3 | 3 | 24 |
13 | 1 | 3,5 | 6 | 2 | 5 | 7 | 8 | 3,5 | 2 | 6 |
14 | 1 | 2,5 | 5 | 4 | 6 | 8 | 7 | 2,5 | 2 | 6 |
15 | 2,5 | 2,5 | 2,5 | 2,5 | 6 | 6 | 8 | 6 | 4+3 | 84 |
σі | 23,5 | 45 | 72 | 50,5 | 69 | 102,5 | 115,5 | 65 | ;
| |
di | - 44 | -22,5 | 5,5 | -17 | 1,5 | 35 | 44 | -2,5 | ||
di2 | 1936 | 508,2 | 30,25 | 289 | 2,25 | 1225 | 1936 | 6,25 |
За результатами розрахунків відхилень від середньої оцінки di = σi - , їх квадратів di2 визначаємо величини ; , які наведені в табл. 5.2.
Коефіцієнт конкордації:
.
Розрахункове значення критерію Пірсона:
χр2 = m(n – 1)W = 15(8 – 1)0,65 = 68,25.
Табличне значення χт2 для рівня значимості q = 0,05 і кількості ступенів свободи f = n – 1 = 8 – 1 =7 складає 14,067. Тому з імовірністю 95% можна стверджувати, що існує певна узгодженість думок експертів щодо важливості кожного з запропонованих заходів.
Оцінимо ступінь узгодженості думок спеціалістів першої групи ( рядки №№ 1 ÷ 7 матриці) та другої (рядки №№ 8 ÷ 15). Для цього за відповідними рядками перетвореної матриці рангів визначаємо сумарні оцінки кожного з заходів по групах σіІ та σіІІ і будуємо нормовану матрицю рангів хіІ та хіІІ (табл. 5.3).
Таблиця 5.3
Нормована матриця рангів по групах
Група | Параметр | Заходи | |||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | ||
І | ΣіІ | 11 | 16,5 | 30,5 | 27,5 | 38,5 | 48 | 52 | 28 |
хіІ | 1 | 2 | 5 | 3 | 6 | 7 | 8 | 4 | |
І І | σіІІ | 12,5 | 28,5 | 42,5 | 23 | 30,5 | 54,5 | 59,5 | 37 |
хіІІ | 1 | 3 | 6 | 2 | 4 | 7 | 8 | 5 | |
dі = хіІ - хіІІ | 0 | -1 | -1 | 1 | 2 | 0 | 0 | -1 | |
dі2 | 0 | 1 | 1 | 1 | 4 | 0 | 0 | 1 |
Коефіцієнт парної рангової кореляції між групами і значення критерію Стьюдента для нього:
; .
Отримане значення t – критерію перевищує табличне tт = 2,45 для f = 8 – 2 = 6 і q =0,05, звідки можна з імовірністю 95% стверджувати, що є достатньо тісний кореляційний зв’язок між ранжуваннями першої та другої груп спеціалістів.
Висока ступінь узгодженості між окремими спеціалістами і між групами їх дозволяє обгрунтовано відібрати за сумарною нормальною ранжировкою три найбільш ефективні заходи (№№ 1, 2, 4), які набрали найменшу сумарну кількість балів. Ці заходи можуть бути рекомендовані для подальшого детального технічного пророблення.
- Міністерство освіти і науки україни
- Національна металургійна академія україни
- Бобилєв в.П., іванов і.І., пройдак ю.С.
- Методологія та організація наукових досліджень
- Методологія та організація наукових досліджень.
- Рекомендовано Міністерством освіти і науки України як навчальний посібник для студентів вищих навчальних закладів, які навчаються за напрямом «Металургія» (лист № 1.4/18-г-700 від 28.03.08 р.)
- Загальні відомості щодо науки, наукових досліджень, кадрів та установ
- Особливості науки
- 1.2. Наука як система знань
- . Наукові дослідження, їх особливості і класифікація
- 1.4. Наукові установи і кадри
- 2. Вибір теми і формулювання задач наукових досліджень
- 2.1. Обгрунтування теми наукових досліджень
- . Складання техніко – економічного обгрунтування науково – дослідної роботи
- . Робота з науково – технічною інформацією
- 3. Методи теоретичних досліджень
- 3.1. Методологія теоретичних досліджень
- 3.2. Моделі досліджень
- Математичні методи аналізу
- 3.3.1. Аналітичні методи досліджень
- 3.3.2. Аналітичні методи досліджень з використанням експерименту
- 3.3.3. Ймовірносно – статистичні методи досліджень
- 3.3.4. Етапи системного аналізу
- 3.3.5. Принципи оптимізації технічних систем
- 3.3.6. Аналітична оптимізація об’єкту досліджень
- 3.3.7. Пошукові методи оптимізації технічних об’єктів та систем
- 3.3.8. Методи системного аналізу
- Вихідні дані до транспортної задачі
- Вихідні дані до задачі про склад сировини
- Вихідні дані до задачі планування виробництва
- 4. Методи експериментальних досліджень
- 4.1. Методологія експерименту
- 4.2. Співвідношення аналізу і експерименту
- 4.3. Оцінки характеристик змінних об’єкту
- . Кореляційний аналіз дослідних даних
- Апроксимація експериментальних даних
- Основний експеримент
- 4.6.1. Факторний експеримент за планами першого порядку
- Факторний експеримент другого порядку
- 5. Методи прогнозування
- . Класифікація методів прогнозування
- . Аналіз часових рядів
- . Методи експертних оцінок
- 6. Методи пошуку нових технічних рішень
- 6.1 Загальні методи та прийоми рішення технічних задач
- Евристичні методи і прийоми
- 6.3. Способи генерування альтернативних варіантів технічних рішень
- Винахідницька робота
- 7.1. Об’єкти винахідницького права
- 7.3. Оформлення винаходу
- 7.3.1. Вимога єдності винаходу
- 7.3.2. Склад заявки на отримання патенту
- 7.3.3. Формула винаходу
- . Об’єкти винаходу – “пристрій”, “спосіб”, “речовина”
- 8. Представлення результатів і організація наукової роботи
- 8.1. Складання звіту про ндр
- . Опублікування наукових матеріалів
- . Усне представлення результатів досліджень
- . Керівництво науковим колективом
- Література
- Додатки
- Значення нормованої функції Лапласа
- Значення критерію Стьюдента
- Відсоткові точки χ2 – розподілення
- Ентальпія газів, кДж/м3
- 49005, М. Дніпропетровськ, а/с 493