Оценка согласованности мнений экспертов

После обработки результатов экспертизы необходимо проверить выполнение ряда требований, прежде всего:

• распределение оценок, полученное от экспертов, должно иметь небольшой разброс. В случае многомодального распределения должна быть установлена причина, по которой различные эксперты по-разному интерпретируют одну и ту же проблему;

• групповая надежность, означающая, что две групповые оценки по определенной проблеме, данные двумя одинаковыми подгруппами, выбранными случайным образом, будут близкими.

 Групповое ранжирование объектов, полученное на основе близких индивидуальных ранжирований, вызывает обычно большее доверие, чем ранжирование, полученное на основе существенно различающихся индивидуальных ранжирований. Количественная оценка согласованности экспертных ранжирований и выяснение причин имеющихся расхождений очень важны для анализа результатов экспертизы. Такой анализ позволяет обнаружить ошибки расчета, а в ряде случаев выявляет существенное различие в подходах экспертов к оценке некоторых объектов⁸⁵.

Для оценки согласованности двух экспертных ранжирований можно использовать коэффициент ранговой корреляции Кендалла k r .

Коэффициент ранговой корреляции k r , как и обычный коэффициент корреляции, принимает значения от – 1 до + 1. При полном совпадении экспертных ранжирований k r = 1, а при строго противоположных ранжированиях k r = – 1.

В качестве показателя согласованности группового ранжирования М. Кендалл ввел коэффициент конкордации W (англ. concord – согласие), оценивающий относительную величину суммы квадратов разности рангов. При этом рассматривается разность между суммой рангов i , приписываемых всеми экспертами i - му объекту, и средним значением такой суммы ср .

При решении практических задач близость показателя согласованности экспертных ранжирований к одному из крайних значений считаются нежелательной. Если величина показателя согласованности близка к нулю, то это обычно свидетельствует либо о недостаточной компетентности по крайней мере части экспертов, либо о нечеткой формулировке организаторами экспертизы того качественного признака, по которому объекты сравниваются между собой. Величина показателя согласованности оказывается близкой к единице чаще всего в случаях, когда задача ранжирования объектов тривиальна и в действительности нет необходимости в создании экспертной группы для ее решения.

Итак, экспертные оценки применяются в случает, если количественная оценка альтернатив невозможно или затруднена. Основные этапы проведения экспертизы включает следующие этапы:

• формулирование решаемой проблемы, цели и задач экспертизы

• разработка процедуры и определение методов опроса;

• отбор, проверка компетентности и формирование группы экспертов;

• проведение опроса и получение оценок;

• анализ и обработка информации, полученной от экспертов;

• оценка степени согласованности экспертных мнений

• представление результатов экспертизы ЛПР.

К методам экспертных оценок относят: «мозговую атаку», «метод комиссий», «метод отнесенной оценки», «метод Дельфи», анкетирование, экспертную классификацию, метод ранговой корреляции, метод парных сравнений, метод векторов предпочтений, метод нормирования, метод средней точки и др.

 Задание 3. Охарактеризуйте методы количественных экспертных оценок.