Оценка согласованности мнений экспертов
После обработки результатов экспертизы необходимо проверить выполнение ряда требований, прежде всего:
распределение оценок, полученное от экспертов, должно иметь небольшой разброс. В случае многомодального распределения должна быть установлена причина, по которой различные эксперты по-разному интерпретируют одну и ту же проблему;
групповая надежность, означающая, что две групповые оценки по определенной проблеме, данные двумя одинаковыми подгруппами, выбранными случайным образом, будут близкими.
Групповое ранжирование объектов, полученное на основе близких индивидуальных ранжирований, вызывает обычно большее доверие, чем ранжирование, полученное на основе существенно различающихся индивидуальных ранжирований. Количественная оценка согласованности экспертных ранжирований и выяснение причин имеющихся расхождений очень важны для анализа результатов экспертизы. Такой анализ позволяет обнаружить ошибки расчета, а в ряде случаев выявляет существенное различие в подходах экспертов к оценке некоторых объектов85.
Для оценки согласованности двух экспертных ранжирований можно использовать коэффициент ранговой корреляции Кендалла k r .
Коэффициент ранговой корреляции k r , как и обычный коэффициент корреляции, принимает значения от – 1 до + 1. При полном совпадении экспертных ранжирований k r = 1, а при строго противоположных ранжированиях k r = – 1.
В качестве показателя согласованности группового ранжирования М. Кендалл ввел коэффициент конкордации W (англ. concord – согласие), оценивающий относительную величину суммы квадратов разности рангов. При этом рассматривается разность между суммой рангов i , приписываемых всеми экспертами i - му объекту, и средним значением такой суммы ср .
При решении практических задач близость показателя согласованности экспертных ранжирований к одному из крайних значений считаются нежелательной. Если величина показателя согласованности близка к нулю, то это обычно свидетельствует либо о недостаточной компетентности по крайней мере части экспертов, либо о нечеткой формулировке организаторами экспертизы того качественного признака, по которому объекты сравниваются между собой. Величина показателя согласованности оказывается близкой к единице чаще всего в случаях, когда задача ранжирования объектов тривиальна и в действительности нет необходимости в создании экспертной группы для ее решения.
Итак, экспертные оценки применяются в случает, если количественная оценка альтернатив невозможно или затруднена. Основные этапы проведения экспертизы включает следующие этапы:
формулирование решаемой проблемы, цели и задач экспертизы
разработка процедуры и определение методов опроса;
отбор, проверка компетентности и формирование группы экспертов;
проведение опроса и получение оценок;
анализ и обработка информации, полученной от экспертов;
оценка степени согласованности экспертных мнений
представление результатов экспертизы ЛПР.
К методам экспертных оценок относят: «мозговую атаку», «метод комиссий», «метод отнесенной оценки», «метод Дельфи», анкетирование, экспертную классификацию, метод ранговой корреляции, метод парных сравнений, метод векторов предпочтений, метод нормирования, метод средней точки и др.
Задание 3. Охарактеризуйте методы количественных экспертных оценок.
- Российская академия народного хозяйства и государственной службы
- Оглавление
- §1. Подходы к изучению управленческих решений
- §2. Понятийная база теории управленческих решений
- §3. Модели принятия решений11
- §4. Этапы процесса рационального принятия решений
- Тема 1.2. Классификация методов разработки и принятия управленческих решений
- §1. Типы задач принятия решений
- §2. Классификация методов принятия управленческих решений
- Раздел 2. Методы, применяемые на стадии подготовки управленческого решения Тема 2.1. Методы анализа и диагностики проблемы
- §1. Методы выявления и формулирования проблемы
- §2. Методы анализа и диагностики проблем
- §3. Интерпретация данных о проблеме
- Тема 2.2. Методы целеполагания и определения альтернатив
- §1.Технология целеполагания при принятии решений
- §2. Типология методов формирования множества альтернатив
- §3. Методы активизации творческого мышления
- §4. Классификационные методы
- Тема 2.3. Методы прогнозирования
- §1. Прогнозирование: понятийная база, типологии прогнозов
- Понятийная база прогностики (что за уровень заголовка?)
- Типология прогнозов
- §2. Фактографические методы прогнозирования
- §3. Экспертные методы прогнозирования
- Аналитические методы прогнозирования
- §4. Место прогнозирования в принятии решений
- Раздел 3. Методы, применяемые на стадии выбора, реализации и контроля реализации альтернатив Тема 3.1. Методы выбора альтернатив
- §1. Методы выбора альтернатив в условиях определенности
- Выбор в условиях определенности при одной, нейтральных или дополнительных целях
- Выбор в условиях определенности в случае множественности конкурирующих целей
- Метод «стоимость — эффективность»
- Метод «затраты — прибыль» («стоимость — выгода»)
- §2. Методы выбора альтернатив в условиях неопределенности и риска
- Метод платежной матрицы (правило Байеса)
- Правило модального значения (аксиома рациональности)
- Метод максимина, минимакса, максимакса и правило Гурвича
- Метод матрицы сожалений, правило Лапласа и правило Крелле
- §3. Экспертные методы выбора альтернатив
- Организация работы экспертов
- Методы получения качественных экспертных оценок
- М Литвак б. Г. Разработка управленческого решения.— м.: Дело, 2001.Етоды получения количественных экспертных оценок
- Оценка согласованности мнений экспертов
- §4. Выбор альтернатив в моделях теории игр
- «Дилемма заключенного»
- Долларовый аукцион
- Модель теории очередей
- Тема 3.2. Методы реализации управленческого решения и оценки результата
- § 1. Методы и технологии планирования, согласования и утверждения решений Планирование
- Согласование и утверждение решения
- §2. Методы и технологии контроля реализации управленческого решения Сущность и виды контроля
- Основные шаги технологии контроля
- Контроллинг: понятие и технология
- Статистические методы контроля в современном менеджменте
- §3.Технологии и методы оценки эффективности решения Понятия и технологии оценки эффективности
- «Целевая» эффективность и технология ее оценки
- Целевая эффективность государственных решений
- Заключение