Методы получения качественных экспертных оценок

Часто специфика экспертного оценивания такова, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей. В этих случаях используется качественная оценка объектов экспертизы.

Анкетирование. Этот метод предполагает, что экспертам предлагают анкету, содержащую открытые, закрытые вопросы. Вопрос называется открытым или свободным, если ответ на него может быть дан в любой форме. Вопрос называется закрытым, если в его формулировке содержатся варианты и альтернатив ответов и эксперт должен остановить свой выбор на одном или нескольких из них.

Основным преимуществом открытых вопросов является то, что с их помощью можно обнаружить новый, совершенно неожиданный для аналитиков аспект проблемы. Основными недостатками являются возможная несопоставимость данных опроса и сложность анализа.

Преимущество закрытых вопросов состоит в том, что они строго и однозначно интерпретируются и требуют меньше времени на обработку. Вместе с тем анкета с закрытыми вопросами таит в себе опасность навязывания эксперту ответов, особенно в тех случаях, когда по тому или иному вопросу он вообще не имеет своего сложившегося мнения или же когда его мнение не совпадает с ответами анкеты.

Метод ранговой корреляции. Расположение альтернатив в порядке возрастания или убывания какого-либо присущего им свойства называется ранжированием.

Нередко рассматриваемые явления имеют различную природу и в связи с этим несоизмеримы. В этих случаях установление их относительной значимости с помощью экспертов и присвоение чисел натурального ряда, определяющих порядок (место) каждого явления в исследуемой совокупности, облегчает выбор наиболее предпочтительной из альтернатив.

Следует иметь в виду, что ранги, присвоенные объектам, не являются числовой мерой изучаемого качества. Ранги представляют собой только символы, указывающие предпочтения одного объекта перед другим.

Экспертная классификация. Этот метод используется тогда, когда необходимо определить принадлежность оцениваемых альтернатив к определенным классам, категориям, уровням.

Эксперту последовательно предъявляются все альтернативы, и он относит их к какому-либо классу. После завершения процедуры эксперту может быть предъявлен результат его оценки в виде распределения всех оцененных им альтернатив по классам. Здесь эксперту предоставляется возможность корректировки.

Метод парных сравнений. При методе парных сравнений эксперту последовательно предъявляются пары альтернативных вариантов, из которых он должен указать предпочтительный. Затем определяется их сравнительная предпочтительность по оценкам данного эксперта.

В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые альтернативы оказываются проранжированными.

Метод векторов предпочтений. Этот метод используется при коллективном экспертном оценивании. Эксперту предъявляется весь набор оцениваемых альтернатив и предлагается для каждого альтернативного варианта указать, сколько, по его мнению, других альтернатив превосходят его.

Эта информация представляется в виде вектора, первая компонента которого — число альтернатив, которые превосходят первый, вторая компонента — число альтернатив, которые превосходят второй и т. д.

Если оценивается 10 альтернативных вариантов, то вектор предпочтений может выглядеть так:

(3, 7, 0, 4, 8, 6, 1, 9, 5, 2).

Если в векторе каждое число встречается только один раз, то ранжирование проведено строго. В противном случае полученный результат отражает затруднение эксперта. При коллективной экспертизе целесообразно рассчитать результирующее коллективное ранжирование, отражающее коллективную точку зрения.