Подготовка экспертизы

К подготовке экспертизы относятся первые три этапа проведения экспертизы. Большое значение имеет четкое определение цели (целей) экспертизы. Основой для выбора целей экспертизы является описание предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требуют включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам -математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает перечень (множество) оцениваемых событий и устанавливает совокупность устойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экспертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни:

¨ качественное описание всего множества оцениваемых событий;

¨ перечень событий;

¨ описание устойчивых факторов для каждого из событий;

¨ выделение числа различимых уровней для каждого события;

¨ выделение числа различимых уровней для каждого фактора;

¨ описание набора устойчивых значений факторов для каждого уровня событий и т.д.

От уровня детализации в существенной степени зависит достоверность результатов экспертизы, причем с увеличением степени детализации согласованность экспертных оценок, как правило, увеличивается.

Сложной проблемой процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность и широта мышления, самокритичность и др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность — это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКНТ [7.7], в которой компетентность экспертов оценивается коэффициентом компетентности k. Он вычисляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетентности вычисляется по формуле

где k_u - коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1;

k_a — коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл. 7.1).

Таблица 7.1.

Эталонная таблица коэффициентов аргументации

Эксперту дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если k_a = 1,0, то степень влияния всех источников высокая; если k_a = 0,8, то - средняя и, если k_a = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0  k  l.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Например, в работе П.Л. Борисовского и др. [7.2] предложен способ оценки компетентности экспертов, базирующийся на вычислении среднего расстояния в пространстве между признаками товаров, которые оценивались экспертами. Считается, что если это расстояние мало, то эксперт подходит к оценке товара в целом, не различая отдельных сторон товара, и, следовательно, такой эксперт недостаточно компетентен.

Креативность — это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта.

Конформизм -- это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления — это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетентности, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов. На рис. 7.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

На рис. 7.2 приведен график экспериментальных данных, подтверждающих монотонно возрастающую зависимость между достоверностью экспертизы и уровнем групповой самооценки компетентности. На графике по оси абсцисс отмечены три уровня групповой компетентности: высокая (В), средняя (С), низкая (Н).