9.4. Основы теории принятия решений Основные понятия теории измерений при формировании решений

Измерение определяется как процедура сравнения объектов по определенным показателям (признакам). В определение включены три понятия: объекты, показатели и процедура сравнения. Для формального описания множества объектов и отношений между ними при фиксированных показателях сравнения вводится понятие «эмпирические системы» с отношениями, т.е. M=O, R, где, О = – множество объектов, - множество отношений между объектами. Запись означает, что объекты _i и О_j находятся между собой в отношении R_k, такое отношение называется двухмерным (бинарным) поскольку оно связывает два объекта, если три – трехмерным.

Принято три класса отношений между объектами: эквивалентности, строгого порядка и квазипорядка.

Эквивалентность означает неразличимость объектов по принятым показателям (для обозначения принят специальный символ , например, если О_i и O_j, эквивалентны, то записывают в виде Оi  Оj).

Д ля обозначения отношения строгого порядка используется символ , например, если О_i предпочтительнее O_j, то записывают, O_i O_j.

Д ля обозначения квазипорядка используется символ . Например, если O_i O_j, это значит, что объект O_i «не хуже» O_j.

Разнообразие возможных объектов, показателей сравнения и видов отношений, встречающихся в реальных измерениях, привело к необходимости установления универсальной системы с отношениями. В качестве такой системы используется числовая система с отношениями H= N,S ,где N- множество действительных чисел, S = (S₁,S₂…S_m)- множество отношений между числами.

Отношению эквивалентов между объектами соответствует отношение равенства между числами. Отношению порядка между объектами соответствует отношение неравенства между числами.

Числовая система используется для унификации процесса измерения. Измерение заключается в отображении объектов эмпирической системы на множество чисел таким образом, чтобы отношение между числами, отображающими объекты, сохраняли отношение между самими объектами. Для того, чтобы числовая система сохранила свойства и отношения объектов, необходимо, чтобы она была изоморфной или гомоморфной эмперической системе. Числовая система изоморфна эмпирической системе, если они подобны и между ними существует взаимно-однозначное отображение (функция f- объектов на множество чисел) такое, что отношение f_k между объектами имеет место тогда и только тогда, когда имеет место отношение S_k между числами, отображающими объекты на числовой оси. Подобие двух систем с отношениями означает, что количество отношений и их мерность в обеих системах одинаково.

Условие взаимной однозначности отображения f является в ряде случаев слишком жестким и не всегда необходимым. Если устранить это условие из предыдущего определения изоморфизма, то будем иметь дело с понятием гомоморфизма.

Основными проблемами теории измерений являются проблемы представления и единственности. Проблема представления заключается в доказательстве того, что для эмпирической системы, выбранной с целью измерения определенных свойств объектов можно построить изоморфную или гомоморфную числовую систему, описывающую свойства объектов и отношений между ними с помощью чисел.

Проблема единственности заключается в определении всех возможных способов представления заданной эмпирической системы различными числовыми системами и как связаны между собой эти числовые системы.

Проблему единственности можно сформулировать как проблему определения типа шкалы. Шкалой называется совокупность эмпирической систем, числовой системы и отображения, т.е. Ш= М,H,f . Пусть Ш₁=M,H,f и Ш₂=М,H,g, две шкалы, различающиеся отображениями f и g; тогда возникает вопрос о взаимосвязи числовых значений, полученных этими изображениями одного и того же объекта. Например r_i=f(O_i), z_i=g(O_i). Связь между числами r_i и r_i запишем с помощью функции Y: (r_i) = Y(r_i) или f(O_i) = Y g(O_i). Функция Y называется допустимым преобразованием шкалы. Эта функция устанавливает связи между всеми числовыми системами, выбираемыми для описания одной и той же эмпирической системы.

Свойства функции Y определяют тип шкалы и, следовательно, позволяют произвести научно обоснованную классификацию шкал измерения.

Единственность описания эмпирической системы числовыми системами выражается в свойствах допустимого преобразования шкалы, т.е. в свойствах функции Y.

OR

HS HS

f (O_i) = Y g (O_i)

Рис. 8. Схема отображения объектов эмпирической системы на числовую систему

На рисунке 8 схематически показано отображение объектов эмпирической системы на числовую систему с помощью разных функций f и g. Связь между разными числами f (O_i) и g (O_i), описывающими один и тот же объект, определяется допустимым преобразованием Y.

В практике измерений наиболее часто используются шкалы следующих типов: шкала наименований, порядковая шкала, шкала интервалов, шкала отношений, шкала разностей, абсолютная шкала. Кратко остановимся на каждом типе.

Шкала наименований используется для описания принадлежности объектов к определенным классам. Всем объектам одного и того же класса присваивается одно и то же число, а объектам разных классов разные числа. В связи с этим шкала наименований часто называется шкалой классификации. Шкала используется на практике при составлении классификации. Шкала сохраняет отношения эквивалентности и различия между объектами. Широко используется на практике при составлении классификаторов АСУ и т.д. Существует большое число вариантов присвоения чисел классам эквивалентных объектов. В связи с этим понятие единственности отображения состоит для шкалы во взаимооднозначности допустимого преобразования Y. Это означает, что если имеются два варианта приписывания классам числовых значений, то они должны быть связаны между собой взаимооднозначно, что позволяет установить связь между числовыми вариантами описания классов эквивалентности. Таким образом, шкала наименований единственна с точностью до взаимооднозначного преобразования.

Шкала порядка применятся для измерения упорядочения объектов по одному или совокупности признаков (например, шкала твердости минералов). Шкала порядка широко используется при экспертном оценивании для упорядочения объектов. Для порядковой шкалы допустимое преобразование Y.

является любым монотонным преобразованием. Следовательно, шкала порядка единственна с точностью до монотонного преобразования. Числа в шкале определяют порядок следования объектов и не дают возможности сказать, на сколько или во сколько раз один объект предпочтительнее другого.

Шкала интервалов применяется для отображения величин различия между свойствами объектов. Примером использования этой шкалы является измерение температуры. При экспертном оценивании шкала интервалов применяется для оценки полезности объектов. Основным свойством шкалы интервалов является равенство интервалов. Интервальная шкала может иметь произвольные точки отсчета и масштаб. Допустим преобразованием Y для шкалы интервалов является линейное преобразование I (x) = ax+b. Следовательно, шкала интервалов единственна с точностью до линейного преобразования. В этой шкале отношение разности чисел в двух числовых системах определяется масштабом измерения.

Шкала отношений используется, например, для измерения массы, длин, веса, цены. В этой шкале числа отражают отношения свойств объектов, т.е. во сколько раз свойство одного объекта превосходят это же свойство другого объекта. Допустимым преобразованием шкалы является преобразование подобия: Y(x)=ax. Отсюда следует, что шкала отношений является частным случаем шкалы интервалов при выборе нулевой точки отсчета b = 0.

Шкала разностей используется для измерения свойств объектов при необходимости выражения на сколько один объект превосходит другой по одному или нескольким признакам. Эта шкала является частным случаем шкалы интервалов при выборе единичного масштаба. Следовательно. Допустимое преобразование для шкалы разностей есть преобразование сдвига Y(x) = x+b.

Абсолютная шкала является частным случаем шкалы интервалов. В этой шкале принимается нулевая точка отсчета и единичный масштаб. Допустимым преобразованием для абсолютной шкалы является тождественное преобразование, т.е. I(x)=X. Это значит, что существует одно отображение объектов в числовую систему. Отсюда и следует название шкалы, так как для нее единственность отображения понимается в буквальном, абсолютном смысле. Абсолютная шкала применяется, например, для измерения количества объектов (предметов, событий, решений и т.п.). Количество объектов измеряется единственным образом с помощью натуральных чисел 1,2,…….,n.

Основные приемы измерений

При формировании решений эксперты производят оценку предпочтений, т.е. по существу производит объективные и субъективные измерения. Для осуществления субъективных измерений применяются различные методы, к наиболее употребительным из которых относятся: ранжирование, парное сравнение, непосредственная оценка и последовательное сравнение.

При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых объектов О₁, О₂, ..., О_m и сформулирован один или конечная совокупность показателей (признаков) сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, и методы измерения будут различаться лишь процедурой сравнения объектов. Эта процедура включает построение отношений между объектами эмпирической системы, выбор отображающей функции и определение типа шкалы измерений. Рассмотрим все эти вопросы для каждого метода измерения.

Ранжирование представляет собой процедуру упорядочения объектов, выполняемую ЛПР или экспертом. На основе своих знаний и опыта ЛПР или эксперт располагает объекты в порядке предпочтения, руководствуясь одним идя несколькими показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов. Рассмотрим эти варианты.

Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность

O₁ O₂ O₃ ... O_m, (4)

где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д.

Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полные строгий порядок (или серию). Для этого порядка показательно существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства. Это означает, что упорядочение объектов (4) соответствует упорядочение чисел

f(O₁) > f(O₂) > ... > f(O_m) (5)

или обратное упорядочение

f(O₁) < f(O₂) < ... < f(O_m) (6)

Соответствие последовательностей (4) и (5) можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Но таким свойством допустимого преобразования обладает шкала порядков. Поэтому ранжирование объектов есть измерение в порядковой шкале.

В практике ранжирования чаще всего применяется числовое представление последовательности (1) в виде натуральных чисел

r₁ = f(O₁) = 1, r₂ = f(O₂) = 2, ..., r_m = f(O_m) = m (7)

Числа r₁, r₂, ..., r_m называются рангами. Наиболее предпочтительному объекту присваивается первый ранг, второму - второй ранг и т.д.

Пусть теперь среди объектов могут быть и эквивалентные. Это означает, что кроме отношения строгого порядка между объектами возможно отношение эквивалентности. Упорядочение объектов может иметь, например, следующий вид

O₁ O₂ O₃  O₄  O₅ O₆ ... O_m-1  O_m (8)

В этом упорядочении объекты О₃, O₄ и О₅ эквивалентны между собой, а О_m-1 и O_m – между собой. Упорядочение (8) образует квазисерию. Для отношения квазисерии доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для квазисерии связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются как отношения строгого порядка, так и эквивалентности числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтению – ранг, равный двум и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднему арифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для примера упорядочения (8) при m = 10 ранги объектов О₃, О₄, О₅ будут одинаковыми и равными r₃ = г₄ = г₅ = (3+4+5) / 3 = 4. В этом же примере ранги объектов О₉ и О₁₀ также одинаковы и равны среднему арифметическому r₉ = r₁₀ = (9+10) / 2 = 9,5. Как следует из этого примера, связанные ранги могут оказаться дробными числами.

Удобство использования связанных рангов заключается в том, что сумма рангов m объектов равна сумме натуральных чисел от единицы до m. При этом любые комбинации связанных рангов не изменяют эту сумму. Это обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке.

При групповом ранжировании каждый s-й эксперт присваивает каждому i-му объекту ранг r_is. В результате проведения экспертизы получается матрица рангов ||r|| размерности m  d, где d – число экспертов, m – число объектов (i = 1, 2, ..., m; s = 1,2, ..., d). Удобно представить результаты группового экспертного ранжирования в виде табл. 6.

Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько и во сколько раз предпочтительнее один объект по сравнению с другим. Если, например, ранг объекта равен трем, то отсюда не следует делать вывод о том, что объект, имеющий ранг, равный единице, в три раза предпочтительнее, чем объект имеющий ранг, равный трем.

Достоинством ранжирования, как метода субъективного измерения, является простота осуществления процедур, не требующая какого-либо трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов большем 15-20 эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов, т.е. значительно быстрее. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничивается психологическими возможностями людей. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Таблица 6

Парное сравнение представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов представляет собой значительно более простую задачу. При сравнении пары объектов возможно либо отношение строгого порядка, либо дополнительно к, нему отношение эквивалентности. Отсюда следует, что парное сравнение, так же как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов О_i, О_j эксперт упорядочивает эту пару, высказывая, что либо O_i > О_j, либо О_i < О_j, либо О_i  О_j. Выбор числового представления f(О_i) естественно произвести так: если O_i > О_j, то f (O_i) > f (О_j); если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. f(O_i) < f(O_j). Наконец, если объекты эквивалентны, то естественно положить, что f(O_i) = f(O_j).

В практике парного сравнения используются следующие числовые представления:

1) Если O_i > О_j, то f(О_i) = 2, f(О_j) = 0;

если О_i  О_j, то f(О_i) = f(О_j) = 1 (9)

2) Если O_i > О_j, то f(О_i) = 1, f(О_j) = -1;

если О_i  О_j, то f(О_i) = f(О_j) = 0 (10)

При использовании отношения квазипорядка применяется следующее числовое представление

Если O_i > О_j, то f(О_i) = 1, f(О_j) = 0; (11)

Результаты сравнения экспертом всех пар удобно представить в виде таблицы, столбцы и строки которой составляют объекты, а в ячейках таблицы проставляются числовые предпочтения. Для представления (4) таблица аналогична таблицам спортивных игр, например, футбола, хоккея и т.п. В табл. 7 приведен пример отображения результатов парного сравнения пяти объектов при использовании представления (9). По диагонали таблицы проставлены единицы вследствие того, что каждый объект эквивалентен самому себе.

Из табл. 7 следует, например, что объект О₁ предпочтительнее объектов О₂, О₃, О₅ и эквивалентен объекту О₄. При групповом экспертном оценивании каждый эксперт представляет результаты парного сравнения в виде таблицы.

Таблица 7

Сравнение объектов во всех возможных парах не дает полного упорядочения объектов. Поэтому возникает задача ранжировки объектов по результатам их парного сравнения. Решение этой задачи возможно при определенных условиях и будет рассмотрено далее.

При числовом представлении (11) таблица парных сравнений состоит из булевых переменных 0 и 1. В табл. 8 в качестве примера приведены числовые представления в форме (11), соответствующие результатам парного сравнения, приведенным в табл. 7.

Заметим, что результаты ранжировки всегда можно представить в виде матрицы парных сравнений. Такое представление удобно для проведения обработки результатов группового ранжирования.

Непосредственная оценка представляет собой процедуры приписывания объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси.

Таблица 8

Естественно потребовать, чтобы эквивалентным объектам приписывались одинаковые числа. Удобно результат приписывания объектам чисел представить графически. На рис. 9 качестве примера приведено такое представление для пяти объектов и отрезок числовой оси [0, 1]. Поскольку за начало отсчета выбрана нулевая точка, то в данном примере измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси. Из рисунка следует, что числовые представления объектов равны: (О₁) =0,28; (О₂) = (О₅) = 0,75; (О₃) = 0,2; (О₄) = 0,5.

Измерения в шкале интервалов могут быть осуществлены с достаточной точностью при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, для каждого из которых приписывается свой балл. Эксперт, приписывая объекту балл, осуществляет это с точностью до попадания линии от объекта на отрезок числовой оси. Применяются 5-, 10-, и 100-балльные шкалы.

Рис. 9. Схема представления объектов на числовой оси.

Последовательное сравнение представляет собой комплексную процедуру измерения, включающую как ранжирование, так и непосредственную оценку. При последовательном сравнении эксперт выполняет следующие операции:

а) осуществляет ранжирование объектов;

б) производит непосредственную оценку объектов на отрезке [0,1], полагая, что числовая оценка первого в ранжировке объекта равна единице, т.е. f(О₁) = 1;

в) решает, будет ли первый объект превосходить по предпочтительности все остальные объекты, вместе взятые. Если да, то эксперт увеличивает значение числовой оценки первого объекта, так чтобы она стала больше суммы числовых оценок остальных объектов, т.е. f(О₁) > f₁(О_i). В противном случае изменяет величину f(O₁) так, чтобы она стала меньше, чем сумма оценок остальных объектов;

г) решает, будет ли второй объект предпочтительнее, чем все последующие вместе взятые объекты и изменяет f(О₂) так же, как это записано для f(О₁) в пункте в);

д) продолжает операцию сравнения предпочтительности последующих объектов и изменяет числовые оценки этих объектов в зависимости от своего решения о предпочтении.

Кроме описанной процедуры последовательного сравнения, существуют несколько ее модификаций, которые незначительно отличаются от рассмотренной выше.

Рассмотренные четыре метода измерения – ранжирование, парное сравнение, непосредственная оценка и последовательное сравнение – обладают различными качествами, но приводят к близким результатам. Экспериментальная сравнительная оценка этих методов показала, что в ряде случаев наиболее эффективным является комплексное применение всех методов для решения одной и той же задачи. При этом следует учитывать, что наиболее простым методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким для экспертов – метод последовательного сравнения. Метод парного сравнения без дополнительной обработки и выполнения ряда условий не дает полного упорядочения объектов.

Метод экспертных оценок

Для получения и обработки информации в задачах принятия решений широко применяется метод экспертных оценок. Сущность метода заключается в опросе и обработке мнений группы экспертов-специалистов по решаемой проблеме. В процессе опроса эксперты производят субъективные измерения, используя изложенные в предыдущем параграфе методы. Полученное в результате обработки обобщенное мне­ние экспертов является вариантом решения проблемы, представляемым на утверждение ЛПР. Метод экспертных оценок рационально сочетает процесс интуитивно-логического анализа проблемы экспертами с количественными и качественными методами обработки, как для представления результа­тов решения, так и для управления самим процессом анализа. Сочетание суждений человека с количественными методами позволяет повысить эффективность решения проблемы.

Все множество проблем можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется необходимый информационный потенциал в виде знаний и опыта. Ко второму классу относятся проблемы, для решения которых существующий информационный потенциал очень мал. Применение метода экспертных оценок для решения проблем первого класса основывается на гипотезе, которая утверждает, что эксперт является хранилищем большого объема хорошо обработанной информации, и поэтому он может рассматриваться как качественный источник информации, своего рода измеритель информации. Хорошая точность измерения каждым экспертом приводит к тому, что обобщенное мнение группы экспертов близко к истинному. Отсюда непосредственно следует, что для обработки результатов экспертизы проблем первого класса можно с успехом применять методы осреднения. В отношении проблем второго класса эксперты, вообще говоря, уже не могут рассматриваться как достаточно точные измерители. Мнение одного эксперта может оказаться правильным, хотя оно сильно отличается от мнения всех остальных экспертов. Обработка результатов экспертизы при решении проблем второго класса не может основываться на методах осреднения.

В соответствии с концепцией о роли экспертов в задаче принятия решения можно выделить два основных момента, решаемых при экспертизе:

1. Формирование (построение) объектов. Построение гипотетически возможных ситуаций, формирование множества целей и ограничений, формирование множества решений, выделение признаков и т.п.

2. Оценка (измерение) объектов. Измерение субъективных вероятностей возникновения ситуаций, оценка предпочтений, измерение важности целей и значений признаков и т.п.

3. Формирование объектов и их оценка. В этом случае осуществляется последовательное выполнение первого и второго типа задач.

При рассмотрении метода экспертных оценок можно выделить следующие основные проблемы:

– организация экспертного оценивания;

– подбор экспертов;

– проведение опроса;

– обработка результатов опроса.

Рассмотрим последовательно эти проблемы, причем вопросы организации будем включать в подбор экспертов, про ведение опроса и обработку результатов.

Подбор экспертов

Для проведения экспертизы группой управления формируется группа экспертов. Процедура подбора экспертов с организационной точки зрения представляет собой последовательность следующих мероприятий:

– постановка проблемы;

– определение круга областей деятельности, связанных с проблемой;

– определение потребного количества экспертов в группе;

– определение процентного состава экспертов из каждой области деятельности;

– составление предварительного списка экспертов;

– анализ качеств экспертов и уточнение списка экспертов,

– получение согласия экспертов на участие в работе,

– составление окончательного списка экспертов.

Общее количество и процентный состав различных специалистов в группе экспертов определяются на основе учета следующих факторов:

– широта решаемой проблемы;

– достоверность оценок;

– затрата ресурсов.

Широта решаемой проблемы определяет необходимость привлечения к экспертизе специалистов различного профиля. Следовательно, минимальное число экспертов определяется количеством различных аспектов, направлений, которые необходимо учесть при решении проблемы.

Достоверность оценок группы экспертов зависит от качеств отдельных экспертов и количества членов. Если предположить, что эксперты являются достаточно точными измерителями, то с увеличением числа экспертов достоверность экспертизы всей группой возрастает.

Затраты ресурсов на проведение экспертизы пропорциональным количеству экспертов. С увеличением числа экспертов увеличиваются временные и финансовые затраты, связанные с формированием группы, проведением опроса и обработкой его результатов. Таким образом, повышение достоверности экспертизы связано с увеличением затрат. Располагаемые финансовые ресурсы ограничивают максимальное число экспертов в группе. Оценка числа экспертов снизу и сверху позволяет определить границы общего количества экспертов в группе. Определение оптимального количества экспертов в группе и процентного состава специалистов представляет собой сложную и в настоящее время окончательно не решенную задачу. Поэтому на практике определяют лишь допустимое количество экспертов в группа.

Качественные характеристики группы экспертов определяются по их основным характеристикам: компетентность, креативность, отношение к экспертизе, конструктивность мышления, свойство коллективизма, самокритичность, кон-фортизм, аналитичность и широта мышления.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик имеются попытки ввести количественные оценки.

Компетентность – степень квалификации эксперта в определенной области знаний. Компетентность может быть определена на основе анализа плодотворной деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, понимания проблем и перспектив развития.

Для количественной оценки степени компетентности используется коэффициент компетентности, представляющий собой весовой коэффициент, с учетом которого взвешивается мнение эксперта. Существует два подхода для определения коэффициента компетентности, по априорным данным, по апостериорным данным.

При использовании априорного подхода оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспертов. При использовании апостериорного подхода оценка коэффициента компетентности производится на основе обработки результатов экспертизы.

В типовой методике программного прогнозирования развития науки и техники для практики составления научно-технических прогнозов предлагается определять коэффициент компетентности по формуле

К = 1/2 (К_И+ К_А), 0  К 1 (12)

где К_И – коэффициент информативности по решаемой проблеме, получаемый на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1; К_А – коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл. 9). Эта таблица накладывается на аналогичный бланк, заполненный экспертом. Эксперт на бланке отмечает только соответствие источника степени оценки. Бланк таблицы дается без цифр. Эксперт отмечает (крестом), какой источник он оценивает по градациям В, С, Н. После наложения бланка на табл. 9, под считывается сумма баллов по всем отмеченным источникам аргументации. При этом если К_А = 1,0, то степень влияния всех источников высокая; вели К_А = 0,8, то средняя; если К_А = 0,5, то считается низкая степень аргументации.

Таблица 9

Креативность – это способность решать творческие задачи. В настоящее время кроме качественных суждений, основанных на изучении деятельности эксперта, нет каких-либо предложение по оценке этой характеристики.

Отношение к экспертизе является очень важной характеристикой качества эксперта при решении данной проблемы. Негативное или пассивное отношение специалиста к процедуре решения проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций.

Конфортизм – это подверженность влиянию авторитетов Свойство конформизма проявляется в виде неустойчивости собственного мнения. Особенно сильно конформизм может проявиться при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов может подавлять мнение лип, обладающих высокой степенью конформизма.

Конструктивность мышления – это прагматический аспект мышления. Эксперт должен давать решения, обладающие свойством практичности. Учет возможностей решения проблемы очень важен при проведении экспертного оценивания.

Свойство коллективизма должен учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени компетентности, а также при принятии решения по рассматриваемой проблеме.

Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на успешность экспертизы. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, как правило, имеют место противоречия, выражающиеся в том, что часть характеристик эксперта оценивается положительно, а часть – отрицательно. Возникает проблема согласования характеристик и выбора экспертов с учетом противоречивости их качеств.

Опрос экспертов

Проведение опроса экспертов требует решения ряда организационных и методических вопросов. К таким вопросам относятся:

– место и время проведения опроса;

– количество и время проведения туров опроса;

– форма и методика проведения опроса;

– необходимая документация;

– порядок фиксации и сбора результатов опроса.

Перечисленные организационные и методические вопросы решаются группой управления экспертизой.

Опрос экспертов представляет собой процедуру заслушивания и фиксации в качественной и количественной форме суждений экспертов по решаемой проблеме. С методической точки зрения при организации опроса важны вопросы выбора формы, последовательности элементарных процедур проведения и метода субъективных измерений.

Выбор формы опроса определяется требуемой достоверностью результатов, располагаемым временем проведения эксперимента, стоимостью и допустимой степенью конформизма. Опрос экспертов может осуществляться в следующих трех формах: дискуссия, анкетирование, смешанная форма.

Дискуссия – это открытое коллективное обсуждение группой экспертов решаемой проблемы. При дискуссии уменьшается время и стоимость опроса, но возрастает роль конформизма. Процедура проведения дискуссии может иметь примерно следующую последовательность:

– постановка проблемы:

– формулировка цели опроса и требований к экспертам;

– определение процедуры высказываний (регламент времени, способы фиксации высказываний и формирование обобщенных точек зрения, возможность проведения повторной дискуссии, дополнительные указания);

– выбор ведущего и интервьюеров;

– определение формы и сроков опроса экспертов после дискуссии.

Для планирования хода дискуссии необходимо прогнозировать возможные альтернативные варианты хода дискуссии и подготовить необходимые управляющие воздействия с целью направления дискуссии в нужное русло. Опрос экспертов после дискуссии преследует цель – использовать эффект последействия. Эксперименты свидетельствуют, что наиболее ценные предложения формулируются экспертами не в ходе самой дискуссии, а примерно через сутки после ее проведения. В связи с этим очень важно объявить экспертам, что через сутки они должны либо подтвердить свои высказывания и оценки, либо, если они изменились, сформулировать новое мнение.

Анкетирование может осуществляться в письменной или в устной форма. В последнем случае аннотирование носит название интервьюирования. Общей особенностью для анкетирования является предварительно разработанная система вопросов – анкета. Анкета в случае интервьюирования не представляется эксперту в виде некоторого документа, а последовательность вопросов задается интервьюером в устной форме.

При опроса в форме анкетирования увеличивается время и стоимость эксперименте, но уменьшается степень конформизма.

Анкеты подразделяются на пробные, основные и дополнительные. Пробные анкеты необходимы для предварительной обработки вопросов. Дополнительные анкеты используются для создания обратной связи с целью уточнения и согласования мнений экспертов Разработка анкеты включает решение следующих проблем:

– выбор типов вопросов;

– выбор количества вопросов;

– формулировку вопросов;

– определение необходимой для экспертов информации;

– определение содержания и формы обращения к экспертам;

– разработку формы анкеты.

Типы вопросов бывают открытые, закрытые и с веером ответов Открытый вопрос – это вопрос, ответ на который может быть сделан в произвольной форме. Закрытый вопрос предполагает всего три типа ответов: «да», «нет», «не знаю» Вопрос с веером ответов предполагает выбор экспертом одного из определенного конечного числа сформулированных заранее ответов.

Смешанная форма опроса экспертов может применяться: в случае большой неясности проблемы и, как следствие, невозможности четкой формулировки вопросов, в случае существенных разногласий в мнениях, а также для получения предварительных мнений. Для первого случая целесообразно использовать сочетание дискуссии с последующим анкетированием. Для второго и третьего случаев, наоборот, сначала проводится анкетирование, а затем дискуссия.

Качество экспертной оценки существенно зависит от степени детализации описания оцениваемых объектов. При формулировке вопросов и разработке формы анкеты необходимо иметь в виду, что большую роль играет четкость и ясность постановки вопроса и последовательность их расположения. Для проверки однозначного понимания вопросов следует проводить испытания анкет с последующей корректировкой формулировок вопросов.

Обработка результатов опроса

После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информация, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

Как отмечалось, все множество проблем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т.е. необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения измерения, близких к истинным. Каждый эксперт высказывает суждение, которое незначительно отклоняется от истинного, вследствие наличия субъективного мнения. Для группы экспертов суждения концентрируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

Ко второму классу относятся проблемы, для решения которых еще накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинный. Очевидно, что применение методов осреднения результатов группой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принцип осреднения. а не методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, в дальнейшем будут рассмотрены методы обработки результатов экспертизы для проблем этого касса.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов опроса возникают следующие основные задачи:

– построение обобщенной оценки объектов (групповой оценки) на основе индивидуальных оценок экспертов;

– построение обобщенной оценки на основе парного сравнения объектов каждым экспертам;

– определение относительных весов объекта;

– определение согласованности мнений экспертов;

– определение зависимостей между ранжировками;

– оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использования экспертами метода изменения. Если измерение объектов производилось экспертами методом ранжирования, т.е. использовалась шкала порядков, то групповая оценка объектов определяется как обобщенная ранжировка. Если при измерении объектов использовались количественные шкалы, то задача построения групповой оценки заключается в определении обобщенных количественных оценок по количественным оценкам экспертов. При построении обобщенной оценки объектов учитываются компетентность экспертов и веса различных показателей сравнения объектов.

Как уже отмечалось, измерение объектов путей их парного сравнения является значительно более простой процедурой, чем оценка всей совокупности объектов, например, ранжирование, особенно для большого числа объектов. В связи с этим возникает задача построения обобщенной оценки объектов на основе результатов их парных сравнений каждым экспертом. Решение этой задачи упрощает работу экспертов, но увеличивает трудоемкость обработки результатов оценивания.

При решении многих задач недостаточно осуществить упорядочение объектов по одному или по группе показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определить степень предпочтительности одного объекта перед другим.

Для решения этой задачи можно сразу применить метод непосредственной оценки. Однако эту задачу при определенных условиях можно решить путем обработки ранжировок или парных сравнений группы экспертов.

Определение согласованности мнении экспертов производится путей вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т.п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировки по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами – средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства о точки зрения достижения целей, позволяет обоснованно ответить на вопрос – в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их достоверности (надежности). Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудозатратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ.

Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания. При организации обработки результатов опроса следует тщательно проанализировать трудоемкость решения задач с учетом разработки математического обеспечения для ЭВМ.

Оценка согласованности экспертов.

При ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим, возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений и определить возможность отнесения решаемой проблемы к проблемам первого класса, т.е. проблемам с достаточным информационным потенциалом.

В настоящее время известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации (коэффициенты согласия).

Дисперсионный коэффициент конкордации. Рассмотрим матрицу результатов ранжировки m объектов группой из d экспертов ||r_is|| (s = 1, ..., d; i = 1, ..., m), где r_is – ранг, присваиваемый s-м экспертом i-му объекту. Составим суммы рангов по каждой строке. В результате получим вектор с компонентами

(13)

Будем рассматривать величины г₁ как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой (14):

, (14)

где – оценка математического ожидания, равна

. (15)

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (14) к максимальному значению этой оценки

W = D / D_max (16)

Коэффициент конкордации изменяется от нуля до единицы, поскольку 0  D  D_max.

Максимальное значение дисперсии равно

(17)

Введем обозначение

(18)

Используя (18) запишем дисперсии (14) в виде

D = 1 / (m – 1)  S (19)

Подставляется (17) и (19) в (16) и сокращая на множитель (m - 1), запишем окончательное выражение для коэффициента конкордации

W = 12 / d² (m³ - m)  S (20)

Данная формула определяет коэффициент конкордации для случая отсутсвия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе формулы (16) становится меньше, чем при отсутствии связанных рангов. Можно показать, что при наличии связанных рангов коэффициент конкордации вычисляется по формуле

(21)

где

(22)

В формуле (22) Ts - показатель связанных рангов в s-й ранжировке, Hs - число групп равных рангов в s - й ранжировке, h_k - число равны рангов в k - й группе связанных рангов при ранжировке s_м экспертом. Если совпадающих рангов нет, то Hs = 0, hk = 0, следовательно, Ts = 0. В этом случае формула (21) совпадает с формулой (20).

Коэффициент конкордации равен 1. если все ранжировки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т.е. совершенно нет совпадения. Коэффициент конкордации, вычисляемый по формулам (20) и (21) является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа экспертов d и количества объектов m. Распределение частот для W при 3  d  20 и 3  m 7 дано в работе (25). Для большинства значений m и d можно использовать известные статистике данные. При числе объектов m > 7 оценка значимости коэффициента конкордации может быть произведена по критерию ². Величина d(m - 1) W имеет W_2 распределение с  = (m - 1) степенями свободы.

При наличии связанных рангов ² распределение с  = (m - 1) степенями свободы имеет величина

(23)

Пример 1. Результаты ранжировнаия шести объектов (m = 6) пятью экспертами (d = 5) представлены в табл. 10. Вычислим коэффициент конкордации и произведем оценку его значимости. Среднее значение r равно

.

Величина, S в соответствии с формулой (14) равна

.

Поскольку в ранжировках имеются связанные ранги, то вычисление коэффициента выполним по формуле (21). Предварительно вычислим величины Т_s, используя формулу (22).

Т₁ = 2³ - 2 = 6; Т₄ = 2³ - 2 + 2³ - 2 = 12;

Т₂ = 3³ - 3=24; Т₅ = 2³ - 2 = 6.

Т₃ = 2³ - 2 + 2³ - 2 = 12;

Таблица 10

Представляя значения Т_s, S и m = 6, d = 5 в формулу (21) и производя вычисления, получаем

W = 12  361 / (5² - 6) - 5  60) = 0.874.

Оценим значимость коэффициентов конкордации. В данном случае число степеней свободы  = 5. Табличное значение ² для  = 5 и 5% уровня значимости ² табл. = 11,07. Подставляя значения величины в формулу (23), получаем

.

Поскольку 11,07 < 21,8, то гипотеза о согласии экспертов в ранжировках принимается.

Энтропийный коэффициент конкордации определяется формулой (24):

W_Э = 1 - H / H_max , (24)

где Н – энтропия, вычисляемая по формуле

, (25)

а Н_max – максимальное значение энтропии. В формуле для энтропии Р_is – оценки вероятностей s-го ранга, присваиваемого; i-му объекту. Эти оценки вероятностей вычисляются в виде отношения количества экспертов, приписавших объекту О_i ранг s к общему числу экспертов d

P_is = d_is / d (26)

Максимальное значение энтропии достигается при равновероятном распределении рангов, т.е. когда d_is = d / m. Тогда

P_is = d / dm = 1 / m (27)

Подставляя это соотношение в формулу (25), получаем

(28)

Коэффициент согласия изменяется от нуля до единицы. При W_э = 0 расположение объектов по рангам равновероятно, поскольку в этом случае Н ~ Н_max, Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупности показателей, либо полной несогласованностью мнений экспертов. При W_э = 1, что достигается при нулевой энтропии (Н = 0), все эксперты дают одинаковую ранжировку. Действительно, в этом случае для каждого фиксированного объекта О_i все эксперты присваивают ему один и тот же ранг, следовательно Р_is = 1, и Р_ks = 0 (k  s, k = 1, ..., m). Поэтому и Н = 0.

Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности экспертов при близких ранжировках. Однако, если, например, вся группа экспертов разделилась во мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противоположные группы. Объем вычислений для энтропийного коэффициента конкордации несколько больше, чем для дисперсионного коэффициента конкордации.

Групповая оценка объекта

Рассмотрим алгоритм обработки результатов экспертного оценивания множества объектов. Пусть d экспертов произвели оценку m объектов по e показателям. Результаты оценки представлены в виде величины хⁿ_is, где s – номер эксперта, i – номер объекта, n – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины хⁿ_is представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или хⁿ_is методом последовательного сравнения, то величины хⁿ_is представляют собой числа из некоторого отрезка числовой оси или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.

Рассмотрим вариант, когда величины хⁿ_is (x = 1, 2, ..., d; i = 1, ..., m; h = 1, ., е) получены методом непосредственной оценки или последовательного сравнения, т.е. являются числами или баллами. Для получения групповой оценки объектов в этом случае можно воспользоваться средним значением оценки для каждого объекта

(29)

где q_n коэффициенты весов показателей сравнения объектов, k_s – коэффициенты компетентности экспертов. Эти коэффициенты являются нормированными величинами

(30)

Коэффициенты весов показателей могут быть определены экспертным путем. Если q_ns – коэффициент веса n-го показателя, присваемый s-м экспертом, то средний коэффициент веса n-го показателя по всем экспертам равны

(31)

Получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности показателей при изменении свойств объектов в количественных шкалах основывается на предположении и выполнении аксиом теории полезности как для индивидуальных, так и групповой оценок и условий неразличимости объектов в групповом отношении, если они неразличимы; во всех индивидуальных оценках. В реальных задачах эти условия как правила выполняются, поэтому получение групповой оценки объектов путем суммирования широко применяется на практике.

Коэффициенты компетентности экспертов можно вычислить результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентности экспертов имеет вид рекуррентной процедуры

(32)

(33)

(34)

Вычисления начинаются с t = 1. В формуле (32) начальные значения коэффициентов компетентности принимаются одинаковыми и равными k⁰_s = 1 / d. Тогда в формуле (32) групповые оценки объектов первого приближения равны средним арифметическим значениям оценок экспертов.

(35)

Далее вычисляется величина по формуле (33)

(36)

а значения коэффициентов компетентности первого приближения до формуле (34)

(37)

Используя коэффициенты компетентности первого приближения можно повторить весь процесс вычисления по формулам (32), (33), (34) и получить вторые приближения величин х_i², ², k_s².

Пример 2. Три эксперта (d = 3) оценили значение двух мероприятий (m = 2) по решению одной проблемы (е = 1), приведя нормирование опенки х₁₃ + х₂₃ = 1 мероприятий, представленные в таблице (11).

Таблица 11

Проведем вычисление групповых оценок мероприятий и коэффициентов компетентности экспертов по формулам (32), (33), (34). Средние оценки объектов первого приближения по формуле (32) при t = 1 равны

х₁' = 1/3 (0,3 + 0,5 + 0,2) = 0,335

х₁' = 1/3 (0,7 + 0,5 + 0,8) = 0,665

Вычислим величину ' по формуле (37).

' = 1  0,335 + 2  0,665 = 1,665

Вычисляем коэффициенты компетентности первого приближения по формуле (30):

k₁¹ = (1 / 1,665)  (0,3  0,335 + 0,7  0,665) = 0,34

k₁¹ = (1 / 1,665)  (0,5  0,335 + 0,5  0,665) = 0,30

k₃¹ = (1 / 1,665)  (0,2  0,335 + 0,8  0,665) = 0,36

Вычисляя групповые оценки объектов второго приближения получаем вектор х² = (0,324; 0,676). Величина ² = 1,676. Вектор коэффициентов компетентности второго приближения равен k² = (0,341; 0,291; 0,361). Для третьего приближения получаем х³ = (0,3235; 0,6765), ³ = 1,6765, k³ =(0,341; 0,298; 0,361). Как следует из результатов третьего приближения, вектор коэффициентов компетентности стабилизировался. Поэтому дальнейшие вычисления не дадут существенного уточнения.

Рассмотрим вариант, когда эксперты производят измерения объектов в порядковой шкале методом ранжирования, так что величины х_isⁿ, где i – номер объекта, s – номер эксперта, n – номер показателя сравнения объектов, есть ранги. Задачей обработки является построение обобщенной ранжировки по индивидуальным ранжировкам экспертов. Для простоты рассмотрим вначале случай одного признака сравнения, поэтому индекс n у величины х_isⁿ опустим. Каждую ранжировку, используя отношение квазипорядка и числовое представление

(38)

можно представить, в виде матрицы парных сравнений с булевыми переменными 0,1. Связь переменных J_ik^s с переменными х_is выражается соотношением

(39)

где х_is и х_ks – ранги, присваиваемые s-м экспертом i-му и k-му объектам. Пусть, например, дана ранжировка (один эксперт, т.е. s = 1).

O₁ O₂  O₃ O₄ O₅

Тогда матрица парных сравнений для этой ранжировки изображена в таблице (12).

Если имеется d экспертов, то каждый эксперт дает свою ранжировку, которой соответствует матрица парных сравнений. Таким образом, количество матриц парных сравнений равно числу экспертов.

Введем расстояние — метрику между матрицами парных сравнения, которое вычисляется по формуле

, (s, l = 1, 2, ..., d) (40)

Таблица 12

Смысл этого выражения состоит в том, что расстояние между матрицами парных сравнений определяется числом поразрядных несовпадений всех значений элементов матриц.

Используя эту метрику, определим обобщенную ранжировку как такую матрицу парных сравнений, которая наилучшим образом согласуется с матрицами парных сравнений, получаемыми из ранжировок экспертов. Понятие наилучшего согласования на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая матрица парных сравнений, сумма расстоянии от которой до всех матриц парных сравнений, получаемых от экспертов, является минимальной.

(41)

Средняя ранжировка есть такая матрица парных сравнений, сумма квадратов расстояний от потери до всех матриц парных сравнений, полученных при экспертизе является минимальной

(42)

Покажем, что построение матрицы парных сравнений, соответствующей медианы осуществляется по принципу простого большинства голосов экспертов для каждого элемента матрицы. Модуль равности булевых переменных (41) равен либо единице, либо нулю, поэтому модуль разности равен квадрату этой разности. Следовательно, вместо выражения (41) можно записать:

(43)

Возводя члены в круглой скобке в квадрат и учитывая, что квадрат булевой переменной равен самой переменной, получаем, что элементы обобщенной матрицы парных сравнений определяется но правилу большинства голосов, (т.е. принимается О_i > О_k если больше половины экспертов высказались за это предпочтение).

В рассмотренном алгоритме построения обобщенной матрицы парных сравнений можно учесть компетентность экспертов, путем введения коэффициентов компетентности k, в соотношении (41).

(44)

Выполняя преобразования, получим для случая учета коэффициентов компетентности экспертов следующее правило построения обобщенной матрицы парных сравнений:

(45)

где величины b_ik равны

, (i, k = 1, 2, ..., m) (46)

При наличии нескольких ситуаций эксперты упорядочивают объекты (решения) для каждой ситуации в отдельности. Если известны вероятности ситуации Р₁, Р₂, ..., Р_n, где n – количества ситуаций, то можно построить обобщенною ранжировку, осредненную по всем ситуациям. Введем у элементов матриц парных сравнений индекс J – номер ситуации J_ik^js. В этом случае обобщенная матрица парных сравнений будет определяться из условий

(47)

Выполняя преобразования, получаем следующее правило построения элементов обобщенной матрицы парных сравнений, осредненных с помощью вероятностей по всем ситуациям

(48)

где величины c_ik равны

(49)

В частном случае одинаковой компетентности экспертов k_s опускается.

После получения обобщенной матрицы парных сравнений необходимо построить обобщенную ранжировку. Наиболее простым способом получения ранжировки из матрицы парных сравнений является применение задачи о лидере. Используя рекуррентную процедуру вычисления относительных весов объектов, аналогичную вычислению коэффициентов экспертов

, (i = 1, 2, ..., m; t = 1, 2) (50)

нетрудно определить упорядочение объектов. В этой формуле t – номер шага, i – номер объекта, – коэффициент относительного веса объекта. Сумма коэффициентов относительных весов объектов на каждом шаге равна единице. Для первого шага t = 1 формула имеет вид:

(51)

В соответствии с этой формулой коэффициенты на первом шаге определяются как сумма единиц в i-й строке обобщенной матрицы парных сравнений, поделенная на сумму всех элементов этой матрицы. По величине производится упорядочение объектов. Чем больше , тем предпочтительнее i-й объект. Если по коэффициентам первого приближения получено строгое упорядочение объектов (т.е. нет эквивалентных объектов), то оно не изменится при вычислении последующих приближений.

В частном случае, когда производится ранжировка множества объектов одинаково компетентными экспертами для построения обобщенной ранжировки, можно использовать способ сумм рангов. При этом необходимо, чтобы ранги задавались в виде натуральных чисел (1,2, ..., m). Для каждого объекта вычисляется сумма х_si. По этим суммам производится упорядочение объектов таким образом, что первое место получает объект с наименьшей суммой, а последнее место объект с наибольшей суммой.

(52)

Значение суммы рангов для каждого объекта есть сумма мест, присужденных данному объекту всеми экспертами.

Пример 3. В результате проведения ранжировок четырех объектов пятью экспертами получены упорядочения объектов, представленных в таблице 8.

Таблица 13

	O1	O2	O3	O4
Э1	2	1	4	3
Э2	3	2	4	1
Э3	1	2	3	4
Э4	3	1	2	4
Э5	1	2	4	3

Таблица 14

	O1	O2	O3	O4
О1	1	0	1	1
О2	1	1	1	1
О3	0	0	1	0
О4	0	0	1	1

Таблица 15

	O1	O2	O3	O4
О1	1	0	0	1
О2	1	1	1	1
О3	1	0	1	1
О4	0	0	0	1

Таблица 16

	O1	O2	O3	O4
О1	1	0	1	0
О2	1	1	1	0
О3	0	0	1	0
О4	1	1	1	1

Таблица 17

	O1	O2	O3	O4
О1	1	1	1	1
О2	0	1	1	1
О3	0	0	1	0
О4	0	0	1	1

Таблица 18

	O1	O2	O3	O4
О1	1	1	1	1
О2	0	1	1	1
О3	0	0	1	1
О4	0	0	0	1

Таблица 19

	O1	O2	O3	O4
О1	5	2	4	4
О2	3	5	5	4
О3	1	0	5	2
О4	1	1	3	5

Таблица 20

	O1	O2	O3	O4
О1	1	0	1	1
О2	1	1	1	1
О3	0	0	1	0
О4	0	0	1	1

В матрице, представленной в таблице (19), дана сумма матриц (таблицы 14-19) в соответствии с вычислениями величин a_ik по формуле (26). По формуле (26), что число экспертов d = 5, получаем порог d / 2 = 2,5 и сравниваем все элементы a_ik в последней таблице (19) с порогом 2,5. Если a_ik > 2,5, то проставляем J_ik^ = 0. Результатом сравнения элементов матрицы ||a_ik|| с порогом 2,5 представляем в обобщенной матрице парных сравнений, изображенной в таблице 20.

Для построения обобщенной ранжировки объектов по матрице парных сравнений вычислим коэффициенты весов всех объектов. Для первого приближения t = 1 имеем по формуле (51)

, , , .

По значениям коэффициентов ранжируем объекты

O₂ O₁ O₄ O₃

Вычислим коэффициенты весов для второго приближения t = 2, используя коэффициенты первого приближения.

Упорядочение объектов по этим коэффициентам соответствует упорядочению по коэффициентам первого приближения, т.е. оно не изменилось.

Таким образом, обобщенной ранжировкой четырех объектов по результатам индивидуальных ранжировок экспертов является ранжировка

O₂ O₁ O₄ O₃

Построим теперь обобщенную ранжировку способом сумм рангов. Для этого просуммируем ранги для каждого объекта, используя таблицу (13). В результате получаем

О₁ =10; O₂ = 8; O₃ = 17; O₄ = 15.

Отсюда следует упорядочение объектов О₁ =10; O₂ = 8; O₃ = 17; O₄ = 15, которое совпадает с упорядочением, полученным в предыдущем случае, т.е.

O₂ O₁ O₄ O₃