5.5.1. Сущность экспертных методов и организация работ по их использованию при управлении качеством

Как научный способ экспертный метод был разработан сравни­тельно недавно и получил название «Дельфи». В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в об­ласти науки и техники, а затем они стали применяться в других об­ластях, в том числе в управлении качеством. Это связано с большим числом возникающих при этом виде управления противоречий, ко­торые во многих случаях невозможно разрешить объективными ме­тодами. Экспертные методы также используют в случаях:

• невозможности применения моделирования и описания управляемых объектов формализованными математическими способами;

• отсутствия достаточно достоверной информации;

• информационной неопределенности управляемых объектов;

• разработки средне- и долгосрочных прогнозов влияния законов и закономерностей на управление качеством;

  • существования тенденций развития управления качеством и ры­ночной среды;

  • наличия экстремальных ситуаций в управлении качеством.

В таких случаях непереоценимое значение приобретает использо­вание профессионального опыта и сформированной на его основе интуиции специалистов-экспертов.

Экспертный (в том числе и органолептический) метод предпола­гает использование мнений экспертов. Термин «эксперт» определя­ется в дословном переводе с латинского языка как «опытный». Данный метод следует применять, в основном, в тех случаях, когда не­возможно использовать объективные методы.

Сущность экспертных методов как при решении задач управления качеством, так и при использовании их в практике принятия ре­шений в других областях науки, техники и управления заключается в усреднении различными способами мнений (суждений) специа­листов-экспертов по рассматриваемым вопросам. При этом усред­ненная оценка мнений экспертов К в общем виде определяется по следующей формуле:

(24)

где – оценка, данная j-м экспертом; N – количество экспертов.

К разновидностям экспертных методов с определенной долей ус­ловности можно отнести органолептический и социологический.

Органолептический метод основан на использовании чувств (вку­са, слуха, зрения, обоняния, тактильности) эксперта. Этот метод применяется при измерении значений показателей качества, напри­мер, продукции пищевой промышленности.

Социологический метод базируется на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме с помощью анкет или устно (на конференциях, аукционах, выставках, в учебных заведениях и т.п.). При использова­нии этого метода также следует применять научно обоснованные способы опроса, математические принципы сбора и обработки ин­формации.

Основные принципы использования вышеупомянутого метода «Дельфи»:

• осуществление научно обоснованного отбора экспертов, состав которых должен быть относительно стабильным и рациональ­ным по численности;

• составление четко сформулированных и однозначно восприни­маемых анкет, обеспечивающих принятие суждений оценок экспертами преимущественно в количественной форме;

• обеспечение сбора мнений экспертов при опросе экспертов должно проводиться в несколько туров (количество туров долж­но быть достаточным для уточнения вопросов и получения объ­ективных ответов после ознакомления с результатами опроса каждого тура) без прямых дискуссий и дебатов;

• обоснование экспертами после каждого тура своих суждений при расхождении их с мнением большинства;

• период работы экспертов при участии их во всех турах не должен превышать тридцати дней;

• проведение после каждого тура статистической обработки, ана­лиза и обобщения результатов суждений экспертов.

В общем случае метод «Дельфи» направлен на рациональную ор­ганизацию и создание таких условий для работы экспертов, которые бы обеспечивали согласованную оценку экспертной группы путем независимого опроса каждого из экспертов в несколько туров с по­следующим сообщением им результатов предыдущего тура. В даль­нейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки.

Наиболее распространенными экспертными методами при классификации по способу получения экспертных оценок в настоящее время при принятии решений по управлению качеством являются следующие:

• метод рангов (ранжирования);

• метод непосредственного оценивания (балльный);

• метод сопоставлений.

Метод сопоставлений имеет две разновидности:

• парного сравнения;

• последовательного сопоставления.

Все методы имеют много общего, а отличие, в основном, состоит только в том, что оценивание (измерение) изучаемых объектов сис­темного управления осуществляется различными методами. Каждый из методов обладает определенными достоинствами и недостатками.

Общими достоинствами экспертных методов явля­ются быстрота получения результатов без наличия нормативной базы в системе управления, возможность оценивания того или иного объ­екта при невозможности измерить его характеристики количествен­ными объективными методами.

Недостатками экспертных методов являются их субъек­тивность и соответствующие этому возможные погрешности резуль­татов экспертизы, существенные затраты на привлечение опытных экспертов для участия в экспертных работах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

• организацию экспертного оценивания;

• проведение сбора мнений экспертов; -

• обработку результатов мнений экспертов.

Практика показывает, что уменьшение субъективности и соот­ветственно повышение объективности результатов использования экспертных методов существенно зависит от соблюдения правил орга­низации, подготовки и проведения экспертных работ. Кроме того, заметно влияют:

• лицо, ответственное за организацию и проведение работ по экс­пертной оценке;

• состав экспертных комиссий.

Для общего руководства экспертными работами следует назна­чать председателя экспертной комиссии. В составе комиссии органи­зуют две группы: рабочую и экспертную

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие техни­ческие работы по подготовке материалов к работе экспертов, отра­ботку результатов работы экспертов и т. п.

В экспертную группу входят эксперты – специалисты по решае­мым проблемам. Формирование этой группы осуществляет руково­дитель (организатор) рабочей группы. При этом ему следует выпол­нить ряд последовательных мероприятий:

• постановку проблемы и определение области деятельности группы;

• составление предварительного списка, экспертов – специали­стов в рассматриваемой области деятельности;

• анализ качественного состава предварительного списка экспертов и уточнение списка;

• получение согласия эксперта на участие в работе;

• составление окончательного списка экспертной группы.

Число экспертов в экспертной группе зависит от множества фак­торов и условий: в частности от важности решаемой проблемы, рас­полагаемых возможностей и т. п. В большинстве случаев определяет­ся минимально необходимое количество экспертов, что часто стано­вится важнейшим условием установления числа приглашаемых экс­пертов.

Минимальное число экспертов может определяться по следую­щей формуле:

_, (25)

где а – возможная ошибка результатов экспертизы (0 < а < 1).

Подбор конкретных экспертов проводится на основе анализа ка­чества каждого из предлагаемых экспертов. Для этой цели использу­ются разнообразные способы:

• оценка кандидатов в эксперты на основе статистического анали­за результатов прошлой деятельности в качестве экспертов по проблемам управления качеством;

• коллективная оценка кандидата в эксперты как специалиста в данной области;

• самооценка кандидата в эксперты;

• аналитическое определение компетентности кандидатов в экс­перты.

Однако всем этим методам присущи определенные недос­татки, среди которых следует отметить:

• отсутствие единой общепризнанной методики оценки;

• высокая трудоемкость оценки;

• возникновение проблем этического, характера при использова­нии субъективных методов оценки.

Очень часто применяют одновременно несколько способов. Например, способы самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обос­нованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности пред­ставляется более объективным, чем способы самооценок и коллек­тивной оценки.

В общем случае формирование экспертной группы может осуществ­ляться следующим образом:

• выявляется и формулируется проблема;

• определяется цель и область деятельности группы;

• составляется предварительный список экспертов;

• проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);

• уточняется список экспертов;

• получается согласие эксперта на участие в работе экспертной группы;

• определяется окончательный репрезентативный список экспертов. Всех потенциальных экспертов можно классифицировать, в за­висимости от их уровня качества и компетенции, на семь классов (табл. 6).

Выбор числа классов качества экспертов в данном случае обу­словлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для ра­боты в экспертной группе. Для получения достаточно объективных результатов исследования системы управления отбор желательно осуществлять из числа экспертов, относящихся к 1–4–му классам качества. Кандидатов в эксперты более низких классов качества при­влекать к экспертизам нецелесообразно.

Таблица 6

Пример градации уровня качества и компетентности экспертов

Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях следующим тре­бованиям:

• профессиональная компетентность и наличие практического и исследовательского опыта в области управления;

• креативность (умение решать творческие задачи);

• научная интуиция;

• заинтересованность в объективных результатах экспертной ра­боты;

• независимость суждений;

• деловитость (собранность, умение переключаться с одного вида деятельности на другой, коммуникативность, независимость су­ждений, мотивированность действий);

• объективность;

• нонконформизм;

• высокая общая эрудиция.

В настоящее время с развитием сертификационных работ, свя­занных с СМК и продукцией, в рамках различных систем обяза­тельной и добровольной сертификации разработаны и использу­ются специальные комплексы процедур аттестации экспертов.

Проведение сбора мнений экспертов предполагает решение сле­дующих вопросов:

• определение места и времени сбора мнений;

• определение формы и методики сбора мнений;

• определение количества туров сбора мнений;

• определение состава и содержательной части документации;

• определение порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экс­пертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные, т.е. указанные формы различаются прежде всего по фактору участия экс­пертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

• анкетирование;

• интервьюирование;

• дискуссия;

• мозговой штурм;

• совещание;

• деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях эти разновидности используются совместно, что дает нередко больший эффект и объективность. Такой подход к сбору мнений экспертов, т.е. подход, использующий смешанную форму, применяется в случаях некоторой неясности проблемы, при разно­гласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

Вместе с тем, наиболее часто в практике управления качеством используется анкетирование, которое позволяет с меньшими трудоза­тратами экспертов собрать их мнение, но сбор мнений при использо­вании этого вида занимает более продолжительный период времени.

Обычно процесс разработки анкеты включает:

• определение формы и содержания обращения к эксперту;

• выбор типа вопросов;

• формулирование вопросов;

• изложение необходимой для эксперта информации;

• разработку формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали так назы­ваемые веерный, закрытый и открытый типы (веерный – предполага­ет один ответ из представленного заранее в анкете ряда ответов; за­крытый – «да», «нет», «не знаю»; открытый – ответ на вопрос может быть дан в произвольной форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сфор­мулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

Для ответов на вопросы, т. е. для принятия решения каждым экс­пертом, проводятся объективные и/или субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъектив­ном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосред­ственного оценивания, сопоставлений).

В общем случае экспертные работы должны осуществляться в со­ответствии с определенными правилами, которые следует использовать в зависимости от целей проведения этих работ. Среди таких правил необходимо отметить следующие:

• применение системного подхода при проведении экспертных работ;

• обеспечение преемственности использования обратной связи с экспертами; в проведении экспертных работ;

• использование обратной связи с экспертами;

• регулярное привлечение к работе экспертов;

• обеспечение рационального баланса гласности и конфиденци­альности экспертных работ и результатов экспертизы;

• создание условий для персонификации суждений экспертов;

• обеспечение условий для соблюдения экспертами полной неза­висимости при выражении своих суждений;

• создание условий для демократического проведения экспертных работ и ответственности субъектов экспертизы;

• однократность проведения экспертизы.

Метод рангов и непосредственного оценивания

Метод рангов предусматривает ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности), осуществляе­мое экспертом. При этом обычно наиболее предпочтительному объ­екту присваивают ранг 1, а наименее предпочтительному – послед­ний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при мень­шем количестве объектов исследования, и наоборот.

При предпочтительной (по рангам) расстановке объектов экспер­тизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Я, начиная с единицы,

Результирующие ранги объектов ранжирования по данным опро­сов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний – тому, у которого оказа­лась наибольшая сумма рангов, т.е. наименее значимому объекту. (Пример определения результирующего ранга трех объектов семью экспертами приведен в табл. 7)

Таблица 7

Определение результирующего ранга объектов ранжирования

Таким образом, этот метод позволяет определить место исследуе­мого объекта среди других объектов системы управления. Досто­инством метода рангов является его простота.

Недостаткам и являются:

• невозможность с достаточной точностью ранжировать объекты, количество которых превышает 15–20;

• не отвечает на вопрос, как далеко по значимости находятся ис­следуемые объекты друг от друга.

Очень часто требуется после нахождения рангов определить коэффициенты весомости каждого из объектов ранжирования b_1ранг, ко­торые при использовании данного экспертного метода можно рас­считать, в частности, по следующей формуле:

при условии, что сумма всех коэффициентов весомости _b1ранг от 1 до n равна единице, где п – число исследуемых объектов; – ранг иссле­дуемого объекта по результатам экспертизы; – сумма всех чисел от 1 до .

Например, для девяти объектов исследования:

b_1ранг =(9-1+1)/45 =9/45

b_2ранг =8/45

b_3ранг =7/45

b_4ранг =6/45

…

b_5ранг =1/45

Таким образом, сумма всех коэффициентов весомости b_iранг от 1 до 9 равна единице: 9/45 + 8/45 + 6/45 + ... + 1/45 = 1.

Расчетная формула для определения коэффициентов b_iранг, осно­ванная на положениях теории информации, имеет следующий вид:

(26)

При учете предпочтений по каждому объекту исследования всеми экспертами коэффициенты весомости объектов ранжирования могут рассчитываться по другой формуле:

(27)

где Э – число экспертов.

При использовании экспертных методов очевидно, что чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышают стоимость проведения оценок качества. Можно существенно умень­шить трудоемкость работ экспертов, используя самый малотрудоем­кий метод – метод рангов, который предусматривает только ранжи­рование показателей, а не их численное определение экспертами.

Тем не менее данный метод применяется в практике исследова­ния систем управления, несмотря на свою простоту и малую трудо­емкость, сравнительно нечасто, что связано, как правило, с большим числом ранжируемых объектов исследования.

► Метод непосредственного оценивания (балльный метод) пред­ставляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оцен­ка) наибольшее количество баллов по принятой шкале. Наиболее распространенные диапазоны шкалы оценок: от 0 до 1,0; от 0 до 5,0; от 0 до 10,0; от 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. На­пример, «очень важный», «важный», «маловажный» и т.п., что тоже в ряде случаев для большего удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при уверенности полной профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и ве­сомость (значимость) каждого исследуемого объекта (пример оценива­ния трех объектов по 10-балльной шкале приведен в табл. 8).

Таблица 8

Определение результатов непосредственного оценивания

объектов

По результатам оценок экспертов место любого объекта можно определить по формуле:

где – значимость i -го объекта (i = 1, 2,…n), рассчитанная на ос­новании оценок экспертов (i = 1, 2,…,k); А_ij – оценка (в баллах), данная i-му объекту j-м экспертом.

Аналогично можно оценить экспертным методом (например, балльным методом исходя из 5-балльной градации) какие-либо аль­тернативные проекты (табл. 9).

Таблица 9

Пример оценки балльным методом (по 5-балльной шкале) двух проектных предложений по развитию предприятия

Использование рассмотренных экспертных методов целесообразно только при уверенности полной информированности экспертов об исследуемых свойствах объекта.