Экспертные оценки решения проблем

¨ раскрыть сущность и содержание метода экспертных оценок;

¨ использовать методы ранжирования: непосредственного ранжирования, последовательных сравнений, парных сравнений;

¨ раскрыть сущность и содержание метода Дельфи;

¨ использовать для решения научно-технической проблемы метод структуризации;

7.1 Сущность и содержание метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Метод экспертных оценок используется для решения различных сложных неформализуемых проблем. Все множество плохо формализуемых проблем можно условно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании "хорошего измерителя". Это означает, что выполняются следующие условия:

¨ эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода "информационный измеритель с небольшими погрешностями");

¨ групповое мнение экспертов близко к истинному решению проблемы.

Если эти условия выполняются, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математическую статистику.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для выполнения указанных условий. При решении проблем этого класса экспертов уже нельзя рассматривать как "хороших измерителей". Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для "хороших измерителей", в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок обширна и охватывает неформализуемые проблемы первого и второго классов. Перечислим типовые задачи, решаемые методом экспертных оценок:

¨ составление перечня возможных событий в различных областях за определенный промежуток времени;

¨ определение наиболее вероятных интервалов времени наступления совокупности событий;

¨ определение целей и задач управления, с упорядочением их по степени важности;

¨ определение альтернативных вариантов решения задачи, с оценкой их предпочтения;

¨ альтернативное распределение ресурсов для решения задач, с оценкой их предпочтительности;

¨ альтернативные варианты принятия решений в определенной ситуации, с оценкой их предпочтительности.

Можно ориентировочно наметить следующие основные этапы проведения экспертизы, последовательность и содержание которых будут изменяться в зависимости от реальных условий и ограничений:

2) формирование группы специалистов-аналитиков;

6) синтез объективной (статистической) информации и информа
ции, полученной в результате экспертизы, с целью приведения их в фор
му, удобную для принятия решения.

Объединим некоторые этапы и более подробно остановимся на подготовке, подборе и опросе экспертов, а также на анализе и обработке информации, полученной от экспертов.

К подготовке экспертизы относятся первые три этапа проведения экспертизы. Большое значение имеет четкое определение цели (целей) экспертизы. Основой для выбора целей экспертизы является описание предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требуют включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам -математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает перечень (множество) оцениваемых событий и устанавливает совокупность устойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экспертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни:

¨ качественное описание всего множества оцениваемых событий;

¨ описание устойчивых факторов для каждого из событий;

¨ выделение числа различимых уровней для каждого события;

¨ выделение числа различимых уровней для каждого фактора;

¨ описание набора устойчивых значений факторов для каждого уровня событий и т.д.

От уровня детализации в существенной степени зависит достоверность результатов экспертизы, причем с увеличением степени детализации согласованность экспертных оценок, как правило, увеличивается.

Сложной проблемой процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность и широта мышления, самокритичность и др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность — это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКНТ [7.7], в которой компетентность экспертов оценивается коэффициентом компетентности k. Он вычисляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетентности вычисляется по формуле

где k_u - коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1;

k_a — коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл. 7.1).

Эталонная таблица коэффициентов аргументации

Эксперту дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если k_a = 1,0, то степень влияния всех источников высокая; если k_a = 0,8, то - средняя и, если k_a = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 £ k £ l.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Например, в работе П.Л. Борисовского и др. [7.2] предложен способ оценки компетентности экспертов, базирующийся на вычислении среднего расстояния в пространстве между признаками товаров, которые оценивались экспертами. Считается, что если это расстояние мало, то эксперт подходит к оценке товара в целом, не различая отдельных сторон товара, и, следовательно, такой эксперт недостаточно компетентен.

Креативность — это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта.

Конформизм -- это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления — это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетентности, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов. На рис. 7.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

На рис. 7.2 приведен график экспериментальных данных, подтверждающих монотонно возрастающую зависимость между достоверностью экспертизы и уровнем групповой самооценки компетентности. На графике по оси абсцисс отмечены три уровня групповой компетентности: высокая (В), средняя (С), низкая (Н).

Проведение опроса экспертов (анкетирование) является наиболее эффективным и самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов-анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

¨ вопросы, ответы на которые содержат количественную оценку;

¨ вопросы, требующие содержательного ответа в сжатой форме;

¨ вопросы, требующие содержательного ответа в развернутой форме.

Пример такой группировки вопросов, используемых в прогнозировании, приведен в табл. 7.2.

Чтобы уточнить содержание анкеты, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашиваемых, не нужно ли включить дополнительные и исключить "неработающие" вопросы, заменить вопросы, допускающие двойное толкование, проводится ее проверка. Для этого подбираются "разноплановые⁷' эксперты (по стажу работы, по специализации и т.п.). Проверка осуществляется в форме личного интервью.

Анкетирование может быть очным и заочным. Недостаток очного анкетирования -- возможность влияния анкетирующего руководителя (члена группы управления) на ответы эксперта. Недостаток заочного анкетирования -- в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования -- простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет-вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой приводятся примеры порядка и способа заполнения.

В ряде случаев суммарные оценки рангов нормируются. Нормирование любой меры означает, что представляющее ее число для всего множества в целом принимается равным единице. Нормирование позволяет установить более тесную связь между оценками, приписанными экспертами отдельным объектам. С этой целью оценки по всем объектам суммируются, а затем каждая из них делится на полученную сумму. Рассчитанные таким образом нормированные оценки могут быть вновь проранжированы.

Когда в экспертизе участвуют несколько экспертов, обычно стремятся получить усредненную оценку (вес) для каждого объекта. Для этого нормированные оценки каждого объекта суммируются, а затем полученная сумма делится на число экспертов.

При наличии нескольких факторов, по которым следует оценить каждый из объектов, средняя оценка (вес) каждого объекта может быть рассчитана по формуле

где w_i — вес i-го объекта, подсчитанный по оценкам всех экспертов;

где x_ij — оценка фактора i, данная экспертом j.

Другой способ установления зависимости между оценками факторов (объектов, характеристик) состоит в том, что важнейшему (с точки зрения экспертов) фактору назначается оценка (вес), равная наперед заданному числу (обычно 1 или 10), а оценка следующих друг за другом по важности факторов определяется последовательно, как доля более важного. Полученные таким образом значения нормируются. Основное достоинство такого способа заключается в том, что он облегчает процесс выбора оценок, поскольку эксперту не нужно каждый раз сопоставлять весь их ряд, а лишь учитывать значение первой и предыдущей по важности оценок. Оценки, полученные от группы экспертов, могут быть усреднены для каждого фактора путем расчета средней арифметической.

В случаях, когда группа, состоящая из нескольких экспертов, оценивает ряд факторов, причем у каждого из экспертов имеется своя шкала предпочтений, для нахождения усредненной оценки каждого фактора может быть рекомендована следующая методика (см. [7.1]).

1. Составляется матрица "эксперты — факторы", в которой проставляются полученные от каждого эксперта оценки факторов по шкале от 0 до 10 (представим, что два эксперта оценили шесть факторов так, как показано в табл. 7.4).

2.Рассчитывается относительная значимость (W_ij) всех факторов, в отдельности для каждого эксперта. С этой целью оценки, полученные от каждого эксперта, суммируются (по горизонтали), а затем нормируются:

3. Вычисляется усредненная оценка, данная всеми экспертами каждому фактору. Для этого нормированные оценки, полученные в предыдущем шаге, суммируются (по вертикали), а затем рассчитывается средняя арифметическая для каждого фактора:

Рассмотрим конкретный пример взвешивания альтернатив по нескольким факторам.

При проектировании одной из сложных систем автоматического управления (САУ) было выделено шесть основных проблем: 1) устойчивость; 2) управляемость; 3) предотвращение критических ситуаций; 4) помехозащищенность; 5) согласование управляемой части системы с приводом; 6) сложность реализации. Каждая из проблем решается наилучшим образом при использовании определенного принципа построения САУ, однако для различных проблем эти принципы могут не совпадать. Было установлено, что для построения САУ можно было использовать 11 различных принципов (альтернативных решений).

Задача заключалась в том, чтобы выбрать такой принцип, при использовании которого вся совокупность проблем решается наилучшим, в каком-либо определенном смысле, образом. При этом предполагалось, что явно доминирующего в этом смысле принципа нет. Чтобы решить этот вопрос, группа экспертов проранжировала известные принципы построения САУ при решении каждой проблемы, а также сами проблемы по их важности. В результате каждой проблеме был приписан вес и вычислен суммарный ранг каждого принципа построения САУ.

Для получения независимых экспертных заключений были опрошены 13 специалистов, работающих в трех различных организациях и представляющих различные научные направления. Опрос экспертов осуществлялся с помощью анкет, в которых были перечислены проблемы и принципы построения САУ.

Вес каждой проблемы q рассчитывался по формуле

где u₀ — вес наименее важной проблемы; u_s — вес наиболее важной проблемы; у_q — суммарный ранг q-й проблемы; у₍₎ — суммарный ранг наименее важной проблемы; y_s — суммарный ранг наиболее важной проблемы.

Результирующая взвешенная оценка каждого из альтернативных решений (принципов построения САУ) определялась по формуле

где т — число экспертов; k — число проблем; x^j_qi — ранг i-го принципа по q-й проблеме, приписанный j- мэкспертом.

Поскольку наиболее предпочтительному по каждой проблеме решению приписывается наименьший ранг, это решение можно найти, определив min(х₁, х₂,..., х_п).

В табл. 7.5 приведены значения рангов, приписанных экспертами каждой проблеме в соответствии с важностью ее решения при построении САУ, значения суммарных рангов проблем и ранжировка, полученная на основании суммарных рангов.

Значения результирующих взвешенных оценок каждого принципа и соответствующая их ранжировка приведены в табл. 7.6.

Рассмотрим процедуру парных сравнений и покажем на числовом примере один из возможных вариантов ее применения.

Если сравнение объектов A_i и А_j. производят т экспертов, результаты этой процедуры можно представить в виде матрицы А предпочтений с элементами х_ij, равными числу случаев, когда А_i предпочтительнее, чем A_j.

Для облегчения этой процедуры составляют матрицы парных сравнений, в которых все объекты (1, 2,..., n) записываются в одном и том же порядке дважды: в верхней строке и в крайнем левом столбце.

Форма первой матрицы (А) парных сравнений показана в табл. 7.7.

Каждый эксперт, заполняющий такую матрицу, должен проставить на пересечении строки и столбца для двух сравниваемых факторов оценку х_ij. В зависимости от того, является ли фактор i более предпочтительным, чем фактор j, эта оценка равна 1 или 0 соответственно. В главной диагонали такой матрицы проставляются прочерки или нули. Каждая пара факторов может сравниваться единожды или дважды (например, сначала х₁₂, а затем х₂₁ в матрице табл. 7.7). В случае когда факторы сравниваются попарно дважды (полное парное сравнение), общее число сравнений I = п(п — 1); при однократном попарном сравнении

Существуют различные варианты частичного парного сравнения. Так, эксперту могут предложить сравнить заранее сгруппированные пары факторов, где он должен лишь указать наиболее предпочтительный; в этом случае каждый фактор сопоставляется только с каким-либо другим.

Может быть заранее подготовлена матрица частичного парного сравнения, в которой одна группа факторов сопоставляется со всеми другими, тогда как остальные факторы сопоставляются лишь с некоторыми другими.

Метод парных сравнений может быть использован и для установления суммарных рангов факторов. С этой целью факторы, которые должны быть проранжированы, записываются в обычном порядке в левом столбце и в верхней строке матрицы, а затем производится их парное сравнение. Матрица просматривается слева направо. Когда обнаруживается, что фактор, находящийся в левом столбце матрицы, предпочтительнее, чем фактор, помещенный в верхней строке, то в верхнюю часть клетки, образованной пересечением строки и столбца, ставится 1, а в нижнюю — 0. Если фактор, находящийся в верхней строке матрицы, предпочтительнее, чем фактор в левом столбце, то 0 ставится в верхнюю половину клетки, а 1 — в нижнюю. Затем, в зависимости от числа предпочтений, каждому фактору присваивается определенный ранг. Так, в приведенной в качестве примера матрице (табл. 7.8) фактор С получает наивысший ранг - 3, фактор D — ранг 2, фактор А — 1 и фактор В — 0.

В некоторых случаях сначала производится предварительное ранжирование факторов, а затем, с помощью метода парных сравнений, — уточнение их предпочтительности. В конце этого параграфа дан числовой пример такой процедуры. Поскольку обычно в процедуре парного сравнения участвуют несколько экспертов, то сначала каждый из них заполняет матрицу А, а затем полученные индивидуальные предпочтения усредняются с учетом мнений всех экспертов.

На основе этого строится вторая матрица (Р), показывающая процентное отношение случаев, когда фактор i оказывался более значимым, нежели фактору, в общем числе полученных оценок (табл. 7.9).

Элементы матрицы Р обладают тем свойством, что р_ij = х_ij /т, где т — число экспертов; кроме того, р_ij + р_ji = 1.

Матрица Р: доля случаев, когда фактор i предпочтительнее

Матрица Z: основное преобразование (различия)

При этом р_ij рассматривается как площадь нормированного нормального распределения от - ¥ до Z Значения функции такого распределения приведены во многих книгах по статистике.

Заметим, что z _ij логически равно нулю и что z _ij = - z _ij. Если любое z _ij оказывается большим, чем +2,0, или же меньшим, чем —2,0, оно отвергается как нестабильное. Если ни одна из оценок z _ij не будет отвергнута на основании этого правила, то шкальная оценка фактора i будет равна средней величине всех оценок в i-м столбце данной матрицы. Когда некоторое z _ij отвергается, то в таблице ставится прочерк. Для каждой пары последовательных столбцов данных необходимо рассчитать разность оценок и поместить ее в отдельную матрицу различий. При этом разница между двумя прочерками или между значением и прочерком считается несущественной, и в матрице различий ставится прочерк. Таким образом, произвольно установив S₁ = 0, можно определить остальные шкальные оценки.

Очевидно, что метод парных сравнений является интервальным, поскольку не только шкальный фактор, но и нулевая точка шкалы устанавливаются здесь произвольно.

При большом числе факторов может быть использован другой интервальный метод, называемый методом последовательных интервалов. Здесь принимается, что границы интервалов могут быть установлены так, чтобы все распределения суждений о факторе были нормальными (см. [7.1]).

Представим, что интервалы проранжированы в порядке от наименее до наиболее предпочтительного. Пусть p_jg — относительное число экспертов, которые поместили фактор j в интервале g или в любом другом интервале меньшего рангового порядка. Пусть Z_jg будет нормированным нормальным отклонением, соответствующим p_jg. Тогда

На рис. 7.4 показано распределение двух признаков с различным стандартным отклонением.

Для получения шкальных оценок S и границ интервалов t_g, эксперты должны расположить т факторов в М интервалах (М < т).

Тогда относительное число экспертов, которые поместили фактор j в интервале g или в любом другом интервале меньшего ранга, p_jg = я,.. /N.

Затем по таблице нормированного нормального распределения в соответствии с формулой (7.12) для каждого p_jg определяется Z_jg.

Для получения шкальных оценок и границ интервалов можно использовать и метод обращения полученных из наблюдений величин p_jg в Z._g, применяемый при парном сравнении.

Приняв t_i = 0, вычисляют с помощью подобных таблиц границы интервалов, а затем конструируется четвертая матрица, значения оценок которой находятся путем вычитания каждой записи g-ro ряда матрицы Z_ig из полученной оценки t_g. Средняя величина ряда в этой матрице — это шкальная оценка соответствующего признака.

¨ классический метод экспертных оценок Дельфи

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки, техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем. Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исхо

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычислить, когда этот...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: