Экспертные методы в исследовании систем управления

Как научный способ экспертный метод был разработан сравни­тельно недавно и впервые получил название «Дельфи». В дальней­шем были разработаны другие аналогичные методы, имеющие в сво­ей основе экспертные оценки. Сначала экспертные методы использо­вались в основном для решения задач, связанных с прогнозированием в области пауки и техники, а затем стали применяться н других обла­стях, в том числе в управлении.

Сущность экспертных методов как при решении задач исследова­ния СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления заключается в усредне­нии различными способами мнений (суждений) специалистов-экспер­тов по рассматриваемым вопросам.

При классификации по признаку оценки предпочтений при при­нятии решений по управлению в настоящее время наиболее распрос­транены метод рангов, метод непосредственного оценивания, метод сопоставлений. Последний включает две разновидности — парного сравнения и последовательного сопоставления.

В принципе эти методы имеют много общего, а отличие состоит в том, что оценивание (измерение) изучаемых объектов системного уп­равления осуществляется различными способами.

Общность заключается в последовательности проведения проце­дур при использовании каждого из методов. К ним следует отнести: организацию экспертного оценивания; проведение сбора мнений эк­спертов; обработку результатов мнений экспертов.

Практика показывает, что и повышение объективности результа­тов использования экспертных методов существенно зависит от со­блюдения правил организации, подготовки и проведения экспертных работ. В первую очередь это организация экспертного оценивания, назначение ответственного за организацию и проведение работ по экспертной оценке, а также формирование экспертных комиссий.

Для общего руководства экспертными работами следует назначать председателя экспертной комиссии, В составе комиссии организуют две группы: рабочую и экспертную (рис. 3.1).

Рис. 3.1. Типовой состав экспертной комиссии

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие техни­ческие работы по подготовке материалов к работе экспертов, обра­ботку результатов работы экспертов и т.п.

В экспертную группу входят эксперты — специалисты по решае­мым проблемам. Формирование этой группы осуществляет руково­дитель (организатор) рабочей группы.

Формирование экспертной группы включает в себя ряд последо­вательных мероприятий:

• постановку проблемы и определение области деятельности груп­пы;

• составление предварительного списка экспертов — специалис­тов в рассматриваемой области деятельности;

• анализ качественного состава предварительного списка экспер­тов и уточнение списка;

• получение согласия эксперта для участия в работе;

• составление окончательного списка экспертной группы.

Количество экспертов в экспертной группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев опреде­ляется минимально необходимое количество экспертов.

Подбор конкретных экспертов проводится на основе анализа ка­чества каждого из них. Для этой цели используются разнообразные способы:

• оценка кандидатов в эксперты на основе статистического ана­лиза результатов прошлой деятельности в качестве экспертов по про­блемам оргпроектирования;

• коллективная оценка кандидата в эксперты как специалиста в данной области:

• самооценка кандидата в эксперты;

• аналитическое определение компетентности кандидатов в эксперты.

Очень часто применяют одновременно несколько способов. Напри­мер, способы самооценки и коллективной оценки качеств предлагае­мого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует при­знать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценки и коллективной оценки.

Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям, как:

• профессиональная компетентность в области проектирования организационных систем;

• креативность (умение решать творческие задачи);

• научная интуиция;

• заинтересованность в объективных результатах экспертной ра­боты;

• деловитость (собранность, умение переключаться с одного вида деятельности на другой, коммуникативность, независимость сужде­ний, мотивированность действий);

• объективность;

• нонконформизм.

Проведение сбора мнений экспертов предполагает предваритель­ное решение рада вопросов. Это определение:

• места и времени сбора мнений;

• формы и методики сбора мнений; ' количества туров сбора мнений;

• состава и содержательной части документации;

• порядка занесения результатов мнений экспертов в документы.

Очень важна форма сбора мнений экспертов. Это могут быть ин­дивидуальные, коллективные и смешанные, то есть различаться преж­де всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

• анкетирование;

• интервьюирование;

• дискуссия;

• мозговой штурм;

• совещание;

• деловая игра.

Все они обладают своими достоинствами и недостатками. Сме­шанная форма применяется в случаях некоторой неясности пробле­мы, разногласиях индивидуальных мнений или разногласиях экспер­тов при коллективном обсуждении.

Наиболее часто в проектировании оргсистем практикуется анке­тирование, которое позволяет с меньшими трудозатратами (хотя и с большими затратами времени) собрать мнение экспертов.

Обычно процесс разработки анкеты включает:

• определение формы и содержания обращения к эксперту;

• выбор типа вопросов;

• формулировку вопросов;

• изложение необходимой для экспертов информации;

• разработку формы анкеты.

Представляет интерес выбор вопросов. В последние годы наибо­лее часто употребляются так называемые веерный, закрытый и от­крытый типы (веерный предполагает ответ из представленного зара­нее в анкете ряда ответов; закрытый — «да», «нет», «не знаю»; от­крытый — вопрос, ответ на который может быть дан в произвольной форме).

При анкетировании экспертов очень важно правильно, просто, однозначно, кратко и в то же время с необходимой полнотой сформу­лировать вопросы в анкетах, а в тексте пояснительной записки ука­зать, что конкретно требуется от эксперта.

Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъек­тивном измерении эксперты, как правило, применяют один из ука­занных ранее наиболее употребляемых методов (рангов, непосред­ственного оценивания, сопоставлений).

По методу рангов эксперт осуществляет ранжирование (упорядо­чение) исследуемых объектов организационной системы в зависимо­сти от их относительной значимости (предпочтительности). Наибо­лее предпочтительному объекту обычно присваивается ранг 1, а наи­менее предпочтительному — последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследова­ния и наоборот.

Таким образом, этот метод позволяет определить место исследуе­мого объекта среди других объектов СУ. Достоинством метода ран­гов является его простота. Однако метод не позволяет с достаточной точностью ранжировать объекты, количество которых превышает 15- -20, а также ответить на вопрос, как далеко по значимости нахо­дятся исследуемые объекты друг от друга.

Несмотря на свою простоту, данный метод применяется в практи­ке исследования СУ довольно редко.

Метод непосредственного оценивания представляет собой упоря­дочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важ­ному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Наиболее распространен диапазон шка­лы оценок от 0 до 1,0, до 5,0, до 10.0, до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в сло­весной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большего удобства обработки результа­тов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Указанный метод используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего часто не бывает.

Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объек­ты по их важности попарно, устанавливая в каждой паре наиболее важный.

Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необ­ходима последующая обработка результатов сравнения. Все возмож­ные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 — объект 2, объект 2 — объект 3 и т.д.) или в форме матрицы.

Наиболее удобно осуществлять парные сравнения и их обработ­ку, используя в качестве инструмента матрицы.

При большом количестве исследуемых объектов на результаты парного сравнения могут влиять психологические факторы, то есть предпочтение порой получает тот объект, который в перечне пар записан первым или находится выше по расположению в матрице. По­этому для исключения психологического влияния иногда проводят двойное парное сравнение, то есть парное сравнение при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и позволяет исследовать большое количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательною сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шка­ле от 0 до I (как метод оценивания). Причем самому важному объек­ту дается балл равный 1, а всем остальным в порядке уменьшения их значимости, то есть от 1 до 0. Далее эксперт решает, будет ли важ­ность объекта, имеющего ранг 1. больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки пер­вого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно, аналогично оценке перво­го, наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок, особенно когда количество исследуемых объектов более шести-семи.

Мнения экспертов подвергаются как количественной (численных данных), так и качественной (содержательной информации) обработ­ке. При этом используются различные способы. При наличии числен­ных данных для решения вопросов, имеющих достаточный информа­ционный материал, в основном применяются методы усреднения экс­пертных суждений. Однако при недостаточности информации по решаемому вопросу (что нередко бывает при проектировании СУ) на­ряду с количественными методами обработки экспертных данных используются также и методы качественного анализа и синтеза.

При рассмотренных экспертных методах (рангов и др.) мнения эк­спертов часто совпадают не полностью. Поэтому необходимо количе­ственно оценивать меру согласованности мнений экспертов и выяв­лять причины несовпадения суждений. Мера согласованности опреде­ляется на основе статистических данных всей группы экспертов.

Для ее оценки используются, как правило, коэффициенты конкордации — дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает значения от О до 1. При 0 нет согласованности между мнениями экспертов, при 1 — согласованность полная. Если дисперсионный коэффициент конкор­дации больше 0,5, согласованность обычно считается достаточной.

Энтропийный коэффициент конкордации (иначе его называют коэффициентом согласия) также изменяется от 0 до 1: при большей величине коэффициента — большая мера согласованности.

Когда мнения экспертов различаются незначительно, указанные выше коэффициенты дают примерно одинаковую меру согласован­ности. Однако при существенных различиях величины коэффициен­тов будут существенно отличаться. Таким образом, совместный ана­лиз коэффициентов позволяет объективно определить меру согласо­ванности мнений экспертов.

Применение рассмотренных экспертных методов доказало свою эффективность при исследованиях и проектировании СУ, причем наи­больший эффект достигается при одновременном использовании не­скольких методов.

К разновидности экспертного метода можно отнести социологи­ческий, который основан на опросе, сборе и анализе мнений респон­дентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной фор­ме — распространением анкет либо устно (на конференциях, аукцио­нах, выставках, в учебных заведениях и т.п.). При использовании это­го метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.

Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому при сбо­ре и обработке результатов экспертной и социологической информа­ции необходимо широко использовать компьютерную технику. Воз­можности для этого есть, так как автоматизация обработки резуль­татов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

Вопросы и задания для повторения

1. Какими особенностями обладает метол системного анализа СУ?

2. Какие теоретические методы могут использоваться при прове­дении исследования СУ?

3. Какие эмпирические методы могут использоваться при прове­дении исследования СУ?

4. В чем заключается сущность диагностического анализа СУ?

5. Какова сущность корреляционного метода исследования СУ?

6. В чем заключается сущность метода «дерева» целей?

7. Постройте «дерево» целей своей организации.

8. Какие экспертные методы являются наиболее предпочтитель­ными для исследования СУ?

9. В чем заключается сущность метода парных исследований?

10. Какими показателями можно оценить согласованность мнений экспертов?

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Система охраняемых территорий в США Изучение особо охраняемых природных территорий(ООПТ) США представляет особый интерес по многим причинам...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: