Группа аналитиков разрабатывает перечень оцениваемых событий и устанавливает совокупность факторов, характеризующих эти события.

Экспертные опросные процедуры «прямого» получения коллективного мнения

Процедуры можно построить на основе использования одного из двух подходов: 1) получение общего мнения в xoдe coвмecтнoгo oбcyждeния peшaeмoй пpoблeмы - мeтoды кoллeктивнoй paбoты экcпepтнoй гpyппы. Инoгдa эти мeтoды нaзывaют «мeтoдaми пpямoгo пoлyчeния кoллeктивнoгo мнeния»;

Получение индивидуальных оценок с последующей обработкой с помощью математических и статистических методов.

Оcнoвнoe пpeимyщecтвo мeтoдoв первой группы зaключaeтcя в вoзмoжнocти paзнocтopoннeгo aнaлизa пpoблeм. Нeдocтaткaми мeтoдoв являeтcя cлoжнocть пpoцeдypы пoлyчeния инфopмaции, cлoжнocть фopмиpoвaния гpyппoвoгo мнeния пo индивидyaльным cyждeниям экcпepтoв, вoзмoжнocть влияния более aвтopитeтных на других специалистов в гpyппe. Мeтoды кoллeктивнoй paбoты включaют мeтoды мoзгoвoй aтaки (штурма), синектики, cцeнapиeв, дeлoвыx игp, coвeщaний и cyдa [3, 9].

Мeтoд мoзгoвoй aтaки (штурма). Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний.

Основные правила организации и методика проведения мозгового штурма заключаются в следующем. Осуществляется подбор экспертов в группу до 20 человек, в которую включаются специалисты по решаемой проблеме и люди с широкой эрудицией и богатой фантазией, причем необязательно хорошо знающие рассматриваемую проблему. Желательно включение в группу лиц, занимающих одинаковое служебное и общественное положение, что обеспечивает условия для большей независимости высказываний и создания атмосферы равноправия.

Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. Ведущий в начале сеанса объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Сеанс продолжается примерно 40-45 минут без перерыва. Для каждого выступления предоставляется 2-3 минуты, выступления могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых, может быть, на первый взгляд, фантастических идей или развивать ранее высказанные идеи, дополняя и углубляя их.

Важным требованием к выступлениям является конструктивный характер идей и предложений: они должны быть направлены на решение проблемы. Ведущий и все члены группы должны своими действиями и высказываниями способствовать созданию всеобщей синхронно работающей коллективной мысли, возбуждению мыслительных процессов, что существенно влияет на результативность обсуждения. В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

Выступления экспертов фиксируются путем стенографирования или аудиозаписи и после окончания сеанса подвергаются анализу, который заключается в группировке и классификации высказанных идей и решений по различным признакам, оценке степени полезности и возможности реализации.

Примерно через сутки - двое после проведения сеанса экспертов просят сообщить, не возникли ли еще какие-нибудь новые идеи и решения. Эксперименты показывают, что если в процессе сеанса была создана хорошая творческая атмосфера с активным участием в работе всех экспертов, то после окончания обсуждения в мозге человека продолжается процесс генерации и анализа своих и других предложений, который протекает не только осознанно, но и подсознательно. В результате примерно через сутки после сопоставления высказываний, проведения аналогий и обобщения эксперты часто формулируют наиболее ценные предложения и идеи. Поэтому сбор аналитиками информации по возможным новым идеям способствует повышению эффективности метода мозгового штурма.

Существует ряд разновидностей мозгового штурма, в которых предлагается чередовать пятиминутные штурмы с обдумыванием его результатов, чередовать периоды генерации с дискуссиями и групповым принятием решений, применять последовательные этапы выдвижения предложений и их обсуждения, включать в группу экспертов «усилителей» и «подавителей» идей и т.п. Мозговой штурм применяется для решения разнообразных прикладных проблем.

Дocтoинcтвoм мeтoдa являeтcя выcoкaя oпepaтивнocть пoлyчeния тpeбyeмoгo peшeния. Оcнoвной eгo нeдocтaток: cлoжнocть opгaнизaции экcпepтизы, тaк кaк инoгдa нeвoзмoжнo coбpaть вмecтe тpeбyeмыx cпeциaлиcтoв, coздaть нeпpинyждeннyю творческую aтмocфepy и иcключить влияниe нежелательных объективных и субъективных факторов.

Метод синектики. Другой разновидностью коллективных экспертных оценок является такой метод, как синектика, – буквально, соединение разнородного. В отличие от метода мозговой атаки, который направлен на получение как можно большего числа предложений, синектика изначально ориентирована на выработку наиболее приемлемых и ценных предложений, прямо работающих на решение поставленного вопроса. В группу «синекторов» отбираются хорошо подготовленные, эрудированные, способные к нетривиальным сужде­ниям эксперты. Обычно это 5 – 7 человек, способных четко формулировать пози­ции, выделять в них взаимоисключающие стороны, широко использующие аналоги из других, даже не смежных областей реальности. В числе методических приемов, применяемых в синектике, обращает на себя внимание рекомендация экспертам-«синекторам» «войти в образ» оцениваемого явления или процесса, отождествляя себя с ним. В синектике допускаются рассуждения не только о том, какими видятся анализируемые объекты, но и о том, какими бы их хотелось видеть. Хотя в отечественной литературе, в основном по социальной психологии и системному анализу, достаточно подробно описывается метод синектики, широкого применения в практике менеджмента он пока не нашел. Это связано, вероятно, с тем, что его использование требует особой подготовки специалистов-«синекторов». В США, например, создана фирма «Синектик инкорпорейтед», дающая консультации в области синектики и занимающаяся специальным обучением. В то же время следует отметить, что при соответствующей заинтересованности метод синектики может найти применение в оте­чественной исследовательской практике, в том числе и в общественной психологии рыночного поведения, где очень часто требуются нетривиальные решения, связанные не только с объяснением, но и более глубокими механизмами понимания, проникновения в сущность изучаемых явлений и процессов. При изучении поведения пользователей услуг связи специфика объектов исследования способствует «вживанию в образ». Представление себя на месте другого, но тоже одушевленного субъекта (субъектов), имеет больше оснований, чем «вживание в образ» неодушевленного предмета, как это рекомендуется в синектике. Кроме того, постижение явлений указанной сферы, имеющих ярко выраженную субъективную окраску, настоятельно требует включения механизмов понимания наряду с логикой объяснения.

В oтличиe oт мeтoдa мoзгoвoй aтaки, кaждый экcпepт здесь мoжeт нe тoлькo выcкaзывaть cвoe мнeниe, нo и кpитикoвaть пpeдлoжeния дpyгиx. Дискуссия может проводиться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Следует иметь в виду, что во время перерывов дискуссия продолжается, т.е. имеют место кулуарные обсуждения. В связи с этим не следует делать перерывы слишком короткими, поскольку локальные обсуждения дают положительный эффект.

В peзyльтaтe тaкoгo тщaтeльнoгo oбcyждeния yмeньшaeтcя количество рассматриваемых альтернатив, но увеличивается вoзмoжнocть oшибoк пpи выpaбoткe peшeния, так как одни участники могут «подавить» других, мнение которых было правильным. Нa coвeщaнии мoжeт быть пpинятo к исполнению oшибoчнoe мнeниe oднoгo из yчacтникoв в cилy eгo aвтopитeтa, cлyжeбнoгo пoлoжeния, нacтoйчивocти или opaтopcкиx cпocoбнocтeй. В этом смысле большую роль в дискуссии играет ведущий. От его умения создать творческую благожелательную атмосферу, четко выступить с постановкой проблемы, кратко и глубоко резюмировать выступле­ния и, главное, умело направить ход дискуссии на решение проблемы существенно зависит эффективность результатов обсуждения. Результаты дискуссии фиксируются в виде стенограмм или магнитной записи. После окончания дискуссии проводится анализ этих записей для более четкого представления основных результатов, выявления различий в мнениях. В дискуссиях также примерно через сутки после окончания может собираться дополнительная информация от экспертов.

Итеративная процедура опроса с сообщением результатов обработки после каждого тура обеспечивает лучшее согласование мнений экспертов, поскольку эксперты, давшие сильно отклоняющиеся оценки, вынуждены критически осмыслить свои суждения и обстоятельно их аргументировать.

Необходимость аргументации или корректировки своих оценок не означает, что целью экспертизы является получение полной согласованности мнений экспертов. Конечным результатом может оказаться выявление двух или более групп мнений, отражающих принадлежность экспертов к различным научным школам, ведомствам или категориям лиц. Получение такого результата является также полезным, поскольку позволяет выяснить наличие различных точек зрения и поставить задачу на проведение исследований в данной области.

При проведении опроса в методе Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение влияния конформизма, т. е. подавления мнений за счет «веса» научного авторитета или должностного положения одних экспертов по отношению к другим.

Исследования эффективности метода Дельфы показали, что по мере проведения туров опроса разброс мнений экспертов уменьшается, и групповое мнение в виде медианы индивидуальных оценок становится точнее. Основным фактором в повышении точности ответов является итеративная процедура опроса с сообщением результатов обработки экспертам и указанием конкретного места оценки каждого эксперта.

Для повышения эффективности проведения экспертизы по методу Дельфы необходимо автоматизировать процесс фиксации, обработки и сообщения экспертам информации, так как мeтoд тpeбyeт знaчитeльнoгo вpeмeни нa peaлизaцию вceй мнoгoэтaпнoй пpoцeдypы. Повышение эффективности достигается путем использования ЭВМ.

При поиске значения коллективной экспертной оценки индивидуальные значения показателя, указанные экспертами, либо усредняются, либо обрабатываются с помощью других специальных методов. Теория измерений позволяет указать единый способ классификации измерений как качественных, так и количественных. Таким способом является классификация измерений по типам шкал, в которых измерения произведены. Когда показатель может быть оценен только качественно, то в этом случае для получения экспертной оценки можно воспользоваться вербально-числовыми шкалами (например: 1 - отлично; 2 – очень хорошо; 3 – скорее хорошо; 4 – скорее плохо; 5 – плохо; 6 – очень плохо). В состав вербально-числовой шкалы входят описываемые содержательно наименования ее градаций и соответствующие им численные значения или диапазоны численных значений.

Разберем процедуру метода на конкретном примере оценки стоимости новой перспективной телекоммуникационной услуги. Задача состояла в определении стоимости услуги доступа к специфической базе данных. Обычный метод расчета себестоимости и цены изделия нельзя применить, так как нет данных по структуре себестоимости, а сама услуга находится в процессе разработки и не является «изделием». Экспертам было предложено назвать возможную цену услуги, при этом они получили информацию о том, сколько стоят наиболее близкие услуги у нас и за рубежом, а также об условиях производства данной услуги.

После первого тура опроса, результаты которого приведены в таблице 1.1, аналитики провели статистическую обработку полученных результатов (оценок). Для этого оценки упорядочиваются, например, в порядке возрастания (рисунок 1.1). Затем рассчитываются характеристики ряда: медиана и квартили.

За медиану принимается средний член ряда, по отношению к которому число оценок с начала и конца ряда будет одинаковым. В примере медиана совпадает с оценкой 80 рублей, что видно из рисунка 1.1.

Таблица 1.1 – Результаты первого тура опроса

Рисунок 1.1. Результаты расчета медианы и квартилей

Затем определяются верхний и нижний квартили, т.е. интервалы Q₁ - M и M - Q₂ Диапазон этих квартилей в первом приближении равен значениям оценок ряда, составляющим примерно 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили на шкале оценок образуют четыре интервала, среди которых два средних Q₁ - M и M - Q₂ считаются наиболее предпочтительными.

Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана характеризует групповой ответ, а предпочтительный диапазон квартилей – разброс индивидуальных оценок.

После первого тура опроса каждому из экспертов сообщили значение медианы и размах оценок между Q1 и Q2 (крайними квартилями). Экспертов, чьи оценки оказались в крайних квартилях, просили их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Экспертам можно приводить любые аргументы или возражения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти ответы анонимны. Эксперты могут пересмотреть свои мнения и при желании исправить оценки. С полученными, обоснованиями знакомят остальных экспертов, не указывая, чьи они. Такая процедура позволяет всем экспертам принять в расчет те обстоятельства, которые они могли случайно пропустить, или которыми пренебрегли, или о которых не знали во время первого тура опроса.

После проведения второго тура повторяется процедура статистической обработки оценок, результаты которой вновь сообщаются экспертам. Все участники экспертизы во время второго тура должны обосновать свои решения. Их просят учесть возражения и прокомментировать их. В примере по результатам работы экспертов во втором туре оценки имели распределение, показанное на рисунке 1.2.

Рисунок 1.2. Распределение оценок после второго тура экспертизы

После третьего тура опроса и соответствующей статистической обработки его результатов тех экспертов, чьи оценки не вошли в наиболее предпочтительный интервал, просят выдвинуть контраргументы в пользу своих оценок.

На четвертом и последнем этапе опроса все мотивировки вновь доводятся до сведения участников экспертизы, имеющих последнюю возможность пересмотреть свои ответы. Медиана этих окончательных ответов и принимается за оценку, наиболее близкую к единому мнению группы.

Если оказывается, что эксперты приходят к согласию раньше, чем за четыре тура, то проводить все туры опроса нет необходимости. В рассматриваемом случае оказалось, что достаточно провести два тура опроса, в результате которых было получено мнение группы.

Практика показывает, что основные результаты использования метода Дельфы заключаются в следующем. По мере применения итерации и обратной связи сходимость индивидуальных ответов увеличивается. Улучшение средней оценки группы происходит при наличии двух предположений:

· эксперты, не изменившие своих оценок, дают более точный ответ;

· в процессе итерации средняя оценка экспертов, изменивших свое мнение, движется по направлению средней оценки группы.

Характер изменения оценок таков, что средняя оценка всей группы находится между средней оценкой экспертов, изменивших свое мнение и средней экспертов, оставивших свою оценку неизменной . Средняя оценка экспертов, не изменивших свое, мнение, обычно оказывается ближе к истинному ответу. Практика показывает, что при использовании метода наличие в группе менее знающих специалистов оказывает не столь значительное влияние на групповую оценку, чем при простом усреднении оценок, поскольку итерация помогает этим экспертам улучшить свои знания за счет информации, получаемой от более компетентных специалистов. С другой стороны, более знающие специалисты, как правило, не располагают всей информацией, которая имеется у всех входящих в группу экспертов. Это позволяет и им улучшить свои оценки.

Метод Дельфы в настоящее время используется как при долгосрочном планировании, так и для изучения ряда экономических и социальных проблем. В отрасли связи его можно, например, применять при изучении потребностей в услугах связи, при тарификации новых услуг, при изучении требований, предъявляемых потребителям к условиям доставки информации, для оценки социальной эффективности средств связи, изучения степени влияния различных видов связи на результаты народнохозяйственной деятельности, в том числе на национальный доход, для оценки перспектив развития средств связи и т.д.

Перспективность этого метода для улучшения групповой экспертной оценки и углубленного анализа событий в ситуациях, характеризуемых значительной степенью неопределенности, особенно в сочетании с другими аналитическими методами, несомненна. Вместе с тем, метод имеет и некоторые недостатки, среди которых необходимо отметить значительные затраты времени на процедуру опроса, а также невозможность прямого столкновения мнений экспертов что не всегда стимулирует "генерирование" идей, возникающее при личных контактах специалистов.

Большой проблемой теории измерений является проблема адекватности. При выборе шкалы для использования в опросе необходимо учитывать, что не всякая операция при обработке экспертной информации является корректной. Например, такая распространенная операция, как взятие среднего арифметического, не может быть использована, если альтернативы измерены в порядковой шкале.

Существуют и другие методы экспертных оценок, предназначенные для анализа сложных систем, например, ранжирование, метод анализа иерархий и другие, которые будут рассмотрены позже. С их помощью можно оценить альтернативные варианты решения проблемы по отношению к рассматриваемым критериям и с учетом значимости лиц, принимающих решение. Методы очень хорошо зарекомендовали себя в ситуациях, когда критерии представлены в вербальной форме, так как их трудно или невозможно выразить числом.

Рассмотренные во втором разделе виды процедур дополняют друг друга и в определенной степени являются взаимозаменяемыми. Для генерации новых объектов (идей, событий, проблем, решений) целесообразно применять мозговой штурм, дискуссии, анкетирование и метод Дельфы (первые два тура). Всесторонний критический анализ имеющегося перечня объектов эффективно может быть проведен в форме дискуссии. Для количественной и качественной оценки свойств, параметров, времени и других характеристик объектов применяются анкетирование и метод Дельфы. Интервьюирование целесообразно использовать для уточнения результатов, полученных другими видами экспертизы. Но, какой бы метод ни применили, процедура важна не сама по себе, а ради той информации, которую из нее можно извлечь. Эта информация касается, как самой исследуемой проблемы, так и того, можно ли и в какой степени доверять экспертам.

При оценке объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений, а также – принимать или отвергать гипотезу, предваряющую экспертную процедуру. Рассмотрим некоторые статистические способы оценки согласованности мнений экспертов.

При первом из них, наиболее простом и приближенном, в качестве меры согласованности ответов может быть использован коэффициент, равный отношению числа ответов, совпадающих с медианой и двумя соседними с ней местами, к общему числу ответов. Этот метод хорошо согласуется с методом Дельфы.

Если при анализе ответов экспертов возникает необходимость выявить согласованность их мнений по нескольким факторам, оказывающим влияние на один конечный результат (качество), то в этих случаях согласованность мнений экспертов можно оценить с помощью коэффициента конкордации (согласия) W, т.е. общего коэффициента ранговой корреляции для группы, состоящей из m экспертов, или с помощью статистики Фридмана.

Оценка согласованности суждений экспертов основывается на использовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т. е. образуют компактную группу, то, очевидно, можно это интерпретировать как хорошую согласованность мнений экспертов. Если же точки в пространстве разбросаны на значительные расстояния, то согласованность мнений экспертов невысокая. Возможно, что точки - оценки экспертов - расположены в пространстве так, что образуют две или несколько компактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зрения на оценку объектов.

Если объект оценивается несколькими числовыми параметрами, то мнение каждого эксперта представляется как точка в пространстве параметров. Центр группировки точек опять вычисляется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора параметров. Мерой согласованности суждений экспертов может служить в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может также служить количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания, ко всему количеству точек.

Где

…………………………….3.10

В формуле 3.10 Т_s - показатель связанных рангов в s-й ранжировке, H_s — число равных рангов в к-й группе связанных рангов при ранжировке s-м экспертом. Если совпадающих рангов нет, то Н_s =0, h_k = 0, следовательно, Т_s =0. В этом случае обе формулы для определения W совпадают.

Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы, и равен 0, если все ранжировки различны. Коэффициент конкордации, вычисляемый по приведенным выше формулам, является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину.

Таблица 3.4 - Результаты ранжирования привлекательности услуг

Где

m –неизвестное общее среднее;

Оценку влияния наличия корпоративной сотовой связи на производственные факторы производят десять экспертов. Решение задачи производится на персональном компьютере при помощи программы «Эксперт», разработанной под руководством А.Г. Микиртичана на кафедре менеджмента МТУСИ для ПК с операционной системой Windows.

Эксперты регистрируются и приступают к заполнению индивидуальных ранговых таблиц, которые затем аналитиком сводятся (по строкам) в результирующую матрицу, представленную на рисунке 3.1. Программа рассчитывает значение статистики Фридмана и строит результирующую гистограмму важности оцениваемых факторов, показанную на рисунке 3.2.

При необходимости задача может быть решена повторно. Для этого гистограммы результатов по каждому параметру могут быть индивидуально выведены на экран, распечатаны и проанализированы. Проверяется согласованность мнений экспертов при помощи статистики Фридмана. Если значение статистики Фридмана менее 35, расчет не производится и результаты работы экспертов бракуются. Экспертам (студентам) предлагается проанализировать ситуацию повторно.

Рисунок 3.1. Результирующая матрица рангов

Рисунок 3.2. Результирующая гистограмма важности оцениваемых факторов.

По результатам расчетов для приведенного примера можно отметить, что наибольшее влияние наличие корпоративной сотовой связи оказывает на рост производительности труда управленческого персонала и повышение оперативности решения вопросов управления. Этим факторам присвоены наименьшие ранги. По результатам работы экспертов можно сделать вывод о том, что согласованность оценок экспертов очень высока (статистика Фридмана имеет значение более 64 при максимуме 70), что позволяет предположить, что полученные результаты содержат объективную информацию.

Группа аналитиков разрабатывает перечень оцениваемых событий и устанавливает совокупность факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики целей экс­пертизы и может быть выполнено на разном уровне детализации. Так, можно наметить следующие уровни:

- качественное описание всего множества оцениваемых событий;

- перечень событий;

- описание устойчивых факторов или признаков для каждого из событий;

- выделение числа различимых уровней для каждого события;

- выделение числа различимых уровней для каждого фактора.

От уровня детализации существенно зависит достоверность результатов экспертных оценок – чем он выше, тем, как правило, выше степень согласованности мнений экспертов. Следует, однако, учи­тывать то, что излишняя детализация приводит к большим затратам времени и средств. Кроме того, человеческий мозг может проанали­зировать ограниченное число факторов и связей между ними, поэтому надежность информации при излишней детализации снижается.

В случаях, когда оценка множества событий производится впер­вые, формирование совокупности устойчивых признаков (факторов) может быть выполнено самими экспертами или аналитиками и экспертами совместно.

Задача аналитиков также состоит в обеспечении экспертов всей доступной объективной (статистической) информацией, имеющей от­ношение к анализируемой проблеме, а также – в информировании экс­пертов об источниках возникновения проблемы и о путях решения аналогичных проблем (если они были) в прошлом.

Важное значение имеет составление вопросников (анкет). Основное требование здесь – обеспечить однозначное толкование вопросов и возможность выразить числом ответ на каждый вопрос.

В зависимости от характера требующейся информации, возможнос­тей ее получения и интерпретации, существующие методы опроса можно подразделить на:

- индивидуальные и групповые,

- личные (очные) и заочные,

- открытые и закрытые.

На проблеме индивидуальных и групповых опросов мы остановимся несколько позднее, что же касается личного метода опроса, то под ним подразумевается процедура, в процессе которой аналитик осуществляет непос­редственный (личный) контакт с экспертом при подготовке ответов на вопросы анкеты. Заочный опрос обычно осуществляется путем пересылки анкеты эксперту по почте. Основные преимущества заоч­ного опроса – его простота и дешевизна. Однако надежность полу­ченных данных может быть ниже, чем при очном опросе, поскольку на некоторые вопросы эксперт может вообще не ответить, а неко­торые – неправильно истолкует. Очный опрос помогает исключить эти недостатки, однако при относительно больших затратах труда и времени могут возникать нежелательные искажения информации вследствие психологического воздействия аналитика на эксперта. Кроме того, необходимость дли­тельного участия в экспертизе обычно вызывает недовольство со стороны эксперта.

Установлено, что члены экспертной группы не любят начинать работу с "чистого листа" бумаги. Набор конкретных вопросов, а часто и предполагаемых ответов помогают эксперту лучше понять задачу и быстрее ответить на поставленные вопросы. Поэтому в основе большинства экспертных методов лежит анкета (опросный лист), с помощью которой и осуществляется сбор необходимой информации.

Анкета - Это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей (целью) экс­пертизы. Обычно вопросы анкеты принято различать по трем основаниям: по содержанию, форме и функциям. Все вопросы анкеты в зависимости от их содержания можно разделить на три группы:

1. Объективные анкетные данные о самом эксперте (его возрасте, образовании, профессии, стаже работы, научном звании, узкой специализации и проч.);

2. Характеристики, позволяющие оценить мотивы, которыми руко­водствуется эксперт при оценке исследуемой проблемы.

3. Основные вопросы по существу исследуемой проблемы.
По форме различаются следующие типы вопросов:

1) открытые и закрытые;

2) прямые и косвенные.

Вопрос называется открытым или свободным, если ответ на него может быть дан в любой форме, т.е. ответ ничем не регламентирован. Вопрос называется закрытым, если в его формулировке содер­жатся варианты возможных ответов (перечень альтернатив) и эксперт должен остановить свой выбор на одном (или нескольких) из них. Одной из разновидностей закрытого вопроса является дихото­мический, в котором перечень возможных ответов исчерпывается альтернативой! "да – нет".

Конкретный вопрос с определенным набором ответов на него на­зывается признаком анкеты. Набор ответов может быть качественно­го характера, когда задача эксперта заключается в выборе одного ответа из набора предложенных, и может быть количественного ха­рактера, когда ответам на вопросы анкеты присваиваются числовые оценки.

Достоинство открытых вопросов заключается в возможности об­наружения с помощью экспертов новых, порой совершенно неожидан­ных для аналитика аспектов проблемы. Недостатки этого метода заключаются в том, что повышается вероятность произвольной ин­терпретации вопросов со стороны эксперта, что может привести в итоге к несопоставимости данных, полученных от группы экспертов, и, кроме того, в том, что анализ ответов, полученных на открытые анкеты - дело чрезвычайно трудоемкое. Закрытые вопросы этими недостатками не обладают, но таят в себе опасность навязать экс­перту ответ, в особенности тогда, когда эксперт не имеет сложив­шегося мнения по проблеме или его мнение не совпадает с набором ответов, предложенных в анкете. Поэтому, если у аналитиков нет твердой уверенности, что все возможные альтернативы исчерпаны, следует предоставлять экспертам возможность выдвигать свои альтернативы или уклониться от ответа на некоторые из поставленных вопросов.

Цель экспертизы может быть замаскирована и тогда признаки анкеты могут быть косвенными. Такие анкеты применяются чаще все­го в случаях, когда нет твердой уверенности, что эксперт по данному вопросу захочет (сумеет) дать определенную информацию.

3. Отбор экспертов

Работу по отбору экспертов обычно начинают с определения области научных, технических, экономических, административных и т.д. интересов, которые будут затронуты в процессе решения данной проблемы.

После этого составляется, список лиц, компетентных в этих областях. Этот список является основой для отбора "кандидатов" в эксперты. Составляя этот список, исходят, прежде всего, из ком­петентности того или иного специалиста в области его непосред­ственной деятельности. Вместе с тем желательно, чтобы кандидат в эксперты обладал широким кругозором, был достаточно эрудиро­ван и в смежных отраслях знания. Кроме того, надо выявить потенциальные цели экспертов, противоречащие целям экспертизы, т.е. убедиться в отсутствии (наличии) причин, которые могут по­влиять на сознательное смещение групповой оценки в направлении, желательном для данного эксперта или для группы экспертов. Ре­комендуется исключить из рассмотрения те события, в результа­тах которых эксперты лично заинтересованы.

Один из способов анализа компетентности кандидатов в экс­перты заключается, в подготовке специальных анкет, отвечая на которые эксперты должны показать свою эрудицию и аналитические способности. Дня оценки полученных ответов используется числен­ная шкала, например от 2 до 5. Главное внимание при заполнении анкеты уделяется способности эксперта ответить на поставленные вопросы и дать численную оценку своим знаниям в достаточно короткий срок, обычно 10-15 минут. Так, например, экспертам предлагается ответить на серию из 10 вопросов в течение 5 минут. Прежде, чем начать эксперимент, кандидатов в эксперты знакомят с инструкцией следующего содержания:

"Вас просят оценить ниже перечисленные вопросы соответствен­но объему Ваших знаний. Перед тем, как дать ответ, прочтите вни­мательно все 10 вопросов и отыщите один, который Вы, как Вам кажется, знаете лучше других. Дайте этому вопросу оценку 5. Затем отыщите вопрос, который, по вашему мнению, Вам знаком хуже других, дайте ему оценку 1. Остальные вопросы оцените по шкале 1, 2, 3, 4, 5 баллов так, чтобы вопрос, по которому Вы знаете почти так же много, как и по первому, получил оценку 5, вопрос, по которому у Вас средние знания, получил оценку 4 и.т.д. Таким образом, оценка любого вопроса является относительной и зависит от того, насколько велик объем Ваших знаний по этому вопросу. Не пытайтесь улучшать оценки, а будьте "импрессионичны", т.е. руководствуйтесь Вашим личным впечатлением".

После того, как будут получены данные до индивидуальной самооценке, можно получить самооценку каждого кандидата в экс­перты, Для этого надо сложить все оценки, которые он сам себе поставил, и поделить их на число вопросов:

Средняя групповая самооценка получается как частное от деле­ния индивидуальных самооценок на число экспертов в группе:

В результате получается численный индекс, который характеризует объем знаний данной групп по рассматриваемому кругу вопросов.

Практика экспертиз показывает, что хотя методы самооценки недостаточно точны для того, чтобы служить единственным крите­рием выбора экспертов, использование таких процедур дает воз­можность выполнить предварительный отбор группы наиболее ком­петентных специалистов. Есть данные, подтверждающие наличие свя­зи между групповой самооценкой и точностью экспертизы.

На рис. 1 дана кривая, иллюстрирующая зависимость между групповой самооценкой и средней групповой ошибкой. Из ри­сунка видно, что средняя групповая ошибка монотонно убывает с возрастанием средней самооценки. Из этого следует,

Конфликты в семейной жизни. Как это изменить? Редкий брак и взаимоотношения существуют без конфликтов и напряженности. Через это проходят все...

Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)...

Живите по правилу: МАЛО ЛИ ЧТО НА СВЕТЕ СУЩЕСТВУЕТ? Я неслучайно подчеркиваю, что место в голове ограничено, а информации вокруг много, и что ваше право...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: