Методы проведения опроса экспертов

Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, инрервьюирование, метод Дельфы, мозговой штурм, дискуссия.

В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета – составляемый организаторами проведения экспертизы список вопросов, предъявляемый экспертам, ответы которых служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторы экспертизы, ориентируясь на ее цели и задачи, должны составить перечень вопросов, тщательно отрабатывая их содержание, выбирая форму и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.

По содержанию вопросы подразделяют на три группы, а именно: объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности и т. д.); характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т. п.

По форме вопросы бывают открытые, закрытые и с веером ответов. Открытые вопросы допускают возможность ответа в произвольной форме. Достоинством их является возможность взглянуть на рассматриваемые аспекты объекта с различных сторон, выявить широту мнений экспертов по исследуемым аспектам объекта экспертизы. В качестве недостатка следует отметить затруднения в их обработке, например, с точки зрения их интерпретирования, построения таблиц, графиков и т. п. Закрытые вопросы предполагают ответ эксперта в форме «да» – истина, «нет» – ложь, «не знаю» – затрудняюсь ответить. Эта форма вопросов эффективна при необходимости выявления мнения большинства экспертов по каким – либо аспектам исследуемого объекта, то есть при необходимости проведения «голосования» экспертов. Достоинством их является простота обработки, недостатком – узкий спектр их применения. Вопросы с веером ответов предоставляют возможность эксперту делать выбор из совокупности подготовленных ответов. Обычно такие вопросы готовят в ситуациях с наличием нескольких направлений в исследуемом аспекте объекта, с целью выявления наиболее перспективного направления для его реализации.

Последовательность включения вопросов в анкету также является важным элементом разработки анкеты. Вопросы должны включаться в анкету в логической последовательности. Вначале следует разместить вопросы, характеризующие объективные данные об эксперте, затем последующие вопросы должны пробудить интерес, честолюбие экспертов блеснуть профессионализмом по исследуемым аспектам объекта. При этом рекомендуется учитывать последовательное увеличение степени трудности задаваемых вопросов. При многотуровом анкетировании в условиях сложности объекта и неопределенности информации об объекте исследования рекомендуется начальные туры проводить на основе открытых вопросов, а последующие – на основе вопросов с веером ответов и закрытых.

Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы. Для успешного проведения интервью интервьюер должен тщательно его спланировать, проработать состав и очередность задаваемых вопросов с учетом приведенных выше рекомендаций, заранее сообщить испытуемым (экспертам) тему опроса, не знакомя их с конкретным перечнем вопросов. Опрос следует проводить динамично, задавать прямые и уточняющие вопросы с целью получения достоверной и достаточно полной информации. Результаты опроса интервьюер может дополнить своими личными наблюдениями. Живой контакт с испытуемым (испытуемыми) позволяет интервьюеру быстрее выявить полезные сведения об исследуемом объекте, формулируя очередные вопросы с учетом полученных ответов на уже заданные. Однако, при этом не следует забывать и о возможности негатива, связанного с влиянием интервьюера на ответы экспертов, с возрастанием вероятности неточных ответов, из-за ограниченного времени на продумывание ответов, с возможной неоправданно большой продолжительностью опроса при групповом исследовании.

Метод Дельфы (Дельфы – древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования: анонимность каждого включенного в Проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы; наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок; получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.

Экспертизы по методу Дельфы, как правило, проводят в несколько туров. Число туров определяется в ходе анализа результатов очередного тура и часто лежит в пределах от трех до пяти. В качестве формы опроса экспертов в основном применяется анкетирование, хотя и не исключаются и другие формы индивидуального опроса. В первом туре экспертов знакомят с целью проведения экспертизы, информируют о сущности рассматриваемого объекта, предъявляют перечень вопросов, ответы на которые обрабатываются, анализируются аналитиками с целью выявления крайних значений оценок – верхней и нижней границы, а также их обоснований, высказанных определенными экспертами. Находится среднее значение или медиана по результатам высказываний членов экспертной группы. Устанавливается величина разброса экспертных оценок, на основе которой делается заключение о согласованности точек зрения экспертов. Полученные результаты первого тура доводятся до экспертов с указанием расположения их собственных оценок. Во втором и последующих турах эксперты либо аргументируют свои оценки сильно отклоняющиеся от средних значений, либо корректируют их, находя новые доводы в пользу изменения их значений с учетом поступившей к ним дополнительной информации. Полученные данные вновь обрабатываются, анализируются с доведением результатов до экспертов. Анализ проводится в том числе и на предмет принятия решения о продолжении или прекращении проведения следующих туров, в случае получения достаточной степени согласованности мнений экспертов по альтернативам исследуемого объекта.

Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей. Организация проведения мозгового штурма достаточно подробно изложена в разделе 7.2.

Дискуссия как форма опроса экспертов проводится в виде открытого обсуждения рассматриваемой проблемы, с целью нахождения наиболее адекватных путей ее решения, выявления наиболее значимых факторов, влияющих на ее возникновение и развитие, системной оценки достоинств и недостатков результатов реализации возможных способов ее разрешения. Для организации и управления проведением дискуссии формируется группа управления с целью четкой формулировки сущности обсуждаемых задач, определения требований к экспертам и осуществления их подбора, разработки методики и регламента проведения дискуссии. Существенная роль в дискуссии отводится ведущему в создании творческой благоприятной обстановки для свободного изложения конструктивных идей выступающими по существу дискутируемых вопросов, в умении кратко и емко резюмировать выступления, в организации генерации эффективных коллективных идей, направленных на разрешение дискутируемых проблем. В ходе выступлений участников дискуссии разрешается критика, могут иметь место перерывы в процессе проведения дискуссии, предполагаются кулуарные обсуждения во время перерывов, способствующие достижению положительного эффекта во время дальнейшего продолжения дискуссии. Выступления фиксируются одним или несколькими возможными способами, анализируются по окончании дискуссии с целью обобщения и классификации основных результатов, высказанных участниками дискуссии. Основные результаты дискуссии могут быть скорректированы с учетом дополнительной информации экспертов, получаемой примерно через сутки после окончания дискуссии.

Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

· определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;

· оценки согласованности и зависимости мнений экспертов;

· оценки достоверности полученных расчетных величин.

Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.

Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта

, сумма рангов объекта

. Частота максимально возможных оценок для j -го объекта определяется по формуле:

где

– количество максимально возможных оценок, полученных j -тым объектом;

– количество экспертов, оценивающих j -ый объект исследования.

Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.

Сумма рангов объекта исследования определяется по формуле:

где

– ранг оценки j -м экспертом j- гообъекта.

Если среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов по

наиболее важным следует считать объект, характеризующийся его наименьшим значением.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.

В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).

Коэффициент вариации (V_j) оценок, данных j- муобъекту определяется по формуле:

где

– оценка в баллах i -м экспертом j -гo объекта;

– среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:

где m_j – количество экспертов, оценивающих j- ыйобъект.

Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.

Коэффициент парной ранговой корреляции Спирмена

для двух экспертов αи β определяется по

где

– ранговые оценки j- гoобъекта экспертов α и β;

– показатели связанных (равных) рангов оценок экспертов αи β, вычисляемые следующим образом:

если все n рангов оценок, назначенных i -м экспертом различны, то Т_i = 0, иначе для равных рангов:

t₁ – количество связанных рангов в 1- й. группе.

Значение коэффициента

указывает на полную согласованность мнений экспертов αи β; значение

– о полной противоположности мнений экспертов; значение

– об отсутствии связи между мнениями экспертов.

Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое

сумм рангов оценок всех объектов:

затем вычисляются отклонения d_j суммы рангов оценок, полученных j- мобъектом от

после этого подсчитываются показатели T_i связных (равных) рангов ранговых оценок, назначенных i -м экспертом; в конечном итоге рассчитывается коэффициент конкордации:

где m₁ – количество экспертов, оценивших хотя бы один объект.

Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.

Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат»

. Последовательность определения уровня значимости по данному критерию состоит в следующем:

затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).

По таблице значений

для определенного числа степеней свободы и найденного значения

определяется вероятность Р случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – P_o (обычно Р_o = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Р_o, тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.

Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.

В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i -ой локальной АИСУ, ведущий специалист по разработке i -ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.

Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i -x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе [4]. При составлении таблиц экспертных оценок должны быть выполнены три условия:

· получены количественно определенные ответы на предлагаемые вопросы;

· получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;

· получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.

В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10, стр. 298), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции

, на часть из которых они могут повлиять.

Анализ оценки относительной важности влияния i -x

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: