Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции:

1. Формируют объекты (альтернативные ситуации, цели, решения и т. п.);

2. Производят измерение характеристик сформированных объектов (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.).

Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов.

В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем условно можно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

2) групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок весьма широка.

Типовые задачи, решаемые методом экспертных оценок:

1) составление перечня возможных событий в различных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов времени свершения совокупности событий;

3) определение целей и задач управления с упорядочением их по степени важности;

4) определение альтернативных вариантов решения задачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

Подбор экспертов

Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив зависимость между качеством, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.

После составления списка экспертов им направляются уведомления с приглашением участвовать в экспертизе, в которых указываются цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.

2.4 Метод экспертных оценок “Делфи”

Метод экспертных оценок “Делфи” относится к классу методов групповых экспертных оценок. Он был разработан и применен впервые в США в 1964 г. сотрудниками научно- исследовательской корпораций РЭНД О. Хелмером и Т. Гордоном.

Сущность метода "Делфи" состоит в последовательном анкетировании мнений экспертов различных областей науки и техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные как на строго логическом анализе, так и на интуитивном опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты.

Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта производится, исходя из следующих принципов:

1. вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

2. опрос экспертов проводится в несколько туров, в ходе которых вопросы и ответы все более уточняются.

3. все опрашиваемые эксперты знакомятся после каждого тура с результатами опроса;

4. эксперты обосновывают оценки и мнения, отклоняющиеся от мнения большинства;

5. статистическая обработка ответов производится последовательно от тура к туру с целью получения обобщающих характеристик.

Таким образом, с помощью метода "Делфи" выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им вместе с тем периодически взвешивать свои суждения с учетом ответов и доводов коллег. Пересмотр и возможность изменения своих прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулируют опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

Метод "Делфи" дает возможность заменить прямые дебаты тщательно разработанной программой последовательных индивидуальных опросов (с помощью анкет) и, использовав обратную связь, т. е. доводя до сведения экспертов мнение, полученное посредством рассчитанного согласованного мнения по предшествующим вопросам той или иной прогнозируемой проблемы получить более уточненную оценку. При этом используется метод дифференцированного взвешивания мнений, т. е. мнение экспертов устанавливается по взвешенной медиане, когда дается больше одного голоса мнениям или оценкам, объективно заслуживающим предпочтение. В этом случае используется метод установления собственной компетентности в каком-либо вопросе самими экспертами.

Считается, что оптимальным является месячный интервал между опросами экспертов.

Метод "Делфи" имеет следующие недостатки.

1. При рассмотрении оценок группы экспертов оценка, слишком сильно отличающаяся от других, практически исключается, несмотря на то что она может оказаться более верной, чем остальные, т. е. большинство экспертов могут сойтись в ошибочной оценке. Правда, подобные отклонения, по мнению авторов метода "Делфи", компенсируются до некоторой степени тем, что по данному методу эксперта, не согласного с большинством, просят высказать причины несогласия. Все эксперты имеют возможность ознакомиться с этими причинами и могут принять во внимание или отвергнуть их, переоценить свое мнение или остаться при нем.

2. Достаточно трудно четко сформулировать вопросник. Максимальная точность достигается за счет громоздкого стиля изложения, вызывающего отрицательную реакцию у отвечающих на анкету. Здесь также нужно найти оптимум между четкостью и лаконичностью поставленных вопросов, дабы все участники одинаково их интерпретировали.

3. Еще одним недостатком дельфийского прогноза является то, что ответы высококомпетентных экспертов как бы разбавляются оценками менее информированных специалистов, кроме того, в ряде случаев одни и те же специалисты включены в разные группы (чего допускать нельзя). Последующие прогнозы по данному методу предполагается проводить с использованием в целом ряде групп только экспертов, компетентных в более узких областях знаний, вопросы для которых не должны выходить за грани их компетенции. Предполагается также поощрять незаполнение анкет, когда эксперт считает, что тот или иной вопрос выходит за пределы его компетенции, а также когда он дает соответствующую оценку своей компетенции по данной проблеме.

При использовании метода "Делфи" следует учитывать следующее:

1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.

2. Время между турами опросов должно быть не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7. Нужна формула согласованности оценок, основанная на данных самооценок.

8. Следует установить влияние различных видов передачи информации экспертам по каналам обратной связи.

9. Необходимо установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.

Поиск по сайту: