Характеристика экспертных процедур

ЭКСПЕРТНЫЕ ПРОЦЕДУРЫ И МЕТОДЫ СУБЪЕКТИВНЫХ ОЦЕНОК в ИСУ

Как научный способ экспертный метод (метод основанный на интуиции, знаниях и опыте специалиста) был разработан сравни­тельно недавно и впервые получил название «Дельфи». В дальней­шем были разработаны другие аналогичные методы, имеющие в сво­ей основе экспертные оценки. Сначала экспертные методы использо­вались в основном для решения задач, связанных с прогнозированием в области пауки и техники, а затем стали применяться н других обла­стях, в том числе в управлении.

Сущность экспертных методов как при решении задач исследова­ния СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления заключается в усредне­нии различными способами мнений (суждений) специалистов-экспер­тов по рассматриваемым вопросам.

Очень важна форма сбора мнений экспертов. Это могут быть ин­дивидуальные, коллективные и смешанные, то есть различаться преж­де всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

• анкетирование (наиболее часто);

• интервьюирование;

• дискуссия;

• мозговой штурм;

• совещание;

• деловая игра.

Все они обладают своими достоинствами и недостатками. Сме­шанная форма применяется в случаях некоторой неясности пробле­мы, разногласиях индивидуальных мнений или разногласиях экспер­тов при коллективном обсуждении.

К разновидности экспертного метода можно отнести социологи­ческий опрос, который основан на опросе, сборе и анализе мнений респон­дентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной фор­ме — распространением анкет либо устно (на конференциях, аукцио­нах, выставках, в учебных заведениях и т.п.). При использовании это­го метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.

Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому при сбо­ре и обработке результатов экспертной и социологической информа­ции необходимо широко использовать компьютерную технику. Воз­можности для этого есть, так как автоматизация обработки резуль­татов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

Экспертный метод дает возможность оценивать систему управления при отсутствии информации. При этом каждый вид СУ характеризуется несколькими показателями (факторами). Оценка этих показателей определяется экспертами в баллах, кроме того, каждому из показателей назначается вес, соответствующий его значимости. Этот метод применительно к ИСУ основан на обработке мнений опытных предпринимателей или специалистов. Желательно, чтобы эксперты давали свои оценки вероятностей той или иной операции и т.п., но можно ограничиться получением оценок вероятностей допустимого, критического и катастрофического СУ.

Оценка СУ и выбор эффективного решения во многом зависит от человека, принимающего решения.

Характеристика экспертных процедур

Выше были рассмотрены часто применяемые в практической деятельности статистические методы количественной оценки экономического СУ.

Вместе с тем, существуют ситуации, когда по различным причинам, в значительной мере в связи с отсутствием достоверной информации, использование статистического метода не представляется возможным.

В таких случаях широко применяются методы, использующие результаты опыта и интуицию, то есть эвристические методы или методы экспертных оценок.

Особенностью эвристических методов и моделей является отсутствие строгих математических доказательств оптимальности получаемых решений. Общей направленностью этих процедур является использование человека как «измерительного прибора» для получения количественных оценок процессов и суждений, которые из-за неполноты и недостоверности имеющейся информации не поддаются непосредственному измерению.

Примерами традиционных эвристических процедур являются различные экспертизы, консилиумы, совещания и т.п., результатом которых являются экспертные оценки состояния объекта исследования.

Метод экспертных оценок находит достаточно широкое применение в различных областях деятельности, и на его основании реализуются серьезные и дорогостоящие мероприятия. Одной из сфер его применения является качественный анализ и количественная оценка экономического СУ.

Рассмотрим кратко характеристику экспертных процедур.

В практической деятельности применяются как индивидуальные, так и групповые (коллективные) экспертные оценки (оп росы).

Основными целями использования индивидуальных экспертных оценок являются:

прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем. Применительно к анализу и оценке СУ — это выявление источников и причин СУ, прогнозирование действий конкурентов, установление всех возможных взаимосвязей, оценка вероятности наступления событий, назначение коэффициентов относительной важности (значимости последствия) и ранжирование событий, вы явление путей снижения СУ и др.;

— анализ и обобщение результатов, представленных другими экспертами;

— составление сценариев действий;

— вьдача заключений на работу других специалистов и организаций (рецензии, отзывы, экспертизы и т.п.).

Достоинством индивидуальной экспертизы является оперативность получения информации для принятия решений и относительно небольшие затраты.

В качестве недостатка следует выделить высокий уровень субъективности и, как следствие, отсутствие уверенности в достоверности полученных оценок.

Указанный недостаток призваны устранить или ослабить коллективные экспертные оценки.

Процессу группового обсуждения по сравнению с индивидуальными оценками присущи некоторые отличительные особенности: коллективные оценки, как правило, менее субъективны, и решения, принятые на их основе, связаны с большей вероятностью осуществления.

Используя групповые экспертные процедуры, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с боль шей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.

Можно выделить следующие типы групповых экспертных процедур:

1) открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

2) свободное высказывание без обсуждения и голосования;

З) закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса.

Опыт показал, что традиционные методы обсуждения вопросов, поставленных перед группой экспертов, относящиеся к

первому типу экспертных процедур, не всегда обеспечивают достижение цели — достоверность полученных оценок.

Эти методы страдают рядом недостатков, таких, как влияние авторитетных и «напористых» участников на суждение остальных и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов (в том числе по проблемам анализа и оценки СУ) все большее распространение находят второй и третий типы групповых экспертных процедур.

Второй тип групповых экспертных оценок предусматривает отсутствие любого вида критики, препятствующего формулировке идей, свободную интерпретацию идей в рамках постав ленной проблемы.

Такой метод обсуждения получил названия метода коллективной генерации идей (по американской терминологии метод <мозговой атаки»). Он направлен на получение большого количества идей, в том числе и от лиц, которые, обладая большой эрудицией, обычно воздерживаются от высказываний.

Процесс выдвижения идей протекает в определенном смысле лавинообразно: высказываемая одним из членов группы идея порождает творческую реакцию у других.

Исследования эффективности метода коллективной генерации идей показали, что групповое мышление производит на 70% больше новых ценных идей, чем сумма индивидуальных мышлений. С помощью этого метода может успешно решаться ряд задач СУ, таких как:

— выявление источников и причин рассогласований в СУ, установление всех возможных сценариев развития;

— выбор направлений и путей совершенствования и развития СУ;

— формирование полного набора и качественная оценка вариантов, использующих различные способы снижения СУ или их комбинацию, и др.

К числу важнейших недостатков метода коллективной генерации идей относится значительный уровень информационно го шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.

При использовании результатов групповых экспертных процедур, осуществляемых посредством открытого обсуждения поставленных проблем, следует учитывать такое явление, как «сдвиг риска».

Феномен сдвига риска заключается в том, что после проведения открытой групповой дискуссии возрастает уровень рискованности принимаемых решений.

Существует ряд гипотез, объясняющих это явление — диффузия ответственности, ознакомление, лидерство, изменения полезности и т.д..

В настоящее время наиболее распространенным объяснением явления «сдвига риска» является использование гипотезы риска как ценности. Она исходит из идеи, согласно которой люди ценят риск, и в групповой ситуации многие из них, в том числе и так называемые осторожные индивиды, стремятся повысить свой статус в группе. Поэтому в условиях групповой дискуссии они меняют свои оценки в сторону большего риска с целью создать о себе представление как о людях решительных, способных и умеющих рисковать. Таким образом, данная гипотеза исходит из того, что сотрудники стремятся рисковать не меньше, чем другие члены коллектива. Если у конкретного члена группы уровень предпочтения риска оказывается значительно ниже среднего для группы, то это может вызвать у него беспокойство и опасения по поводу того, как к этому отнесется группа.

Третий тип групповых экспертных оценок — закрытое об суждение поставленных проблем — позволяет в значительной степени устранить указанные выше недостатки первого и второго типов экспертных процедур.

Примером экспертных процедур третьего типа может служить метод «Дельфи» (происходит от греческих дельфийских оракулов).

В методе «Дельфи» сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и «напористых» участников на суждение остальных, а также уменьшить или исключить явление «сдвига риска».

Метод «Дельфи» предусматривает проведение экспертного опроса в несколько туров. Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При обработке информации, полученной от экспертов, все оценки располагают в порядке их убывания N₁, ..., Nm затем определяют медиану (М) и квартили (Q₁, Q₂), которые разбивают все оценки на четыре интервала, как показано на рис. 4.1.

	Q1 M Q2

Рис.

Экспертов, чьи оценки попадают в крайние интервалы (не лежат внутри диапазона Q₁ - Q₂), просят обосновать свое мнение по поводу этих оценок. С их обоснованием и выводами, не указывая от кого они получены, знакомят остальных экспертов.

Подобная процедура позволяет специалистам изменять в случае необходимости свою оценку, принимая в расчет обстоятельства, которые они могли случайно упустить или которыми пренебрегли в первом туре опроса. Благодаря этому результаты второго и последующих туров опроса дают, как правило, меньший разброс оценок.

После получения оценок второго тура снова рассчитываются медиана и квартили.

Этот процесс продолжается до тех пор, пока продвижение к сближению точек зрения не становится незначительным. После этого фиксируются расходящиеся точки зрения.

Метод «Дельфи» наиболее целесообразен при количественных оценках отдельных событий, ситуаций и последствий от действий СУ в целом — определении вероятности наступления событий, оценке величины потерь, вероятности попадания потерь в определенный интервал и т.п.

Учитывая условность метода экспертных оценок, некоторые специалисты относятся к нему с недоверием, считая, что нет гарантии достоверности полученных оценок. Действительно, точно оценить достоверность полученных результатов нельзя. Вместе с тем, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Однако это не всегда так, и можно привести примеры, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.

Как показала практика использования экспертных оценок, в подавляющем большинстве случаев при согласованности мнений экспертов их оценки оказывались правильными.

Следует отметить, что при нахождении оценок экспертным путем помимо погрешности, обусловленной недостатком ин формации об исследуемом объекте и недостаточной компетентностью экспертов, возможна и погрешность совсем другого рода, обусловленная заинтересованностью экспертов в результатах экспертизы, что обязательно скажется на их достоверности. Наличие такого рода погрешностей может значительно искажать оценки.

Устраняются указанные недостатки путем использования соответствующих методов и, в первую очередь, посредством правильной организации экспертной процедуры — от подбора экспертов до обработки их мнений.

Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения сложных не формализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечивающая эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов на основе формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обычной давно известной экспертизы, применяемой в различных сферах человеческой деятельности.

Поиск по сайту: