Общая схема экспертизы

Общая схема экспертных опросов включает следующие основные этапы:

— подбор экспертов и формирование экспертных групп;

— формирование вопросов и составление анкет;

— работу с экспертами;

— формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

— анализ и обработку экспертных оценок.

Прежде чем приступить к рассмотрению содержания отдельных этапов экспертной процедуры, необходимо сделать следующее замечание.

Проблема экспертных оценок имеет самостоятельное теоретическое и прикладное значение и выходит далеко за рамки проблем экономического СУ. для ее решения используются специальные экономико-математические методы и методы системного анализа.

Здесь не стоит задача раскрытия сущности и содержания используемых методов, поскольку они достаточно полно отражены в обширной специальной литературе по проблеме. Поэтому представленная ниже краткая характеристика содержания от дельных этапов носит ознакомительно-описательный характер.

Для более глубокого изучения проблемы можно порекомендовать где, на наш взгляд, наиболее полно описывается как содержание этапов, так и используемый для их реализации аппарат.

Подбор экспертов и формирование экспертных групп. На этом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.

Оценки численности группы экспертов производятся на основе следующих соображений.

Численность группы не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.

При увеличении группы экспертов, хотя и устраняются эти недостатки, зато появляется опасность возникновения новых. Так, при очень большом числе экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. При чем рост численности экспертной группы далеко не всегда при водит к повышению достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицированных специалистов, что, в свою очередь, может привести к снижению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработки результатов опроса.

Существующие методы позволяют выбрать оптимальную в каждом конкретном случае численность группы и ее структуру

— численность экспертов требуемой специализации и квалификации.

При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов оценивать необъективно рассматриваемые события. Для этого желательно выявить возможные потенциальные цели экспертов, противоречащие целям получения объективных результатов.

Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завысить или занизить оценки так, чтобы повлиять на групповые результаты в желательном для себя либо для других лиц направлении.

Формирование вопросов и составление анкет. Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:

— независимость формирования экспертами собственного мнения об оцениваемых событиях;

— удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);

— логическое соответствие вопросов структуре объекта оп роса;

— приемлемые затраты времени на ответы по вопросам ан кеты, удобное время получения вопросов и выдачи ответов;

— сохранение анонимности ответов для членов экспертной группы;

— предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть разработаны правила проведения опроса и организации работы экспертной группы.

Работа с экспертами. В зависимости от характера исследуемо го объекта, от степени его формализации и возможности при влечения необходимых экспертов порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуальном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность той или иной формы представления таблиц экспертных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояснительным письмом, в котором описывается цель работы, структура и порядок построения таблиц с примерами. Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполнение анкет при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов. На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию для уточнения данных и их окончательного анализа.

Формирование правил определения суммарных оценок на основе оценок отдельных экспертов. Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Существует несколько способов использования группы экспертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем, с помощью определенных приемов, эти оценки объединяются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления события (р) и i-й эксперт указывает для этой вероятности число р., то простейший способ получения обобщенной оценки состоит в вычислении средней вероятности:

р = р_{i /} m,

где m — число экспертов, участвующих в экспертизе.

В методе «дельфи» в качестве обобщенного мнения принимается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятности, если попытаться учесть вес (компетентность) самого эксперта, который определяется на основе предыдущей деятельности (отношение количества верных ответов к общему количеству), либо на основе других методов — самооценки эксперта с учетом своих знаний в области заданных вопросов, квалификации, должности, ученого звания и т.д.

где h_i — вес, приписываемый i-му эксперту.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

В общем случае значения веса, приписываемого i-му эксперту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае: 0< h_i < 1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Вместе с тем принципиальной разницы в шкалах измерения нет, выбор какой-либо из них во многом определяется вкусом исследователя, проводящего экспертный опрос.

Принятая шкала измерения может в некоторой степени по влиять на выбор методов анализа и обработки мнений экспертов.

Анализ и обработка экспертных оценок. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты — варианты, показатели, факторы и т.п.), а также определить согласованность действий экспертов и достоверность экспертных оценок.

Так, например, выявленные в процессе качественного анализа систему управления необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения СУ — в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распространенными из них являются: ранжирование, непосредственная оценка, последовательное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности экспертных оценок.

Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, о достоверности их оценок.

Коэффициент конкордации определяется из выражения:

где: σ_ф² — фактическая дисперсия суммарных (упорядоченных) оценок, данных экспертами;

σ²_max— дисперсия суммарных (упорядоченных) оценок в случае, когда мнения экспертов полностью совпадают.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения W_н(W>Wн)

Можно принять W = 0,5. Считается, что при W > 0,5 действия экспертов в большей степени согласованны, чем не согласованны.

Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выявлены пять видов СУ, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти систему управления (представить в порядке их важности) по степени возможного их влияния на уровень потерь.

Результаты оценок четырьмя экспертами представлены в табл.1,2.

Таблица 1

Определение рангов важности вариантов развития СУ

Таблица 2

Определение рангов важности вариантов развития СУ

Поиск по сайту: