Помощничек
Главная | Обратная связь


Археология
Архитектура
Астрономия
Аудит
Биология
Ботаника
Бухгалтерский учёт
Войное дело
Генетика
География
Геология
Дизайн
Искусство
История
Кино
Кулинария
Культура
Литература
Математика
Медицина
Металлургия
Мифология
Музыка
Психология
Религия
Спорт
Строительство
Техника
Транспорт
Туризм
Усадьба
Физика
Фотография
Химия
Экология
Электричество
Электроника
Энергетика

Общая схема экспертизы



Общая схема экспертных опросов включает следующие основные этапы:

— подбор экспертов и формирование экспертных групп;

— формирование вопросов и составление анкет;

— работу с экспертами;

— формирование правил определения суммарных оценок на основе оценок отдельных экспертов;

— анализ и обработку экспертных оценок.

Прежде чем приступить к рассмотрению содержания отдельных этапов экспертной процедуры, необходимо сделать следующее замечание.

Проблема экспертных оценок имеет самостоятельное теоретическое и прикладное значение и выходит далеко за рамки проблем экономического СУ. для ее решения используются специальные экономико-математические методы и методы системного анализа.

Здесь не стоит задача раскрытия сущности и содержания используемых методов, поскольку они достаточно полно отражены в обширной специальной литературе по проблеме. Поэтому представленная ниже краткая характеристика содержания от дельных этапов носит ознакомительно-описательный характер.

Для более глубокого изучения проблемы можно порекомендовать где, на наш взгляд, наиболее полно описывается как содержание этапов, так и используемый для их реализации аппарат.

Подбор экспертов и формирование экспертных групп. На этом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экспертов и их индивидуальных качеств, т.е. определяются требования к специализации и квалификации экспертов, необходимое число экспертов каждой специализации и общее их количество в группе.

Оценки численности группы экспертов производятся на основе следующих соображений.

Численность группы не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того на групповые экспертные оценки в значительной степени влияла бы оценка каждого эксперта.

При увеличении группы экспертов, хотя и устраняются эти недостатки, зато появляется опасность возникновения новых. Так, при очень большом числе экспертов оценка каждого из них в отдельности почти не влияет на групповую оценку. При чем рост численности экспертной группы далеко не всегда при водит к повышению достоверности оценок. Часто расширение группы экспертов возможно лишь за счет малоквалифицированных специалистов, что, в свою очередь, может привести к снижению достоверности групповых оценок. Одновременно с ростом числа экспертов увеличиваются трудности, связанные с координацией работы группы и обработки результатов опроса.

Существующие методы позволяют выбрать оптимальную в каждом конкретном случае численность группы и ее структуру

— численность экспертов требуемой специализации и квалификации.

При подборе экспертов должно быть учтено ограничение, касающееся соответствия целей экспертов целям экспертного опроса. То есть необходимо установить, имеется ли тенденция у отдельных экспертов оценивать необъективно рассматриваемые события. Для этого желательно выявить возможные потенциальные цели экспертов, противоречащие целям получения объективных результатов.

Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завысить или занизить оценки так, чтобы повлиять на групповые результаты в желательном для себя либо для других лиц направлении.

Формирование вопросов и составление анкет. Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входят:

— независимость формирования экспертами собственного мнения об оцениваемых событиях;

— удобство работы с предполагаемыми анкетами (вопросы формулируются в общепринятых терминах и должны исключать всякую смысловую неоднозначность и др.);

— логическое соответствие вопросов структуре объекта оп роса;

— приемлемые затраты времени на ответы по вопросам ан кеты, удобное время получения вопросов и выдачи ответов;

— сохранение анонимности ответов для членов экспертной группы;

— предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть разработаны правила проведения опроса и организации работы экспертной группы.

Работа с экспертами. В зависимости от характера исследуемо го объекта, от степени его формализации и возможности при влечения необходимых экспертов порядок работы с ними может быть различным, но в основном он содержит следующие три стадии.

На первой стадии эксперты привлекаются в индивидуальном порядке с целью: уточнить модель объекта, ее параметры и показатели, подлежащие экспертной оценке; уточнить формулировки вопросов и терминологию в анкетах; согласовать целесообразность той или иной формы представления таблиц экспертных оценок; уточнить группы экспертов.

На второй стадии экспертам направляются анкеты с пояснительным письмом, в котором описывается цель работы, структура и порядок построения таблиц с примерами. Если имеется возможность собрать экспертов вместе, то цели и задачи анкетирования, а также все вопросы, связанные с анкетированием, могут быть изложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполнение анкет при соблюдении правил анкетирования.

Третья стадия работы с экспертами осуществляется после получения результатов опроса, в процессе обработки и анализа полученных результатов. На этой стадии от экспертов в форме консультации обычно получают всю необходимую информацию для уточнения данных и их окончательного анализа.

Формирование правил определения суммарных оценок на основе оценок отдельных экспертов. Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Существует несколько способов использования группы экспертов. Один из них (метод согласования оценок) заключается в том, что каждый эксперт дает оценку независимо от других, а затем, с помощью определенных приемов, эти оценки объединяются в одну обобщенную (согласованную).

Например, если речь идет о вероятности наступления события (р) и i-й эксперт указывает для этой вероятности число р., то простейший способ получения обобщенной оценки состоит в вычислении средней вероятности:

р = рi / m,

где m — число экспертов, участвующих в экспертизе.

В методе «дельфи» в качестве обобщенного мнения принимается медиана оценок последнего тура опроса экспертов.

Можно рассчитать и средневзвешенное значение вероятности, если попытаться учесть вес (компетентность) самого эксперта, который определяется на основе предыдущей деятельности (отношение количества верных ответов к общему количеству), либо на основе других методов — самооценки эксперта с учетом своих знаний в области заданных вопросов, квалификации, должности, ученого звания и т.д.

где hi — вес, приписываемый i-му эксперту.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

В общем случае значения веса, приписываемого i-му эксперту, интерпретируются как вероятность задания им достоверной оценки.

В этом случае: 0< hi < 1.

В зависимости от специфики экспертного опроса, объекта исследования и используемой методики обработки экспертных данных оценки, даваемые экспертами, могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10, от 0 до 100. Вместе с тем принципиальной разницы в шкалах измерения нет, выбор какой-либо из них во многом определяется вкусом исследователя, проводящего экспертный опрос.

Принятая шкала измерения может в некоторой степени по влиять на выбор методов анализа и обработки мнений экспертов.

Анализ и обработка экспертных оценок. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты — варианты, показатели, факторы и т.п.), а также определить согласованность действий экспертов и достоверность экспертных оценок.

Так, например, выявленные в процессе качественного анализа систему управления необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения СУ — в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распространенными из них являются: ранжирование, непосредственная оценка, последовательное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности действий экспертов и достоверности экспертных оценок.

Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, о достоверности их оценок.

Коэффициент конкордации определяется из выражения:

где: σф2 — фактическая дисперсия суммарных (упорядоченных) оценок, данных экспертами;

σ2max— дисперсия суммарных (упорядоченных) оценок в случае, когда мнения экспертов полностью совпадают.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками различных экспертов отсутствует. При W = 1 согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше заданного (нормативного) значения Wн(W>Wн)

Можно принять W = 0,5. Считается, что при W > 0,5 действия экспертов в большей степени согласованны, чем не согласованны.

Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выявлены пять видов СУ, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти систему управления (представить в порядке их важности) по степени возможного их влияния на уровень потерь.

Результаты оценок четырьмя экспертами представлены в табл.1,2.

 

Таблица 1

Определение рангов важности вариантов развития СУ

Эксперты Варианты развития системы управления
Суммарный ранг важности

Таблица 2

Определение рангов важности вариантов развития СУ

 




Поиск по сайту:

©2015-2020 studopedya.ru Все права принадлежат авторам размещенных материалов.