Формирование группы экспертов

Необходимость применения методов экспертных оценок

Методы экспертных оценок - организационные, логические и математико-статистические процедуры, направленные на получение от специалистов
информации, ее анализ и обобщение с целью подготовки и выбора оптимальных решений [1].

Экспертные оценки являются важным средством при проектировании автоматизированных систем управления. Особенно велика их роль при отсутствии возможности получения количественных оценок и решений иными путями (например, математическим моделированием), что типично для начальных этапов разработки автоматизированных систем управления. На этих этапах перед разработчиками возникают три группы проблем:

• исследование объекта управления (выявление факторов, в наибольшей
степени влияющих на показатели качества функционирования объекта,
построение математической модели, описывающей функционирование
объекта, и т.п.);

• формирование требований к проектируемой системе (выбор показателей
качества функционирования системы, функциональной структуры системы, способов ее реализации и т.д.);

• планирование разработки системы (определение очередности разработки
задач, выбор исполнителей и т.д.).

Часто наиболее экономичным (а иногда и единственно возможным) способом получения информации, необходимой для решения перечисленных выше
задач, является специально организованный опрос специалистов (экспертов) с
последующей обработкой сведений, содержащихся в высказанных экспертами
мнениях и оценках.

Основные этапы методов экспертных оценок:

• формулирование задачи, подлежащей решению;

• формирование группы экспертов;

• выбор метода опроса;

• обработка результатов опроса.
Остановимся кратко на каждом из них.

Подготовка и организация опроса экспертов

Формулирование задачи, подлежащей решению

Получение экспертных оценок, как правило, является этапом решения
конкретной задачи проектирования, на котором извлекается информация, необходимая для принятия решений при проектировании.

Непосредственными целями экспертных оценок при проектировании автоматизированных систем могут являться, например, следующие:

• выбор перечня показателей качества функционирования конкретной системы;

• составление перечня задач, решаемых системой, необходимых подсистем, вариантов построения системы и т.п.;

• определение степени важности задач, подсистем, вариантов и т.п., включенных в перечень, и их упорядочение по важности (или в общем случае
упорядочение объектов по степени выраженности определенного признака);

• определение очередности разработки задач при проектировании системы;

• оценка количественных значений параметров моделей (например, интервалов времени совершения определенного события при планировании работ) и т.п.

Для сбора и обработки экспертных оценок обычно создается рабочая
группа, в задачи которой входит формирование группы экспертов, выбор метода опроса, проведение опроса и обработка его результатов [8].

Формирование группы экспертов

Достоверность результатов экспертной оценки зависит от числа экспертов в группе, долевого состава различных специалистов, характеристик экспертов. При подборе экспертов необходимо учитывать их компетентность, заинтересованность в результатах исследования, деловитость, объективность [8]. Существуют методы получения количественной оценки степени компетентности предполагаемых экспертов [1,2,3]. Эти методы основаны на специальных тестах, взаимооценках экспертов или их самооценках. По этим оценкам рассчитываются коэффициенты компетентности экспертов, которые могут быть использованы па этапе формирования экспертной группы и этапе обработки результатов опроса [3,4].

В частности, проверка компетентности экспертов на основе самооценки
может проводиться следующим образом. Вначале эксперты указывают степень
своей информированности об исследуемой проблеме по 10-балльной шкале, затем - источники аргументации своего мнения, отмечая степень влияния каждого источника на его мнение в таблице 1.

Таблица 1

Источники аргументации мнения эксперта

После наложения эталонной таблицы 2 на таблицу 1 подсчитывается коэффициент аргументированности эксперта как сумма баллов по всем источникам, отмеченным экспертом.

Далее определяется коэффициент компетентности эксперта по следующей формуле:

(1)

где ku - коэффициент информированности, определяемый на основе самооценки информированности в баллах, умноженной на 0,1; ka - коэффициент аргументированности, получаемый в результате суммирования баллов по эталонной таблице.

Таблица 2

Эталонная таблица баллов информированности экспертов

Коэффициент компетентности может принимать значения от 0 до 1. Чем больше будет его значение, тем более обоснованными следует считать мнение данного эксперта [3,4].

Выбор метода опроса

Существующие методы опроса можно разделить на индивидуальные (анкетирование, интервьюирование) и групповые (метод комиссий, «мозговая атака»), очные (интервьюирование, метод комиссий) и заочные (анкетирование). Каждый из методов имеет свои преимущества и недостатки. Основной недостаток индивидуальных методов - отсутствие взаимодействия между экспертами, что приводит к плохой согласованности оценок. Групповые методы дают, как правило, хорошую согласованность, но могут приводить к смещению оценок из-за влияния таких психологических факторов, как отсутствие анонимности, влияние лидера, следование за мнением большинства, нежелание отказаться от публично выраженного мнения и по другим причинам.

Хорошие результаты получаются при использовании индивидуального
опроса в виде анкетирования, дающего возможность анонимного взаимодействия экспертов при выработке решений. Такое взаимодействие обеспечивается применением метода «Дельфы», который предусматривает проведение нескольких туров индивидуального анкетирования (обычно 2-4 тура). Ответы экспертов после каждого тура обобщаются и вместе с дополнительной информацией (в частности, аргументацией в пользу крайних мнений) поступают в распоряжение экспертов, после чего они уточняют свое первоначальное мнение. Например, при оценке коэффициентов важности тех или иных факторов отмечаются мнения экспертов, чьи оценки ниже или выше 75% специалистов, входящих в экспертную группу. Итерации повторяются до получения приемлемой сходимости высказанных мнений [1,2].

Поиск по сайту: