Методология экспертного опроса

Экспертный опрос — разновидность социологического опроса, в ходе которого респондентами выступает особый тип людей — эксперты. Это компетентные лица, имеющие глубокие знания о предмете или объекте исследования.

Эксперт(лат. expertus — опытный) — специалист, делающий заключение при рассмотрении какого-нибудь вопроса.

Представитель любой сферы деятельности, кроме нашей соб­ственной, может выступать для нас в качестве эксперта. Отличи­тельная особенность этого метода состоит в том, что он предпо­лагает компетентное участие экспертов в анализе и решении про­блем исследования. К примеру, для оценки ожидаемого спроса на те или иные виды продукции экспертами могут выступать про­давцы или товароведы магазинов, руководители малых предпри­ятий, дилеры или брокеры. В армейском подразделении экспер­тами могут быть командиры, офицеры воспитательных структур, старослужащие (они, как правило, осведомлены по широкому кругу вопросов службы и быта).

В связи с этим серьезно меняется ролевая функция эксперта, ко­торый в полном смысле слова выступает активным участником соци­ологического исследования. И попытка скрыть от него цель исследо­вания, превратив, таким образом, в пассивный источник информа­ции, чревата потерей его доверия к организаторам исследования².

От других форм социологического опроса экспертный метод отличают несколько весьма важных черт:

♦ количество опрашиваемых: их всегда меньше, чем при ан­кетировании и даже интервью;

•■»

♦ качества опрашиваемых: кругозор, уровень квалификации, знание специальной области у них на несколько порядков выше, чем у обычных респондентов;

♦ тип и объем информации: экспертный опрос проводится для получения знаний, которых нет и никогда не будет у социолога-исследователя; в отличие от обыденных знаний, которые извест­ны социологу из своего опыта, получаемые от экспертов знания относятся к специальным научным знаниям;

♦ типичность данных: в массовом опросе социолога интере­сует типичность, повторяемость, обычность добываемых сведений о ценностных ориентациях и мотивах поведения людей, а в экс­пертном опросе исследователь дорожит именно уникальностью технических или гуманитарных знаний эксперта, их глубиной, неповторимостью;

♦ программная функция: первичную информацию, получае­мую в анкетировании или интервью, социолог использует для проверки научных гипотез, а в экспертном опросе — для того, чтобы разобраться в совершенно новой для себя области.

Такие формы сбора первичной социологической информации, как анкетирование, интервьюирование, почтовый опрос, телефон­ное интервью, предназначены прежде всего для массовых опро­сов. Их особенность заключается в том, что они направлены на выявление информации, которая отражает знания, мнения, цен­ностные ориентации и установки респондентов, их отношение к событиям, явлениям действительности. И то, что данная инфор­мация основывается на индивидуальном интересе опрашиваемых и может быть весьма субъективной, отнюдь не противоречит на­учному характеру ее получения. Напротив, цель массового опро­са заключается в том, чтобы при помощи соответствующего ин­струментария получить достоверные сведения о предмете и объек­те исследования. Например, выявить группы читателей по степени их интереса к различным рубрикам газеты либо дифференциро­вать студентов по уровню их активности на занятиях и т.д. Таким образом, в ходе массового опроса источником социологической информации, дающей оценку тем или иным сторонам объекта исследования, выступают представители этого же объекта³.

Основное назначение экспертного опроса: выявление наиболее существенных, важных аспектов исследуемой проблемы, повыше­ние надежности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов.

Область применения экспертного опроса: может быть использо­ван при изучении всех сфер деятельности; в диагностике, в оцен­ке состояний социального объекта, нормировании, проектирова­нии, прогнозировании, в принятии решений. Разновидности эк­спертного опроса достаточно эффективно применяются на разных этапах социологического исследования: в определении целей и задач, выявлении проблемных ситуаций, поиске гипотез, ходе интерпретации понятий, обосновании надежности инструмента­рия и исходной информации, в обосновании выводов, в выработке рекомендаций.

Основные нормативные требования: при опросе экспертов нуж­но дать четкое обоснование необходимости применения соответ­ствующей методики экспертного опроса. Тщательность подбора экспертов: обязательная оценка их компетентности. Учет факто­ров, влияющих на суждения эксперта. Создание условий для наи­более продуктивного использования экспертов в ходе исследова­ния. Сохранение полученной от экспертов информации без иска­жения на всех этапах исследования.

Существуют некоторые ограничения в применении выводов для разных методик экспертных опросов. Так, при использовании не­которых методик экспертных оценок полезно помнить, что заклю­чения по их экспертизам имеют тенденцию к усреднению мнений, а потому могут оказаться непригодными для оценки нестандарт­ных явлений, например новаторских произведений искусства. Не следует также забывать, что данные экспертного опроса носят субъективный характер, а потому желательно их сопоставление с объективной информацией об объекте, полученной другими мето­дами (хотя часто применение экспертного опроса вызвано как раз трудностью получения информации другим способом).

Программа применения экспертного опроса включает в себя основные структурные элементы программы социологического исследования. Ведущими задачами являются: выделение целей опроса, построение критериев подбора, правил организации уча­стия экспертов и критериев оценки данной ими информации. В отличие от массового опроса программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подле­жащее оцениванию явление, предусматриваются в виде гипотез возможные варианты его исхода.

Основной инструментарий экспертных опросов — анкета или бланк-интервью, разработанные по специальной программе. В соответствии с этим процедура опроса может заключаться либо в анкетировании, либо в интервьюировании экспертов.

Бесспорно, для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После Вто­рой мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина — экспертные оценки. Экспертные оценки — это суждения знатоков, предпола­гающие процедуру сравнения объектов, их свойств по выделен­ным критериям. Метод экспертных оценок — вид экспертного оп­роса, предполагающий использование экспертных оценок. Основ­ное содержание метода заключается в рациональной организации осуществляемого экспертами анализа проблем с последующей оценкой выделенных исследователем суждений и обработкой по­лученных данных.

Фоновые суждения фиксируют факторы, влияющие на состояние изучаемого объекта. В процедуре опроса эксперт вьщеляет среди них наиболее важные, существенные для объекта, дает им оценку.

Применение экспертного метода опроса связано с соблюдени­ем определенных правил. При его организации большое внимание уделяют обычно трем методологическим проблемам: подбору экс­пертов, процедуре их работы, обработке высказанных мнений⁴.

4.2. Виды экспертного опроса

Экспертный опрос — это совокупность (еще говорят: комплекс) различных методов, приемов, техник, процедур. Прежде всего процедура работы экспертов может быть совместной или отдель­ной. Среди коллективных процедур можно обнаружить метод «мозговая атака (штурм)», обычную дискуссию, дельфийскую тех­нику. Выделим две основные процедуры: обычный опрос и мно­гоступенчатый опрос. Первая предполагает проведение разового анонимного опроса. Он и в организационном, и в экономическом отношении наиболее легкий. В принципе он мало чем отличает­ся от обычного массового опроса. Вторая процедура связана с тен­денцией усложнять задачу экспертов. Многоступенчатость вводит­ся для того, чтобы на каждом последующем этапе эксперты ре­шали все более сложные задачи. Обычно экспертам предлагается использовать различные логические методы анализа («дерево це­лей», таблицы «взаимного влияния», сценарии и т.д.). Сам по себе многоступенчатый опрос может быть организован по-разному: сначала могут быть поставлены общие вопросы, затем все более

конкретные (метод «воронки») или, наоборот, в конце эксперты делают некие обобщения (метод «пирамиды»).

Так как участники опроса, как правило, осведомлены о цели и задачах опроса, теряется смысл использования косвенных вопросов, проективной техники, тестов и других приемов, с помощью кото­рых обычно выявляют позиции респондента без его ведома. Их ис­пользование, а также применение «вопросов-ловушек» может даже нанести заметный ущерб качеству экспертного опроса. Ведь экс­перт — это участник научного исследования, всякие попытки пре­вратить его из субъекта исследования в объект могут поколебать ос­новы взаимного доверия, которое необходимо между организатора­ми исследования и экспертами. Чтобы добиться активного и серьезного отношения эксперта, дать ему почувствовать себя полноп­равным участником научного исследования, его необходимо в какой-то мере познакомить с программой исследования. В силу специфи­ки экспертной аудитории основным методом опроса становится не интервью, а анкета, заполняемая самим экспертом. Причем в анке­те значительно чаще прибегают к открытым вопросам, которые по­зволяют лучше установить творческий потенциал эксперта, и дают возможность участнику опроса высказать оригинальную точку зре­ния. Кроме того, отказ от подсказок ослабляет влияние стереотипов.

Методисты выделяют также методы заочного и очного экспер­тного опроса. К методам первого из них относятся: письменный опрос (сбор мнений), анкетирование (формализованный опрос), метод независимых характеристик и дельфийская техника, ко вто­рым — интервью, совещание, исследовательская беседа, «мозговая атака». Число экспертов не должно превышать 10—15 человек.

Наиболее простым видом заочного опроса экспертов является письменный опрос (сбор мнений). Он состоит в том, что экспертам рассылаются (раздаются) специально подготовленные опросные листы, в которых они должны изложить свое мнение по существу поставленных вопросов. При составлении экспертного вопросни­ка используется от 50 до 90% открытых вопросов. Сбор мнений подобен свободному интервью и отличается от него лишь письмен­ной формой опроса, которая дает возможность привлечь большое число экспертов. Правда, заочный опрос связан с организационны­ми трудностями, обусловленными низким уровнем возврата анкет.

Формализованный опрос экспертов представляет собой обычное анкетирование с вопросами, сформулированными как в открытой, так и в закрытой форме. По целям, задачам и содержанию этот метод существенно отличается от письменного сбора мнений. Если последний проводится для выявления эвристичных, прин­ципиально новых идей, взглядов на проблему, неожиданных под-

ходов к старой проблеме, то анкетирование направлено на выяс­нение оценок тех или иных аспектов готового решения. Обычный метод анализа данных в таком случае — статистический.

Метод независимых характеристик позволяет дать обобщенную оценку одного явления, информация о котором поступает из не­скольких независимых источников (от разных людей). На первом этапе происходит сравнение и сопоставление разных мнений, на втором — они обрабатываются с помощью математико-статистичес-ких процедур, на третьем — формулируются достоверные выводы. Такой метод активно применяется в социальной психологии для изучения деловых и личностных качеств индивида⁵. Здесь несколь­ких людей, хорошо знакомых с изучаемым человеком, просят оха­рактеризовать его по единой шкале, а затем обобщают независимые оценки в интегральный показатель. В коллективной оценке субъек­тивные отклонения взаимопогашаются, что обеспечивает в конеч­ном итоге объективный, научно обоснованный результат.

Одной из самых распространенных процедур проведения экс­пертного опроса выступает «дельфийская техника». Метод предус­матривает опрос экспертов в несколько туров, обработку резуль­татов каждого тура, информирование их об этих результатах и вновь повторение такой же процедуры. В первом туре ответы да­ются без аргументации. После обработки выделяются крайние и средние суждения и сообщаются экспертам. Во втором туре оп­рашиваемые вновь обращаются к своим оценкам. Так как они имели достаточно времени на размышление и узнали о существо­вании других позиций на этот счет, им предоставляется возмож­ность пересмотреть свои взгляды либо, напротив, аргументиро­вать. После второго тура обрабатываются новые оценки: крайние и средние мнения обобщаются, итоги вновь докладывают экспер­там. Так повторяется 3—4 раза. Практика показывает, что после третьего или четвертого тура мнения экспертов не меняются. В ходе подобной процедуры вырабатывается согласованная оцен­ка, при этом исследователь не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей позиции.

Метод «Дельфы» направлен на усовершенствование процесса принятия экспертных оценок, но с такой целью, чтобы общую оценку выводила не математика и статистика, а сами люди, ори­ентируясь на мнение других, если надо корректируя его, усили­вая свою аргументацию или отказываясь от нее в пользу наилуч-

шей, более обоснованной точки зрения. Подобная техника позво­ляет уменьшить влияние недостаточно компетентных экспертов на групповую оценку, как это наблюдается при простом анкети­ровании. Оно достигается за счет полученной ценной информа­ции от более компетентных экспертов.

Метод «мозговой атаки» («мозгового штурма») считается наибо­лее известным методом коллективного принятия творческих реше­ний. Он представляет собой свободный, неструктурированный про­цесс генерирования собственных идей вокруг заданной темы, спон­танно предлагаемых участниками. Философия этого метода исходит из предположения, что при обычных приемах обсуждения возник­новению новаторских идей препятствуют контрольные механизмы сознания, которые сковывают поток этих идей под давлением при­вычных, стереотипных форм принятия решения. Тормозящее влия­ние оказывают боязнь неудачи, страх оказаться смешным и т.д.

Этот метод разработан и описан американским психологом А.Ф. Осборном в 1938 г. Ученый обратил внимание на то, что одни люди легко выдвигают новые идеи, другие больше склонны к кри­тическому анализу чужих идей. При обычных обсуждениях обе ка­тегории людей оказываются вместе и, как правило, мешают друг другу. Вот почему было решено разделить этапы генерирования идей и их анализа. Для этого создаются две группы: участники мозговой атаки — те, кто должен предложить новые варианты ре­шения нужной задачи, и члены комиссии, которые будут обраба­тывать предложенные материалы. В первую группу, которая бу­дет генерировать идеи, сначала назначается руководитель, кото­рый будет эту группу укомплектовывать, включая в нее 4—11 человек. Члены этой группы не могут быть связаны отношения­ми «руководитель—подчиненный» из-за угрозы разрушения атмос­феры доверия. Руководитель опроса сообщает членам группы суть решаемой проблемы за 2—3 дня до проведения «мозговой атаки». Проблема должна быть обозначена как можно более четко и все­сторонне. При проведении мозговой атаки в группе создается не­принужденная атмосфера. Этому содействует состав группы, по­ведение руководителя, выбор помещения, освещение и т.д. Ник­то из участников не должен бояться того, что его высказывания не представляют ценности. Предложения или идеи нельзя нега­тивно оценивать ни словом, ни жестом, ни интонацией (любая критика запрещена), наоборот, желательна их поддержка и раз­витие. Свои мысли участники должны высказывать откровенно и свободно. Нередко это уменьшает скованность группы и являет­ся первопричиной рождения оригинальных идей. Поступившие при обсуждении предложения фиксирует секретарь. Мозговой 494

штурм длится не более 2—3 ч. Слишком быстрое завершение не­желательно, так как установлено, что новые и оригинальные идеи возникают часто тогда, когда кажется, что исчерпаны все возмож­ные мысли и ассоциации. I

Распространенными считаются две формы мозговой атаки: про­стое совещание и совещание по круговой системе.

На простом совещании руководитель поочередно опрашивает каждого участника и просит высказать предложение по решению стоящей перед ними проблемы. Каждое решение заносится в спи­сок и нумеруется, затем этот список вывешивается у всех на виду. Критика или оценка идей не допускается. Особое значение уделяет­ся созданию свободной и творческой обстановки, позволяющей всем экспертам беспрепятственно высказывать свои идеи и предложения. Большое значение имеет количество представленных предложений. В их выдвижении должны участвовать все. Особо ценится экспромт, т.е. предложения, возникшие тут же и под влиянием той информа­ции, которую эксперт услышал от других. Они ценятся выше домаш­них заготовок, поскольку аккумулируют коллективную мысль, по- ' множенную на знание ситуации и творческое воображение автора идеи. Если атака на непознанное идет слишком вяло, совещание переносят на другую дату, позволяя экспертам «дозреть».

При совещании по круговой системе эксперты разбиваются на небольшие группы, состоящие из 3 или 4 человек, где продуци­руют новые идеи и записывают их на листе бумаги или на кар­точках (по 2—3 идеи на каждой). Затем члены малой группы об­мениваются своими карточками, в результате чего к старым иде­ям добавляются новые. После троекратного обмена каждая подгруппа составляет сводный перечень выдвинутых идей. Затем собирается весь коллектив, на рассмотрение которого представ­ляются групповые отчеты. Такую форму целесообразно использо­вать при снижении активности или когда участники отвлекаются в ожидании своей очереди.

Список идей, выдвинутых в результате «мозгового штурма», обыч­но довольно длинный (более 15—20). Ведущему бывает сложно оп­ределиться с их приоритетностью, а участникам — дождаться своей очереди на обсуждение. В помощь рекомендуют применять следую­щий метод. Перечень идей с порядковыми номерами вывешивается на видном месте. Каждый эксперт получает право на пять голосов, которыми он может распорядиться по своему усмотрению: по одно­му голосу за каждую из пяти идей, все пять — за одну, два голоса за одну идею и по одному за каждую из трех других и т.д. Такой под­ход позволяет каждому эксперту высказать свое предпочтение, а кол­лективу в целом — определиться с приоритетами. Другой способ: на

заседании группы каждая идея зачитывается под своим номером, а эксперты голосуют поднятием рук. Число вытянутых пальцев на поднятой руке указывает на количество поданных голосов⁶.

Метод «мозговой атаки наоборот» во многом напоминает обыч­ную «мозговую атаку», но при этом разрешается высказывать кри­тические замечания. Точнее сказать, критика специально поощря­ется, так как философия такого метода построена на том, чтобы все эксперты выявляли как можно больше недостатков у предлагаемых идей. Метод может дать неплохие результаты, если он выступает предваряющей процедурой к другим методам экспертизы.

Метод прогнозных сценариев — наиболее популярный в последние десятилетия метод экспертных оценок. Термин «сценарий» впервые был употреблен в 1960 г. футурологом Г. Каном при разработке кар­тин будущего, необходимых для решения стратегических вопросов в военной области. Сценарий — это вероятностное описание карти­ны будущего, составленной на основе компетентных технических суждений. Один прогноз включает несколько сценариев, в большин­стве случаев три: оптимистический, пессимистический и промежу­точный (наиболее вероятный, ожидаемый). Составление сценария происходит в несколько этапов: 1) структурирование и формулировка вопроса: сбор и анализ исходной информации, согласование задачи со всеми участниками проекта, выделение структурных характерис­тик проблемы; 2) определение факторов внешнего влияния; 3) на­хождение показателей, желательно альтернативных, будущего состо­яния; 4) формирование и отбор согласующихся наборов пред­положений при помощи компьютерных программ; 5) разработка практических рекомендаций к сценарию будущего и определение возможных последствий его реализации.

Метод коллективного блокнота («банка» идей) — способ, осно­ванный на сочетании независимого выдвижения идей каждым экспертом с последующей их коллективной оценкой.

Метод KJ— так называется метод антропологических исследо­ваний, когда исследователи сначала собирают коллекцию фактов о жизни племени, а затем просят туземцев объяснить их значение. Японский бизнес адаптировал метод KJследующим образом: слу­жащих компании просят набросать на листочках бумаги свои по­желания об усовершенствованиях процесса производства и пред­ложения о том, что компании следует делать. Полученные поже­лания и предложения анализируются, и на основе суммы мнений получается картина, на которой изображена перспектива компа-496

нии и ее подразделений в будущем. Метод носит скорее интегри-рующий, чем аналитический, характер.

Метод неспециалиста заключается в том, что решение пробле-мы предлагается лицам, которые никогда ею не занимались, но являются специалистами в смежных областях.

Пример. В Центре социологии региональных и национальных отношений ИСПИ РАН (рук. чл.-кор. РАН В.Н. Иванов) изучение проблем взаимодей­ствия федерального центра и регионов построено на основе систематичес­ких опросов экспертных групп⁷. В состав экспертных групп или так называ-емых групп специализированного сознания входили: специалисты облает- ных (республиканских, краевых) и городских администраций, руководители предприятий и учреждений различной формы собственности, работники средств массовой информации, высшего образования, а также представи-тели творческих союзов. Метод сбора информации — раздаточная анкета. География исследований была весьма широкой. По Сопоставимой методи-ке исследования проводились в Москве, Ставрополе, Уфе, Петрозаводске, Якутске, Улан-Удэ, Тюмени, Новосибирске, Казани, Астрахани, Тамбове, Саранске, Рязани, Ростове-на-Дону, Волгодонске, Барнауле, Владикавка­зе, Нальчике, Назрани. Данные экспертных опросов, проведенных в 2000— 2002 гг., свидетельствуют, что если сложившаяся к концу 1990-хгг. ситуация в РФ могла быть охарактеризована как кризисная, а в начале 2000-х гг. она начинает выправляться (обнаружена положительная динамика оценок экс-пертов во времени). Ежегодные экспертные опросы, проводимые Отделом социальной экологии регионов ИСПИ РАН (рук. И. А. Сосунова), позволяют определить значимые для населения экологические проблемы, порождаю-щие негативные социально-экологические процессы. В частности, установ-лено, что наиболее болезненно воспринимаются населением проблемы, про-являющиеся в сфере здравоохранения и порождающие социально-демо-графические, социально-экономические и иные последствия. В результате опроса членов экспертных советов по социальным и гумани-тарным наукам ВАКа сотрудники Отдела теоретических проблем социоло-гии ИСПИ РАН (рук. Л.Н.Москвичев) получили следующие данные: почти половина экспертов отмечают снижение требований к кандидатским рабо-там и около 40% экспертов отмечают снижение требований к докторским работам. Примерно такая же ситуация складывается и применительно к дис-сертациям по социологическим наукам.

4.3. Отбор экспертов

\И в массовом, и в экспертном (его в противоположность мас­совому можно назвать элитарным) опросе чуть ли не главным мо­ментом выступает отбор опрашиваемых. В первом случае речь идет о правильном составлении выборочной совокупности, которая впоследствии обеспечит репрезентативность данных. Уровень об­разования и компетентности, если это не опрос целевой группы, не играют никакой роли — все равно вопросы для всех стандарти­зированные. Во втором случае задача стоит почти обратная. Типич­ные эксперты нужны далеко не всегда. Часто социологу необходи­мы эталонные, лучшие представители своей профессии. И на реп­резентативность данные проверять никто не станет. Достоверность данных в массовом опросе как некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. Что же касается экспертного опроса, то в связи с высокой компетент­ностью участвующих в нем лиц мнение даже одного эксперта, а тем более группы экспертов может оказаться достаточно обоснованным и достоверным. Отметим и другой факт: некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решают­ся в ходе исследования с их помощью. Так, например, в эксперт­ной анкете не применяются косвенные и контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выя­вить «скрытые» позиции респондента.

Состав экспертной группы определяет эффективность исполь­зования этого метода. Дело в том, что такой характеристикой, как знания и опыт по данной проблематике, можно пользоваться толь­ко на самом первоначальном этапе отбора. Очень часто исследо­ватель в первоначальный список потенциальных экспертов вклю­чает всех, кто работает в данной области, а затем отбирает из него узкий круг лиц.

Как же грамотно сформировать нужную группу экспертов? Вот что предлагают авторы известной у нас в стране книги «Основы прикладной социологии», изданной под редакцией крупного ме­тодиста, директора Центра социального прогнозирования и мар­кетинга Ф.Э. Шереги¹⁰. На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий

и стаж работы по интересующему нас профилю. При необходимо-сти учитываются также уровень, характер образования, опыт об-щественно-политической деятельности, возраст и др. Первый спи-сок экспертов может быть весьма широким, однако в последую-щем его целесообразно «сузить», так как не каждый человек способен выступить в роли эксперта.

Центральный критерий отбора экспертов — их компетент-ность. Для ее определения применимы, с той или иной степенью точности, два метода; самооценка экспертов и коллективная оцен-ка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов -совокупный индекс, рассчитанный на основании оценки экспер-тами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». При этом первой позиции приписывается числовое значение «1», второй — «0,5», третьей — «0». В таком случае совокупный индекс — коэффици-ент уровня компетентности эксперта — вычисляется по формуле:

где k_l — числовое значение самооценки экспертом уровня сво» теоретических знаний; к₂ — числовое значение самооценки npaKii тического опыта; к₃ —числовое значение самооценки способнс ти к прогнозу.

Коэффициент уровня компетентности может изменяться от (полная компетентность) до 0 (полная некомпетентность).

Обычно в группу экспертов принято включать тех, у кого ин-деке компетентности не менее среднего (0,5) и выше (до 1). По-лучение первичных числовых значений самооценки (k_v kj, к₃) для расчета индекса компетентности экспертов происходит при помо-щи вопроса табличной формы (табл. 4.1).

Исходя из числовых значений оценок, обозначенных крести­ками в клетках таблицы, рассчитаем коэффициент уровня компе­тентности эксперта по проблемам правового государства:

Полученное число свидетельствует о том, что уровень компе­тентности эксперта по исследуемому вопросу выше среднего.

При отборе экспертов методом самооценки возникает пробле­ма ее завышения. Однако, как отмечают специалисты, «опыт мно­гочисленных экспертиз и у нас и за рубежом показывает, что груп­пы с высокой самооценкой, как правило, ошибаются в своих суж­дениях при проведении экспертизы меньше других»¹¹.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты. Такая ситуация чаще всего характерна для ученых, творческих деятелей, известных политиков, экономистов. Этот метод можно рассмотреть на примере формирования группы эк­спертов, осуществленного С. Бешелевым и Ф. Гурвичем.

Предположим, что мы имеем список, включающий десять эк­спертов, и просим каждого из них выделить пять наиболее ком­петентных коллег. На основании ответов построим табл. 4.2, обо­значив в ней номерами от 1 до 10 в первом столбце тех, кого вы­бирают, а в первой строке тех, кто выбирает. В клетках таблицы число «1» обозначает выбор, «тире» — отсутствие выбора, «0» — указывает на то, что никто сам себя не назвал.

Таблица 4.2 Таблица взаимных оценок экспертов

В последнем столбце таблицы приводится сумма голосов, ко-торые получил соответствующий эксперт. Эти числа принимают-ся в качестве «веса» мнений, ими заменяются «единицы» в тали-це (по столбцам), в результате чего получается ранжированный ряд оценок уровня компетентности всех десяти экспертов (табл. 4.3).

Таблица 4.3 Таблица уточненных взаимных оценок экспертов

Таким образом, если мы хотим сформировать группу из пяти наиболее компетентных экспертов, то, судя по оценкам в пред-последнем столбце, мы зачислим в эту группу экспертов под но-мерами 7, 5, 2, 9, 4.

Опросы компетентных лиц именуются экспертными, а резуль-таты опросов — экспертными оценками. В наиболее общем виде можно выделить две основные функции метода экспертной оцен-ки в социологическом исследовании: оценка состояния (включая причины) и прогноз тенденций развития различных явлений и процессов социальной действительности.

4.4. Факторывалидности экспертных оценок

Валидность — доверие, которое заслуживают суждения экспер-тов. Она зависит от компетентности экспертов и трудности решаемой задачи. Существует много причин, по которым эксперт может оказаться не в состоянии реализовать свой интеллектуаль-ный и творческий потенциал. Отметим некоторые из них и дадим рекомендации по их устранению.

1. Идентификация суждения с его источником — естественный компонент восприятия человека человеком. Значительно снима-ется при отсутствии непосредственного контакта экспертов. Если

501

же группа работает в режиме очного взаимодействия, следует со­ставлять ее так, чтобы туда не попадали люди, хорошо знающие друг друга, начальники и подчиненные. Включение в группу «громких имен» целесообразно лишь тогда, когда вся она состоит из специалистов высокого ранга.

2. Центростремительное давление возникает из-за свойствен­ного большинству людей смещения своих суждений в сторону нейтральной середины. Установлено: чем выше самооценка ком­петентности эксперта, тем выше устойчивость высказываемых суждений. Переход к заочному взаимодействию экспертов сам по себе не исключает возникновения центростремительного давле­ния, однако некоторые процедуры сбора информации (процеду­ры с качественной обратной связью, с индивидуальной обратной связью) позволяют справиться с этой сложностью.

3. Стремление к доминированию может возникать у членов экс­пертной группы, не являющихся признанными лидерами, это потенциальный источник конфликтов. Следует избегать включе­ния экспертов с повышенной тягой к лидерству в опросы с режи­мом непосредственного воздействия.

4. Неустойчивость формирующегося мнения характерна для боль­шинства экспертов на этапе знакомства с объектом и первичного обдумывания оценок. Высказанное в этот момент незрелое суж­дение может быть воспринято остальными как желанная подсказ­ка. На первом этапе необходимо поддерживать информационную изоляцию экспертов.

Достоверность экспертных оценок повышается за счет правиль­ной формализации исходной информации, корректного подбора экспертов, соблюдения принципов и процедур экспертного опро­са. Она зависит и от индивидуальных качеств эксперта (профес­сиональных и практических знаний, стажа и опыта работы в кон­кретной сфере деятельности и др.).

Поиск по сайту: