Этапы и процедуры экспертного опроса

1. Подготовительный этап

1.1. Разработка программы экспертного опроса.

1.1.1. Определение целей и задач экспертизы.

1.1.2. Уточнение объекта, предмета и гипотез.

1.1.3. Описание объекта в виде факторов, свойств, событий, проблемных ситуаций. Определение состава возможных функций привлечения экспертов в анализе проблемных ситуаций, в оценке характера действия факторов, в обосновании гипотез исследования, в других исследовательских целях.

1.1.4. Определение требований к качествам эксперта. Сопоставление состава требуемых от экспертов качеств с возможным составом экспертов. Установление заданий к процедурам подбора экспертов и формам их участия в экспертизе.

1.1.5. Уточнение состава задач исследования, подлежащих экспертизе, и заданий к проектированию инструментария.

1.2. Составление плана, сетевого графика выполнения работ.

1.3. Выбор метода организации работы экспертов, построение программы, сценария экспертизы. Формулирование правил участия в ней.

1.4. Проектирование инструментария экспертного опроса (протоколов, анкет, карточек, бланков). Пилотаж инструментария и его размножение. Разработка инструкций участникам.

1.5. Разработка программ анализа данных экспертизы.

1.6. Подготовка технических средств, их апробация.

1.7. Подготовка интервьюеров, анкетеров, организаторов экспертного опроса. Инструктаж, обучение, репетиция процедур экспертизы.

2. Этап подбора экспертов

2.1. Поиск потенциальных экспертов.

2.2. Оценка компетентности кандидатов в эксперты.

2.3. Определение оптимальной численности экспертной группы.

2.4. Формирование экспертной группы из числа наиболее компетентных экспертов.

3. Этап сбора экспертной информации

3.1. Организация условий работы экспертов.

3.2. Опрос в соответствии с заданной методикой экспертизы. Регистрация его данных в учетных документах.

3.3. Контроль за работой осуществляющих экспертизу.

3.4. Первичная обработка и уточнение данных экспертизы.

4. Результирующий этап обработки и анализа данных

4.1. Сбор учетных документов, их полная проверка и обработка.

4.2. Ручная обработка данных, перевод данных на машинные носители и их машинная обработка по заданным программам.

4.3. Статистический анализ.

4.3.1. Анализ индивидуальных экспертных суждений – проверка на непротиворечивость.

4.3.2. Анализ совокупности экспертных суждений – определение согласованности мнений экспертов.

4.3.3. Выделение групп экспертов с близким мнением в случае наличия существенных расхождений в ответах.

4.3.4. Выявление причин разброса мнений, определение влияния компетентности экспертов на содержание ответов.

4.3.5. Агрегирование «близких» индивидуальных экспертных суждений.

4.4. Обобщение результатов экспертизы, доказательство гипотез, построение выводов, разработка рекомендаций исследования.

4.5. Анализ и оценка эффективности использования экспертизы в исследовании. Выявление ошибок, новаций, их объяснение. Рекомендации по совершенствованию экспертного опроса.

4.6. Подготовка отчета по проведению экспертизы [7, с. 131–133].

Порядок экспертизы

Шаг 1: Организаторы экспертизы предоставляют каждому эксперту информацию по проблеме в виде сформулированной цели опроса и анкеты, включающей совокупность оцениваемых факторов или событий.

Шаг 2: Каждый эксперт независимо от других решает сформулированную задачу. Результаты решений собираются организаторами экспертизы.

Шаг 3: Организаторы опроса производят статистическую обработку анкет и формируют коллективное суждение экспертной группы, выявляют и обобщают аргументы, соответствующие различным суждениям.

Шаг 4: Полученная в результате обработки информация вместе с начальной информацией снова сообщается экспертам. Участников опроса просят объяснить причины несогласия с коллективным суждением и пересмотреть первоначальную точку зрения.

Шаг 5: Повторение шага 2 с целью сужения диапазона оценок экспертов (повтор – 3–4 раза).

Точность групповой оценки существенно зависит от числа экспертов в группе. Ясно, что уменьшение числа экспертов ведет к снижению точности оценки, поскольку на групповую оценку излишнее влияние оказывает оценка каждого из экспертов. В то же время при очень большом числе экспертов становится сложнее выявить их согласованное мнение из-за уменьшения роли тех суждений, которые, хотя и отличаются от мнения большинства, однако далеко не всегда оказываются ошибочными. Установить оптимальную численность группы экспертов чрезвычайно трудно. С.Д. Бешелев и Ф.Г. Гурвич приводят кривую, характеризующую зависимость между количеством экспертов в группе и средней групповой ошибкой (Рис.).

Ограничение состава экспертов ведет к росту веса ответа каждого – ошибочность суждений.

Увеличение состава экспертов повышает вероятность некомпетентных, ошибочных суждений.

Использование кривых такого типа позволяет выбрать минимально допустимое число экспертов. Однако нужно помнить, что каждая такая кривая не имеет универсального характера и обусловлена специфическими особенностями конкретной экспертизы [1, с. 98–99].

Отметим, что методы, опирающиеся на индивидуальную экспертную оценку, имеют существенный недостаток, заключающийся в ограниченности опыта одного эксперта. Совершенно очевидно, что наиболее удачными в плане применения в педагогических исследованиях являются методы, опирающиеся на компетентное мнение нескольких экспертов.

В педагогике в последние годы наибольшую популярность получает метод групповых экспертных оценок, который основывается на следующих основных положениях:

- экспертная оценка имеет вероятностный характер и основывается на способности эксперта давать информацию-оценку в условиях неопределенности, т.е. тогда, когда полнота или достоверность информации, необходимой для принятия решений, сравнительно невелика;

- считается, что когда оценку дает не один, а несколько экспертов, то «истинное» значение исследуемой характеристики находится внутри диапазона оценок отдельных экспертов, т.е. «обобщенное» коллективное мнение более достоверно;

- отбор экспертов, процедура общения с ними и обработка полученных оценок проводятся по определенному алгоритму с целью уменьшения «шума» экспертов как «датчиков» информации.

В отличие от метода экспертных комиссий (например, метода педагогического консилиума) в методе ГЭО создаются условия, исключающие непосредственное общение между членами комиссии. Вместо коллективного обсуждения той или иной проблемы проводится индивидуальный опрос экспертов с помощью специально разработанных анкет.

Таким образом, МЭО довольно удобен в экономическом и организационном отношении.

Список использованной литературы

1. Бешелев, С.Д.Математико-статистические методы экспертных оценок / С.Д. Бешелев, Ф.Г. Гурвич. – М.: Статистика, 1980. – 263 с.

2. Горбатов, Д.С.Практикум по психологическому исследованию / Д.С. Горбатов. – Самара: БАХРАХ-М, 2000. – 248 с.

3. Ильясов, Д.Ф.Принцип регулируемого эволюционирования в педагогике / Д.Ф. Ильясов, Г.Н. Сериков. – М.: Гуманит. изд. центр ВЛАДОС, 2003. – 336 с.

4. Карабанов, А.П.К вопросу о педагогической экспертизе учебной книги / А.П. Карабанов, В.С. Черепанов // Проблемы школьного учебника. – М., 1987. – Вып. 17. – С. 190–199.

5. Китаев, Н.Н. Групповые экспертные оценки / Н.Н. Китаев. – М.: Знание, 1975.

6. Крулехт, М.В.Экспертные оценки в образовании / М.В. Крулехт, И.В. Тельнюк. – М.: Академия, 2002. – 112 с.

7. Практикумпо социологии / Ред. И.М. Слепенков, Н.И. Дряхлов, В.Я. Нечаев, А.М. Долгоруков. – М.: Изд-во Моск. ун-та, 1992. – 196 с.

8. Современныйсловарь иностранных слов: Ок. 20 000 слов. – М.: Рус. яз., 1992. – 740 с.

9. Черепанов, В.С. Экспертные методы в педагогике: Учебное пособие / В.С. Черепанов. – Пермь: ПГПИ, 1988. – 84 с.

10. Черепанов, В.С.Метод групповых экспертных оценок / В.С. Черепанов. – Советская педагогика. – 1987. – №. 5. – С. 57–59.

11. Черепанов, В.С.Экспертные оценки в педагогических исследованиях / В.С. Черепанов. – М.: Педагогика, 1989. – 152 с.

12. Сидельников, Ю.В. Теория и организация экспертного прогнозирования / Ю.В. Сидельников. – М.: ИМЭМО АН СССР, 1990.

13. Новикова, Т.Г.Эксперт по инновационной деятельности в образовании: качества, способы отбора / Т.Г. Новикова // Педагогическая диагностика. – 2006. – № 3. – С. 26–43.

Поиск по сайту: