Проблема масштабности эффекта

В ходе предшествующих рассуждений мы предполагали, что некоторые эффекты явно велики, а некоторые явно незначительны по своему масштабу и что уровень предсказуемости в одних случаях очевидно высок, а в других — низок.

Напомним также, что мы убеждены в том, что исследование власти социальной ситуации над поведением стало одним из наиболее важных достижений социальной психологии, тогда как неспособность доказать наличие аналогичной власти у классических личностных черт или диспозиционных различий между индивидами явилась одной из величайших неудач психологии личности. Из данного утверждения неявным образом следует, что соответствующие эффекты влияния ситуации представляются в некотором очевидном смысле значительными, а эффекты влияния личностных качеств представляются в столь же очевидном смысле незначительными. Было бы полезно сразу же изложить некоторые наши первоначальные соображения о том, каким образом можно измерить или хотя бы просто более определенно судить о масштабности эффекта. Этот вопрос оказывается неожиданно трудным и противоречивым, но поскольку он является фундаментальным с точки зрения задач данной книги, то мы приложим все усилия, чтобы пролить на него немного света.

Начнем с замечания о том, что эффект может быть значительным или незначительным лишь по отношению к чему-либо. Для наших целей будет достаточно прибегнуть к трем определениям критериев относительной масштабности эффекта: статистическому, прагматическому и основанному на ожиданиях.

Статистический критерий масштабности

Рассматривая статистический критерий, необходимо начать с замечания, что масштабность эффекта имеет очень мало общего со статистической значимостью. Эффект почти любого масштаба может быть представлен как статистически значимый (т.е. проявляющийся неслучайным образом) просто путем сбора информации о достаточно большом количестве наблюдений. Один из авторов этой книги, обучаясь в аспирантуре, имел особенно убедительный повод осознать это, когда, развернув компьютерную распечатку статистического анализа данных, собранных со всей страны, и отыскав строку с зависимостью, которая его особенно интересовала, обнаружил статистически значимую корреляцию на считавшемся достаточным уровне 0,05, что заставило его запрыгать от радости. Глядя на это, один из его коллег вынужден был заметить, что корреляция, вызвавшая у него столь бурный восторг, составляла около 0,04 — уровень зависимости, весьма близкий к нулю. Подобная заурядная корреляция оказалась значимой лишь потому, что опросом было охвачено более тысячи респондентов. Таким образом, автор оказался прав в своем прогнозе: зависимость действительно имела место, но была настолько слабой, что не могла иметь никакого теоретического или практического значения.

Гораздо более разумное для определения масштабности экспериментальных эффектов соображение высказал Коэн (Cohen, 1965, 1977), предложивший судить о них в зависимости от изменчивости рассматриваемых переменных. Согласно критерию Коэна, разница между двумя средними величинами, соответствующая четверти стандартного отклонения в распределении соответствующего показателя, должна рассматриваться как малая; разница, соответствующая половине стандартного отклонения — как умеренная; и, наконец, разница, соответствующая целому стандартному отклонению, должна расцениваться как большая. Это и подобные ему статистические определения оценивают масштаб эффекта в зависимости от всех неучтенных, так называемых “случайных”, детерминант изменчивости или, иными словами, в зависимости от “уровня помех”. Данное определение ловко устраняет, а по сути игнорирует все соображения о природе рассматриваемой переменной и используемых единиц измерения. В этом (как станет ясно из обсуждения двух оставшихся критериев) заключается как его основное достоинство, так и его главнейший недостаток. (63:)

Поиск по сайту: