Анализ продуктов деятельности (контент-анализ)

В психодиагностике существует еще один способ получения информации о челове­ке — это количественно-качественный ана­лиз документальных и материальных ис­точников, позволяющий изучать продукты человеческой деятельности.

Под понятием «документальный источник» понимаются:

w письма;

w автобиографии;

w дневники; фотографии;

w записи на кино- и видеопленке;

w творческие результаты в разных видах искусства;

w материалы различных средств массовой информации (газеты, журналы и т. п.).

Для того чтобы при изучении документов можно было преодолеть субъективизм исследователя, выявить достоверную информацию и до­статочно точно ее регистрировать, был разработан специальный ме­тод, получивший название контент-анализ (буквально «анализ содер­жания»). Впервые он начал применяться начиная с 20-х гг. прошлого столетия для обработки материалов средств массовой коммуникации. Это более или менее формализованный метод анализа документов, когда на основе гипотезы исследователя в документальных матери­алах выделяются специальные единицы информации, а затем гюд-считывается частота их употребления. Так, например, в 20-е гг. XX в. русский исследователь Н. А. Рыбников в ходе анализа сочинений про­слеживал, как распределяются положительные и отрицательные оцен­ки школьниками своей жизни в зависимости от возраста и пола. Или другой пример: в 80-х гг. XX в. Н. Н. Лепехиным и Ч. А. Шакеевой проводился контент-анализ эпизодов жестокости и агрессии в запад­ных и отечественных кинофильмах [62].

Таким образом, основная процедура контент-анализа связана с пе­реводом качественной информации на язык счета. С этой целью выде-|ляются два типа единиц: смысловые, или качественные, единицы ана­лиза и единицы счета, или количественные. Основная трудность при работе с документальными источниками — умение провести качествен­ный анализ, т. е. выделить смысловые единицы. Это во многом зави­сит от личной компетентности исследователя, уровня его творческих возможностей.

Так как контент-анализ основан на принципе повторяемости, часто­ты использования различных смысловых единиц (например, опреде­ленных понятий, суждений, образов и т. п.), его следует применять только тогда, когда есть достаточное количество материала для ана­лиза.

В контент-анализе от простого подсчета частот встречаемости тех или иных смысловых единиц постепенно перешли к более сложным статистическим приемам (корреляционной технике и факторному ана­лизу). Новым этапом в развитии этого метода стала его компьютери­зация. Особенно широко это используется в США — там разрабаты­ваются стандартные программы анализа разнообразных документов, позволяющие достаточно быстро и надежно проанализировать огром­ный объем информации и освободить кодировщиков от утомительно­го ручного способа.

В психологической диагностике контент-анализ наиболее часто ис­пользуется в качестве вспомогательного метода или процедуры обра­ботки данных, полученных при других исследованиях. С его помощью подвергаются анализу речевые сообщения испытуемого, сопровождаю­щие практически любые диагностические обследования, особенно при индивидуальной процедуре. Конкретно контент-анализ может приме­няться при обработке данных, полученных посредством проективных методик (например, ТАТ, методика Роршаха, Техника завершения предложений); интервью, содержания бесед, другой речевой и письмен­ной продукции испытуемого; открытых вопросов анкет и т. п. Так, на­пример, в методиках диагностики личностных особенностей (тревожно­сти, невротицизма и др.) проводится контент-анализ грамматических и стилистических конструкций речи испытуемого: количество тематиче­ских высказываний (болезнь, страх, неуверенность и т. д.), глаголов, логических блоков и т. п. Такой анализ нередко позволяет выявить и объективизировать скрытую тенденцию в ответах испытуемого [62]. Следует коротко остановиться еще на одном классе методик. В пос­леднее время в западной психологической литературе появился термин «тесты учителя». Под ним подразумеваются не только традиционные тесты учета и контроля школьных достижений, а целенаправленное использование учителем в своей работе малоформализованной диаг­ностики. В частности, выделяется умение проводить систематические наблюдения, имеющие своей целью изучение индивидуально-психо­логических особенностей учеников, их поведения. По основательно­сти разработки тесты учителя далеко отстают от того, что достигнуто в формализованной диагностике. Однако само их появление в психо­диагностической литературе следует рассматривать как одно из про­явлений неудовлетворенности той формалистичностью, которая ста­ла неотъемлемой особенностью психологического диагностирования. Только сочетание формализованных методов диагностики с наблюде­ниями, беседами, тестами учителя и т. п. формами изучения обследуе­мого может дать удовлетворяющий результат.

Приведенная в данной главе классификация психодиагностических методик не является исчерпывающей. Ее можно расширить за счет использования других принципов деления методик на классы. Так, в книге «Общая психодиагностика» [62] дана классификация психо­диагностических методик, опирающаяся на такое основание, как нали­чие или отсутствие оценок выполнения заданий по типу правильно — неправильно. Класс психодиагностических методик, где ответы испы­туемых всегда оцениваются как правильные или неправильные, со­ставляют тесты интеллекта, тесты способностей, тесты достижений и некоторые личностные тесты действия (например, тест замаскирован­ных фигур Уиткина). К классу методик, в которых понятие правиль­ный или неправильный ответ не существует, относятся большинство личностных опросников, проективные техники и психофизиологиче­ские методики.

Еще одним основанием для классификации методик может быть мера включенности в диагностическую процедуру самого психодиаг­носта и степень его влияния на результаты эксперимента. Этот прин­цип позволяет разделить психодиагностические методики на следу­ющие группы:

♦ влияние психодиагноста выражено минимально;

♦ влияние психодиагноста выражено максимально;

♦ влияние психодиагноста выражено в средней степени (промежу­точное положение между двумя полюсами).

В первую группу входят тесты интеллекта, способностей, достижений, многие опросники и психофизиологические методики. В них и процедура эксперимента, и фиксация результатов являются рутин­ной операцией и могут быть доверены лаборанту или компьютеру.

Вторую группу составляют различные виды интервью, бесед, на­блюдений. Здесь, напротив, психодиагност своими реакциями, реп­ликами, манерой поведения может создать такие условия работы, в которых получение нужной информации будет затруднено или даже искажено.

В третью группу входят многомерные опросники, опросники с от­крытыми ответами, проективные техники, в которых велика степень включенности психодиагноста на этапе интерпретации полученных результатов. Психодиагностическое заключение, которое делается на основании этих методик, не свободно от влияния личности диагноста, его профессиональной компетентности.

Перечень оснований для классификации психодиагностических ме­тодик может быть продолжен [65].

Вопросы и задания

1. В чем отличие формализованных методик от малоформализо-ванных?

2. Назовите методики, относящиеся к группе формализованных и к группе малоформализованных средств диагностики.

3. В чем отличие тестов от других диагностических методик (опрос­ников, проективной техники и др.).

4. Какие бывают тесты по форме и по содержанию?

5. Чем отличается научное наблюдение от обычного житейского?

Рекомендуемая литература

1. Басов М. Я. Избранные психологические произведения. — М., 1975.

2. Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психоло­гической диагностике. — Киев, 1989.

3. Данилова Е. Е. Беседа как один из методов работы школьного пси­холога // Активные методы в работе школьного психолога. — М., 1990.

4. Краткий психологический словарь. — М., 1985.

5. Носе И. Н. Введение в технологию психодиагностики. — М., 2003.

6. Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столи-на. - М., 1987.

7. Общий практикум по психологии. Метод наблюдения. — МГУ, 1985.

8. Основы психодиагностики / Под ред. А. Г. Шмелева. — Рос­тов н/Д, 1996.

9. Психологическая диагностика. Проблемы и исследования. — М., 1981.

10. Психологический словарь. — М., 1983.

11. Шванцара Й. и др. Диагностика психического развития. — Прага, 1978.

Глава 3.

Психометрические требования к построению
и проверке методик

Психодиагностические методики называют измерительными инст­рументами. Однако возникает вопрос, правомерно ли их так называть, являются ли они таковыми, подобными, например, тем, которые ис­пользуются в физических измерениях? Ответ на этот вопрос можно найти в работах К. М Гуревича [34; 35]. На примере анализа тестов он показывает, что такое определение диагностических методик носит условный характер.

Сначала нужно вспомнить, что представляет собой измерение. Из­мерить — значит определить какой-либо мерой величину измеряе­мого. Для этого нужно, чтобы были соблюдены по крайней мере два условия. Первое условие касается самого измерительного инстру­мента: он должен иметь на протяжении всего измерения одну и ту же, тождественную самой себе меру. Нельзя измерять инструментом, у ко­торого нет такой тождественной самой себе меры (например, если бы на линейке расстояния от одного деления до другого были неодинако­вы на разных участках). Второе условие — нужно, чтобы то, что измеряется, во всех случаях оставалось одним и тем же, т. е. также было тождественно самому себе. Как показывает далее К. М. Гуревич, соблюсти эти два условия в психодиагностических исследованиях крайне затруднительно.

Например, в тесте предложены задания на умение производить такую логическую операцию, как классификация понятий. Так, даны понятия пшеница, чечевица, кукуруза, бамбук, ячмень. Испытуемый должен за­черкнуть слово, которое не подходит к четырем основным. Обычно ис­пытуемые зачеркивают бамбук. Это ошибка. Бамбук, как пшеница, яч­мень и кукуруза, относится к злаковым, а чечевица — к бобовым. Это слово и следует зачеркнуть.

Чем можно объяснить, что не все испытуемые дают правильный ответ? Можно назвать несколько причин.

Первая — испытуемый слабо владеет такой логической операци­ей, как классификация.

Вторая — испытуемый владеет логической операцией, но не зна­ет того материала, на котором ее надо применить.

Третья — испытуемый знает материал, владеет логической опе­рацией, но он не способен работать в том, обычно довольно быстром темпе, который требуется при выполнении теста.

Возникает вопрос, что же измеряет в действительности данное за­дание?

Как было показано выше, у одних испытуемых оно измеряет что-то одно, у других — другое. У испытуемых, владеющих соответствующим материалом, оно измеряет то, на что направлено — владение логиче­ской операцией. У тех же испытуемых, которым материал задания ма­лознаком, измеряется их знание. Кроме того, у тех и других измеряет­ся их индивидуальный темп.

Этот анализ К. М. Гуревич продолжает дальше. Тест состоит из це­лого набора заданий; иногда их число доходит до 40. Можно ли выпол­ненное задание считать мерой, через которую определяется количе­ственный показатель измеряемой стороны психики? Нельзя, так как эта мера измеряет разные стороны психики. У одних выявляется вла­дение логическими действиями, у других — знание тех понятий, кото­рые представлены в тесте, у третьих фактически измеряется их темп; у одних эта мера имеет одно, а у других — другое содержание.

На основании проведенного анализа автор делает вывод о том, что данные, которые получаются в тестировании, нельзя считать измере­ниями в подлинном смысле слова. Тест не является измерительным ин­струментом в том понимании, которое существует, например, в физи­ческих измерениях, хотя какую-то оценку той стороны психики, на диагностирование которой он направлен, тест показывает — правда, не в количественном выражении. Тест можно считать инструментом сравнения. При сравнении не подчеркивается, что из двух сравнивае­мых объектов один больше другого на столько-то единиц. В этом слу­чае достаточно установить, чтó такой-то объект больше другого (или других). По результатам сравнения можно расположить все изучае­мые объекты в определенном порядке — от меньшего к большему или наоборот. Сравнение не предполагает обязательного измерения, а зна­чит, не предполагает и единицы измерения. При сравнении устанав­ливается только последовательность, порядок сравниваемых объектов по их величине.

Сделанный К. М. Гуревичем вывод относительно тестов с пол­ным правом может быть перенесен и на другие диагностические мето­дики.

Стандартизация

Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Рассматривается она в двух планах:

♦ как выработка единых требований к процедуре эксперимента;

♦ как определение единого критерия оценки результатов диагно­стических испытаний.

Стандартизация процедуры эксперимента подразумевает унифика­цию инструкций, бланков обследования, способов регистрации резуль­татов, условий проведения обследования.

К числу требований, которые необходимо соблюдать при проведе­нии эксперимента, можно, например, отнести такие:

1) инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;

2) ни одному испытуемому не следует давать никаких преимуществ перед другими;

3) в процессе эксперимента не следует давать отдельным испытуе­мым дополнительные пояснения;

4) эксперимент с разными группами следует проводить в одинако­вое, по возможности, время дня, в сходных условиях;

5) временные ограничения в выполнении заданий для всех испыту­емых должны быть одинаковыми и т. д.

Обычно авторы методики в руководстве приводят точные и подроб­ные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методи­ки, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми.

Другим наиболее важным этапом в стандартизации методики явля­ется выбор критерия, по которому следует проводить сравнение ре­зультатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности или неудачи в их выполнении.

Так, например, ребенок шести лет, выполняя тест умственного раз­вития, получил балл, равный 117. Хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста? Количественный результат как таковой ничего не означает. Полученный дошколь­ником балл нельзя интерпретировать как показатель относительно вы­сокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, что­бы с их помощью оценивать полученные при диагностировании инди­видуальные и групповые данные. Возникает вопрос, что за эту точку отсчета брать? В традиционном тестировании такая точка добывается статистическим путем — это так называемая статистическая норма.

В общих чертах стандартизация диагностической методики, ориен­тированной на норму, осуществляется путем ее проведения на боль­шой представительной выборке испытуемых, которая ничем не отли­чается от той, для которой данная методика предназначена. На этой группе испытуемых, называемой выборкой стандартизации, разраба­тываются нормы, указывающие не только средний уровень выпол­нения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно вы­борки стандартизации [10, т. 1].

Для вычисления статистической нормы психологи-диагносты об­ратились к давно применяемым в биологии приемам математической статистики.

Рассмотрим пример.

На призывной пункт явилось несколько тысяч молодых людей.

Допустим, что все они примерно одного возраста. Что мы получим при измерении их роста? Обычно оказывается, что большинство почти одного роста, совсем немного будет людей очень маленького и очень вы­сокого роста. Остальные же распределятся симметрично, уменьшаясь по количеству от среднего максимума в ту и другую сторону. Распреде­ление рассматриваемых величин — это нормальное распределение (или распределение по нормальному закону, кривая распределения Гаусса). Математики показали, что для описания такого распределения доста­точно знать два показателя — среднюю арифметическую и так назы­ваемое стандартное отклонение, которое получается путем несложных вычислений. Назовем среднюю арифметическую х, а стандартное откло­нение σ (сигма малая). При нормальном распределении все изучаемые величины практически находятся в пределах х + 5 σ.

Рассмотрим как определялась статистическая норма для тестов Стэн-форд-Бине. В группу испытуемых входили 4498 человек от 2,5 до 18 лет. Усилия стэнфордских психологов были направлены на то, чтобы распределение полученных по каждому возрасту данных о выполнении

тестов было близко к нормальному. Этого результата удалось добиться далеко не сразу; в некоторых случаях ученым приходилось заменять одни задания другими. В конце концов эта работа была закончена, и бы­ли подготовлены тесты по каждому возрасту со средней арифметиче­ской, равной 100, и со стандартным отклонением, равным 16. Принима­ется, что результаты в пределах х ± σпоказывают границы наиболее характерной, представительной части распределения, границы нормы для данного возраста. При σ = 16 и х = 100 эти границы нормы будут от 84 до 116. Интерпретируется это так: результаты испытуемых, которые не выходят за эти границы, находятся в пределах нормы. Те, чьи резуль­таты менее 84, находятся ниже нормы, а те, чьи результаты более 116, — выше нормы. Нередко этот же прием применяют и для дальнейшей клас­сификации. Тогда результаты в пределах от х - σ до х - 2 σ интерпрети­руются как «несколько ниже нормы», а от х - 2 σ до х - З σ — как «значи­тельно ниже нормы». Соответственно классифицируются результаты, находящиеся выше нормы.

Вернемся к результату, полученному ребенком шести лет, о котором упоминалось выше. Его успешность по тесту равна 117. Этот результат выше нормы, но очень незначительно (верхняя граница нормы 116).

Кроме статистической нормы, основой для сравнения, интерпрета­ции результатов диагностических испытаний могут стать и такие по­казатели, как процентили.

Процентиль— это процентная доля индивидов из выборки стандар­тизации, первичный результат которых ниже данного первичного по­казателя.

Например, если 28 % людей правильно решат не более 15 задач в ариф­метическом тесте, то первичному показателю 15 соответствует 28-й про­центиль (Р₂₈). Процентили указывают на относительное положение ин­дивида в выборке стандартизации. Их также можно рассматривать, как ранговые градации, общее число которых равно 100, с той лишь разни­цей, что при ранжировании принято начинать отсчет сверху, т. е. с луч­шего члена группы, получающего ранг 1. В случае же процентилей от­счет ведется снизу, поэтому чем ниже процентиль, тем хуже позиция индивида.

50-й процентиль (Р₅₀) соответствует медиане — одному из показа­телей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнитель­но низкие показатели. 25-й и 75-й процентили известны также под на­званием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения. Как и медиана, они удобны для опи­сания распределения показателей и сравнения с другими распреде­лениями [10, т. 1].

Процентили не следует смешивать с обычными процентными пока­зателями. Последние являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль — это производный показатель, указывающий на долю от общего числа членов группы. Первичный результат, который ниже любого показателя, полученного в выборке стандартизации, имеет ну­левой процентильный ранг (Р_о). Результат, превышающий любой по­казатель в выборке стандартизации, получает процентильный ранг 100 (Р₁₀₀). Эти процентили, однако, не означают нулевого или абсолютно­го результата выполнения теста.

Процентильные показатели обладают рядом достоинств, в частности:

♦ их легко рассчитать и понять даже сравнительно неподготовлен­ному человеку;

♦ их применение достаточно универсально и подходит к любому типу тестов.

Однако недостаток процентилей - это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки рас­пределения. При использовании процентилей (как уже отмечалось вы­ше) определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.

В психодиагностике существует и другой подход к оценке резуль­татов диагностических испытаний. В нашей стране под руководством К. М. Гуревича [35] разрабатываются тесты, в которых в качестве точ­ки отсчета выступает не статистическая норма, а независимый от ре­зультатов испытания, объективно заданный социально-психологиче­ский норматив.

Социально-психологический норматив реализуется в совокупности заданий, составляющих тест. Следовательно, сам тест в полном его объеме и является таким нормативом. Все сопоставления индивиду­альных или групповых результатов тестирования проводятся с тем максимумом, который представляется в тесте (а это полный набор зна­ний). В качестве критерия оценки выступает показатель, отражающий степень близости результатов к нормативу. Имеется разработанная схема представления групповых количественных данных.

Для анализа данных относительно их близости к социально-психо­логическому нормативу, условно рассматриваемому как 100%-ное вы­полнение всего теста, все испытуемые подразделяются по результа­там тестирования на 5 подгрупп:

1) наиболее успешные — 10%;

2) близкие к успешным — 20 %;

3) средние по успешности — 40 %;

4) мало успешные — 20 %;

5) наименее успешные — 10%.

Для каждой из подгрупп подсчитывается средний процент правиль­но выполненных заданий. Строится система координат, где по оси аб­сцисс идут номера подгрупп, по оси ординат — процент выполненных каждой из подгрупп заданий. После нанесения соответствующих то­чек вычерчивается график, отражающий приближение каждой из под­групп к социально-психологическому нормативу. Такая обработка проводится по результатам как теста в целом, так и каждого субтеста в отдельности.

Выборка стандартизации.При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испыту­емых, на которой проводится стандартизация диагностической мето­дики. В математической статистике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.

Всякая большая совокупность людей, которую хотели бы исследо­вать или относительно которых собираются делать выводы, называет­ся генеральной совокупностью.

Выборка— это часть или подмножество совокупности. Проводить исследование всей популяции не принято. Обычно из нее выделяют группу людей — выборку стандартизации — которая реально подверга­ется тестированию, и с ее помощью оценивается генеральная совокуп­ность. Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой популя­ции, т. е. ее вероятностные свойства должны совпадать или быть близ­кими к свойствам генеральной совокупности.

А. Анастази [10, т. 1] приводится пример формирования репрезента­тивной выборки при стандартизации шкалы Векслера. Выборка вклю­чала 1700 человек с равным количеством мужчин и женщин. Испытуе­мые в возрасте от 16 до 64 лет были распределены по семи возрастным уровням. При формировании выборки исследователи опирались на дан­ные последней переписи населения США. Учитывалось пропорциональ­ное распределение населения по географическим районам, принадлеж­ность к городскому и сельскому населению, принадлежность к белой или цветной расе, учитывались также уровень образования и профес­сия. На каждом возрастном уровне в выборку были введены один муж­чина и одна женщина, находящиеся в учреждениях для умственно от­сталых.

По мнению А. Анастази, подавляющее большинство диагностиче­ских методик стандартизовано не для столь широких популяций, как многие полагают. Трудно рассчитывать, что по какому-либо тесту имеются адекватные нормы для таких обширных популяций, как, напри­мер, «взрослые американцы-мужчины» или «американские дети 14-лет­него возраста». Выборки, ориентированные на широкие популяции, не всегда репрезентативны и чаще всего бывают смещены в тех или иных отношениях (т. е. некоторые подгруппы популяции могут быть пред­ставлены непропорционально своей численности). Так, если опре­делить популяцию как «14-летние дети», а выборку стандартиза­ции составить из 14-летних школьников, то ее нельзя рассматривать в качестве репрезентативной, поскольку не все 14-летние дети являют­ся школьниками. В этом случае лучше сузить определение популяции (т. е. определить ее как «14-летние школьники»), чем переносить нор­мы, полученные на школьниках, на популяцию 14-летних детей.

Таким образом, одним из способов обеспечения репрезентативно­сти выборки является ограничение популяции. Ограничить популяцию можно по разным признакам: по возрасту, полу, социальному проис­хождению, профессии, социально-экономическому статусу, здоровью и т. д. Такая популяция определяется как специфическая, и стандар­тизация диагностических методик осуществляется на узконаправлен­ных выборках, которые репрезентативны специфической популяции. Создатель диагностической методики должен всегда сообщать, для ка­кой специфической популяции были разработаны нормативные по­казатели.

Отбор испытуемых в выборку стандартизации осуществляется сле­дующим образом:

1) дается определение популяции с выделением в ее структуре пе­ременных, значимых и малозначимых для изучаемого психиче­ского явления (возраст, образование, профессия и т. д.);

2) популяция делится на части в соответствии со значимыми пере­менными;

3) испытуемые отбираются в случайном порядке и пропорциональ­но численности каждой значимой части совокупности. Случай­ный отбор может осуществляться по алфавиту, по таблице слу­чайных чисел или другим способом. Важно, чтобы у всех пред­ставителей популяции были равные шансы попасть в выборку стандартизации. Это условие подразумевает, что каждый выбор не зависит от остальных.

Объем выборки может варьироваться в широких пределах, но ее минимальный порог, необходимый для получения достоверных ре­зультатов, — порядка 200 человек [26].

Поиск по сайту: