3.8. Точность психодиагностического метода

В традиционной теории тестов одним из основных критериев качества теста является его надежность. Р. Кэттелл [337] предложил обоснованное требование, чтобы одним из основных критериев качества психодиагностического метода считалась точность, т. е. понятие, которое лучше выражает, что имеется в виду мера безошибочности. Термин «надежность» Кэттелл предлагает употреблять для одного из видов точности.

Понятие «точность» является интуитивным понятием. Оно выражает требование к психодиагностическому методу безошибочно выявлять то, что он выявляет. К точному методу у нас больше доверия, чем к методу, точность которого не гарантирована или неизвестна. С субъективной точки зрения точность — это степень доверия тому, что полученные результаты представляют реальную величину изучаемой характеристики личности.

Математически точность оценивается степенью соответствия между двумя (или несколькими) намерениями, осуществленными с помощью одного и того же метода. Значит, если мы спустя определенное время применяем метод у тех же испытуемых, то должны получить те же или почти те же результаты.

Точность можно представить и с помощью приблизительного определения, в какой-степени полученные результаты близки по своему качеству «истинной» величине изучаемой характеристики. Здесь, однако, есть гносеологически сложная проблема: как определить эту «истинную» величину характеристики, если мы узнаем о ней только посредством величины индикаторов. Можно исходить из предположения, что бесконечное количество повторений измерения элиминирует ошибку до минимума и приблизит наши измерения к этой «истинной» величине. Определение точности в большой степени влияет на интерпретацию результатов, полученных с помощью метода на практике. Если нам известна точность, которая чаще всего выражена коэффициентом корреляции или в виде отношения ошибочной и настоящей дисперсии, мы в каждом конкретном исследовании можем вычислить, какой приблизительно является ошибка нашего измерения, или в каком интервале надежности находится «настоящая» величина исследуемой характеристики испытуемого. Психолог, применявший на практике знания о точности теста перцептивной скорости, не скажет об испытуемом, что он получил 35 баллов, а скажет, что его результат находится в интервале от 31 до 39 баллов с вероятностью 99 % (35 + 4).


Раздел 3. Теоретические Проблемы Диагностических Методов_______ Щ

Р. Кэттелл характеризует точность по отношению ко времени, к заданиям психодиагностического метода и по отношению к обследуемым:

Точность в отношении времени Является выражением того, что метод является независимым от случайных колебаний во времени. Имеется в виду надежность в более узком смысле. Она проявляется в достоверности и стабильности. Под достоверностью понимаем вероятность совпадения результатов при повторном намерении у одних и тех же испытуемых, когда второе обследование непосредственно следует за первым. Стабильность метода предполагает, что результаты одних и тех же испытуемых не меняются даже при повторном обследовании после более длительного времени (приблизительно спустя 6 недель — 2 месяца). Когда мы интерпретируем индексы надежности, которые в этом случае чаще всего определяются на основе подсчета коэффициентов корреляции между результатами первого и второго обследования, мы должны учесть возможное колебание исследуемой характеристики личности. Знания, настроения, отношения, уровень решения проблем — все эти, как и многие другие, стороны личности могут изменяться под влиянием стимулов развития, учения, актуального функционального состояния и т. п. В таких случаях низкие индексы надежности не являются показателем плохого качества метода, а говорят о вариативности исследуемой характеристики; '

Точность в отношении заданий Говорит о том, насколько каждое задание (вопрос, задача) метода вносит вклад в изучение данной характеристики. Имеется в виду, что метод настолько хорош, насколько качественными являются элементы, из которых он состоит, мы различаем две формы, а именно Эквивалентность И Согласованность.

Эквивалентность Предполагает, что метод существует в двух или нескольких вариантах, которые взаимозаменяемы. Индекс эквивалентности является высоким тогда, когда корреляция между обоими вариантами близка единице. Метод с таким высоким индексом эквивалентности выгодно применять в ситуациях, когда требуется одного испытуемого обследовать дважды — например, до лечения и после лечения, чтобы узнать, вызвало ли определенное воздействие желаемый эффект. При низком индексе эквивалентности (обычно корреляция ниже 0,7) мы должны осторожно пользоваться вариантами одного метода в ситуации индивидуального обследования. Но с таким методом


84___________ Часть I. Психодиагностика Теоретико-Методологические Аспекты

Можно работать в научно-исследовательских целях, и тогда в нервом обследовании половине испытуемых мы предъявляем одну форму, а второй половине —вторую форму. Во втором обследовании мы меняем варианты и посредством подходящей математической процедуры контролируем эффект порядка подачи метода.

Согласованность Является существенным свойством каждого метоДа, предназначенного для выявления одной характеристики личности. Высокий индекс согласованности является показателем гомогенности метода. Он показывает, в какой степени каждое задание вносит вклад в изучение соответствующей характеристики. С помощью процедуры оценки согласованности мы исключаем те задания, которые для данного метода как единого целого не подходят и которые по статистическим показателям выявляют что-то другое. Естественно, что методы, задания которых являются по содержанию гомогенными (корректурные пробы, тесты чтения, тесты типа кодирования и т. п.), оказываются высоко-согласованными и без статистических подсчетов. Согласованность выявляется или с помощью так называемого метода расщепления и коэффициента корреляции, т. е. коррелированием показателей четных и нечетных заданий и знаков, или с помощью отношения дисперсии делений к дисперсии всего теста — так называемого коэффициента альфа.

Точность В Отношении Обследуемых Касается Надежности, С Которой метод Выявляет Одно И То Же В Руках Разных Экспериментаторов Или когда Он Применяется На Социодемографически Равных Выборках.

Различается Надежность субъективных оценок И Гетерогенность.

Надежность субъективных оценокЭто степень согласия между разными экспериментаторами при оценке результатов одного метода или при оценивании тех же испытуемых. Если, например, проективный тест интерпретируют разные психологи, имеет смысл знать индекс надежности субъективных оценок, чтобы определить, насколько интерпретация является объективной. Условием для этого является обучен-ность психологов одному подходу к теории личности как основе метода и, далее, чтобы они пользовались одинаковой системой кодирования первичной информации. Надежность субъективных оценок важна в шкалах оценок, где низкие индексы указывают на недостаточную очерченность или большую субъективность предмета оценки.

Гетерогенность Определяет, насколько метод применим дня разных групп испытуемых, которые различаются по возрасту, образованию, профессии, национальности и т. п. Неучет низкой гетерогенности некоторых интеллектуальных тестов является одним из источников идео-


Раздел 3. Теоретические Проблемы Диагностических Методов

85


Логически реакционных заключений, например, об интеллектуальной неполноценности негров или превосходстве представителей интеллигенции.

Серьезной проблемой практической психодиагностики являются условия точности, или же источники ошибок. Ряд авторов пытались создать таксономию всех факторов, влияющих на результаты психодиагностических методов. Источником ошибки психодиагностического метода является не только сам метод. Неточность может возникнуть в любом звене гносеологической цепи, идущей от метода к испытуемому и от него обратно к психологу, интерпретирующему результаты тестирования. Поэтому источники вариативности результатов тестирования можно рассматривать как минимум на пяти уровнях.

T. Несовершенство психодиагностического метода Приводит к двум типам ошибок: постоянным и случайным. К постоянным ошибкам относится неадекватная формулировка инструкции, нечеткие инструкции о способе подачи метода испытуемому, далее плохо сформулированные, непонятные или неоднозначные задания, вопросы и т. п. К непостоянным источникам ошибок метода относится, например, изменение электрического напряжения во время работы с тестовыми приборами, неодинаковая удобочитаемость бланков для ответов и т. д.

2. Ситуация обследования. На результаты может влиять время дня, когда проводится обследование, неодинаковое освещение помещения во время обследования равных групп испытуемых, неодинаково выгодное размещение испытуемых в условиях группового тестирования и т. п.

3. Личность экспериментатора. Этот фактор до сих пор мало учитывается в качестве возможного источника ошибок или завышения результатов. Речь идет не только о том, что экспериментатор может разных испытуемых по-разному стимулировать или тревожить в зависимости от собственного настроения, установок и т. п., но он им также может с разной степенью адекватности подавать инструкцию в зависимости от того, в какой мере они ему симпатичны. Возраст, пол, эстетический внешний вид также необходимо, вероятно, считать внеплановыми источниками вариативности результатов обследования. В немалой степени важно и то, в какой роли для испытуемых выступает экспериментатор, как он им был представлен: это их знакомый, это учитель, врач, руководитель; был он представлен как хороший специалист или как человек, влияющий на их дальнейшую судьбу в зависимости от результатов обследования, и т. д.

4. Психическое функциональное состояние обследуечых. Здесь имеется в виду психическое состояние, настроение, мотивация, утомление,


86 _____ Часть I. Психодиагностика —теоретико-Методологическиеаспекты

Отношение к обследованию, любопытство, интерес к решению, чувство опасения и т. д., а также тенденция рисковать и «угадывать» правильные решения в тестах достижений, отвечать на вопросы опросника как угодно, тенденция списывать или словчить иным способом, тенденция симулировать или диссимулировать, усугублять свое положение или обманывать иначе.

Авторы многих, преимущественно субъективных, методов учитывают эти источники искажения результатов и пытаются избежать их введением разнообразных контрольных шкал (например, в методике многофакторного изучения личности Березина, Мирошникова, Рожанца). На результат тестирования может повлиять и предыдущая деятельность испытуемых. Например, групповые обследования в школах могут дать разные результаты в зависимости от характера предыдущего урока (ребята по-разному реагируют после урока математики, физкультуры, истории).

5. Способ оценивания результатов и их интерпретация. Этот фактор играет роль главным образом при методах, результаты которых требуют как кодирования — перевод первичной информации в определенные категории (например, в тесте Роршаха оценка ответов), так и оценки соответствия ответа определенному эталону или определенным требованиям (относительно полноты ответа, абстракции, оригинальности и т. п.). Здесь есть возможность корригировать индивидуальную ошибку путем оценки результатов несколькими экспериментаторами (мысль К. К. Платонова относительно «обобщения независимых характеристик» может быть использована и для осуществления этой процедуры).

Интерпретация результатов является объективной и однозначной только при условии, что она касается однозначного сравнения диагностической информации с эталоном или количественной нормой. Но когда мы пытаемся объяснить, какой смысл имеет определенная диагностическая информация, какое место она занимает в структуре деятельности субъекта, мы попадаем на «ненадежную почву», и интерпретация становится более похожей на деятельность художника, чем ученого.