Задание 2. Оценка критериальной валидности

Введение. Валидность критериальная Отражает соответствие диагноза и прогноза определенному кругу критериев измеряемого явления. Включает Текущую и прогностическую валидности.

244

Часть Третья. Психодиагностический Практикум

Критерии валидности — уровень достижений, степень развития способностей, выраженность определенного свойства личности и т. д.

Результаты теста сопоставляются с экспертными оценками коллег, руководителей, учителей, мнениями педагогов о знаниях, с контрольными проверками, объективными показателями достижений.

В большинстве процедур по валидизации имеет место внешний критерий. Обычно им является знакомый и очевидный индикатор психической характеристики, для определения которой мы и создаем метод.

Критерием чаще всего бывают проявления изучаемой характеристики в повседневной жизни. Однако это должны быть такие данные, которые сами по себе не могут заместить метод, иначе было бы бессмысленным фиііансировать создание метода. Достаточно было бы в качестве метода использовать сам критерий. В патопсихологии критерием является диагноз врача. В промышленности — количество аварий, количество поощрений или изобретений, оценка со стороны начальства или стратометрический выбор со стороны подчиненных или сотрудников но отношению к изучаемому аспекту исполнения или поведения. В школе критерием является оценка успеваемости и поведения.

Нахождение подходящего и легкодоступного критерия принадлежит к важнейшим и сложнейшим задачам валидизации. Многие хорошие методы были изъяты лишь потому, что не удалось найти адекватный критерий для их проверки. Сомнительные данные по валидизации находим, например, при некоторых опросниках, и не потому, что опросники являются невалидными, а потому, что трудно найти подходящий критерий, соответствующий тому, что опросник выявляет. Р. Мейли [179] указывает на факт, что опросники выявляют поле проявления изучаемой характеристики, в то время как шкалы оценок, с помощью которых чаще всего осуществляется валидизация опросников, выявляют интенсивность изучаемой характеристки. Но тогда коэффициент валидности оказывается ниже, чем он есть на самом деле.

Выбранный критерий может релевантно выражать лишь определенный компонент личностной структуры, причем другой критерий выражает уже следующий аспект. На этой основе - кроме иных факторов — может возникнуть разногласие между различными авторами при определении валидности (слепая валидизация).

Мы уже отмечали, что критерий должен быть очевидным, объективно надежно и легко определимым и по возможности репрезентативным показателем изучаемой характеристики. Критерием может

Тема 11, Технологии Валидизации

245

Служить и ранее проверенный практический тест или общепринятая хорошая теория.

Критерием может служить и возраст — при условии, что с возрастом регулярно повышаются или снижаются показатели изучаемого явления: иными общеопределенными критериями являются: пол, диагноз врача, отметка в школе, далее, например, разделение испытуемых на «имеющих» и «не имеющих» определенную характеристику, распределение испытуемых по степени выраженности (от максимума до минимума) изучаемой характеристики, применение техники «угадай, кто» и т. и.

Критерии можно разделить и в зависимости от того, касаются ли •они преимущественно достижений деятельности или постоянных характеристик и объективных обстоятельств.

Группу деятельностных критериев представляет, например, производительность, выраженная в количестве продуктов, далее, качество результата труда, заработок, время, необходимое на овладение деятельностью, и т. д.

К постоянным и объективно данным критериям можно отнести: возраст, пол, количество пропусков на работе, время пребывания на одной работе (на предприятии), текучесть кадров, несчастные случаи, повторение курса обучения, излечение и т. п.

Во многих случаях поэтому целесообразно дихотомизировать значение критерия или разделить его на соответствующее количество степеней. Однако дихотомизац'ию нельзя механически проводить по медиане. Ведь мы не знаем, каким на самом деле является распределение значений критерия в исследуемой выборке.

Целесообразно, например, в категорию «имеет характеристику» включить 80 % Испытуемых со значением критерия от максимума но уровень, соответствующий 21 %, а в категорию «не имеет характеристики» включит]) оставшиеся 20 % Лиц и т. п.

Валидность выражает практическую полезность теста, его диагностическую и прогностическую силу и возможность его использования в определенных целях. Естественно, в процессе систематического изучения отношений между результатами тестирования и различными критериями мы убеждаемся, что адекватность теста зависит от исследовательских целей. Тест имеет столько валидностей, сколько имеется критериев. Определенный тест интеллекта является, например, отличным инструментом для определения вербальной находчивости, но он мало годится для определения способности мысленного сопоставления.

246

Часть третья. Психодиагностический практикум

Почти каждый тест предоставляет нам несколько различных диагностических показателей (например, диагностическими показателями в тесте зеркального рисования являются: время, нажим, количество срывов, скорость обучения и т. П.). Поэтому Требуется определить валидность диагностических показателей по отдельности, или определить общую валидность всего теста в целом.

Валидизация по какому-либо критерию эффективно осуществляется Методом контрастных групп. При этом, как правило, используют сложный критерий, в котором отражено комплексное влияние различных факторов.

Другой способ оценки критериальной валидности — анализ корреляции между оценками по тесту и внешним критерием.

Предсказательная валидность может отражать как соответствие прогноза, сделанного на основании данного теста, с реальным состоянием изучаемого качества спустя некоторое время, так и временной интервал, в котором результат теста является валидным.

Валидизация может осуществляться на основе критерия, отражающего событие или состояние качества в прошлом (ретроспективная валидизация).

Методические Указания

Процедура работы. Обработка результатов. Валидизация осуществляется методом контрастных групп. При этом в качестве критерия используется одно из личностных качеств, выявленных в разделе 10.1, например «общительность—замкнутость», фактор А по опроснику Р. Кэттелла. Подбирается группа студентов с высокими баллами по данной шкале и группа студентов с низкими (полярными) баллами, т. е. с выраженным или невыраженным исследуемым качеством.

Данные группы проходят тестирование по новой методике, критериальная валидность которой исследуется. Рассчитывается среднее значение балла, полученного в первой и второй группах, и оценивается доверительная вероятносіь полученного различия между этими двумя средними. Оценка осуществляется при помощи статистического теста — t-критерия Стьюдента.

Обсуждение результатов. Если доверительная вероятность меньше 0,05, то делается вывод, что различия между двумя средними достоверны, и новая методика в связи с этим обладает критериальной валидностью, т. е. диагностирует степень выраженности того психологического качества, по которому она проверялась.