Тема 10 Прогностическая валидность по совокупности методик, стандартизованных на одной выборке

Задание 1. Выявление Личностных Особенностей На Основе Сравнительных Исследований

Введение. Сравнительные исследования по совокупности методик реализуются на основе стандартизации полученных по опроснику результатов и предполагают их соотнесение с усредненными результатами по определенной выборке испытуемых для выявления степени отклонений конкретного результата от среднего значения, характеризующего выборку. Учитывая характер распределения результатов по всей выборке и величину разброса этих данных относительно среднего результата, рассчитывают вторичные показатели. Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.

«Любая норма, в чем бы она ни выражалась, ограничивается конкретной совокупностью людей, для которых она вырабатывалась. Применительно к психологическим тестам они [нормы] никоим образом не абсолютны, не универсальны и не постоянны. Они просто выражают выполнение теста испытуемыми из выборки стандартизации» (А. Анас-тази) [17].

Чаще всего в руководствах к тому Или Иному тесту можно встретить выражения нормы не в виде сырых баллов, а в виде стандартных производных показателей. То есть нормы к данному тесту могут быть выражены в виде стенов, станайнов, стандартных IQ, Т-баллов, про-центилей И Др.

Цели и задачи работы: Знакомство с процедурой стандартизации на этапе обработки результатов. Выполнение требуемого объема работ по переводу первичных показателей во вторичный (стены) для Вы-

Тема 10. Прогностическая Валидность По Совокупности Методик_____ 227

Бранных опросников, когда в качестве сравнительной базы используется выборка студентов, участвовавших в исследованиях (с использованием технологий стандартизации). Анализ личностных особенностей отдельного испытуемого на основе индивидуальных баллов но вторичному показателю, рассчитанному для различных диагностических методик.

Методические Указания

Процедура работы. Проводится обсуждение и выбор опросников для проведения работы. Критериями отбора являются:

♦ разная диагностическая направленность опросников;

♦ разная степень разработанности опросников;

♦ разное количество утверждений, входящих в отдельные шкалы;

♦ разные шкалы ответов (дихотомическая, трехбалльная, девятибалльная);

♦ разная технология подсчета результатов по каждой шкале (баллы, проценты).

Для выполнения работы выбраны опросники, представленные ранее в данном пособии.

♦ Опросник 16 PF, Р. Кэттелл (интерпретация по работе А. Н. Капустиной [129]).

♦ Опросник формально-динамических свойств индивидуальности (ОФДСИ) В. М. Русалова.

♦ Опросник самоотношения, В. В. Столиц, 1985.

♦ Методика диагностики типа эмоциональной реакции на воздействие стимулов окружающей среды, В. В. Бойко.

♦ Методики диагностики личности на мотивацию к успеху и мотивацию к избеганию неудач, Т. Элерс.

♦ Измерение мотивации достижения, А. Меграбян.

♦ Измерение мотивации аффилиации, А. Меграбян.

♦ Механизмы психологической защиты, Е. С, Романова, 1996.

♦ Опросник Д. Кейрси (типология личности по Майерс—Бриге).

Данные опросники включают в себя шкалы, представленные в табл. 6.

В общей совокупности но выбранным методикам студент тестируется по 78 психологическим качествам — шкалам. Многие из этих шкал имеют психологическую общность, которая должна проявиться на уровне корреляционных зависимостей, а также качественного сравнительного анализа стенов но каждой шкале.

228__________________________ Часть Третья. Психодиагностический Практикум

Таблица 6

Индивидуальные Показатели Испытуемого По Совокупности

Диагностических Шкал (Первичные Баллы И Стены)

Тема 10. Прогностическая валидность по совокупности методик_____ 229

Продолжение ■&

230______________________ Часть третья. Психодиагностический практикум

Таблица 6 (продолжение)

Тема 10. Прогностическая Валидность По Совокупности Методик_________ 231^

Продолжение &

232______________________ Часть третья. Психодиагностический практикум

Таблица 6 (продолжение)

Тема 10. Прогностическая Валидность По Совокупности Методик_____ 233

Продолжение ■&

234______________________ Часть Третья. Психодиагностический Практикум

Таблица 6 (продолжение)

Тема 10. Прогностическая Валидность По Совокупности Методик_____ 235

Продолжение &

236

Часть Третья. Психодиагностический Практикум

Таблица 6 (продолжение)

Студенты в течение данного практического курса знакомятся с назначением опросников, составом и содержанием шкал опросников, методическими указаниями по проведению тестирования, инструкциями для испытуемых, технологией подсчета первичных показателей по прилагаемым к методике ключам и вариантами обработки с выходом на вторичные показатели (в соответствии с представленными выше заданиями данного практикума).

Для проведения тестирования (с учебной целью - стандартизировать методики, т. е. создать нормы для индивидуально-типологической диагностики отдельных испытуемых) формируется группа испытуемых. Предварительно обсуждаются требования к этой группе, чтобы ее можно было определить как «выборку стандартизации». Поскольку участниками тестирования являются сами студенты, обсуждается характер привлекаемой к тестированию выборки, ее состав, однородность, делаются выводы о се соответствии «выборке стандартизации» (чем характеризуется выборка стандартизации и в чем конкретно отличается от нее привлекаемая выборка).

Тема 10. Прогностическая Валидность По Совокупности Методик_________ 237

Правила Формирования Выборки Стандартизации:

1) выборка стандартизации должна состоять из респондентов, на которых в принципе ориентирован данный тест, т. е. если создаваемый тест ориентирован на подростков (например, тест Амтхауэра), то и стандартизация должна происходить на детях заданного возраста;

2) выборка стандартизации должна быть репрезентативной, т. е. представлять собой уменьшенную модель популяции по таким параметрам, как возраст, пол, профессия, географическое распределение и т. д.

Проводится тестирование (тестирование по выбранным методикам проводится при выполнении заданий предыдущих тем данного пособия). Обращается особое внимание на необходимость унификации бланков опросников, условий проведения опроса, процедуры опроса и соблюдения других требований стандартизации.

Стандартизация На Этапе Проведения Тестирования

Общие требования к проведению тестирования.

1. Инструкции, даваемые обследуемым, должны дословно соответствовать тем, которые предусмотрены разработчиками теста. Никаких ответов на вопросы учеников, никаких дополнительных пояснений (если это специально не разрешено в руководстве к тесту) быть не должно, несмотря на то что учителям, особенно начальных классов, иногда очень хочется объяснить своим ученикам задание к тесту «попонятнее». Это связано с тем, что любые высказывания экспериментатора, не предусмотренные инструкцией к проведению теста, изменяют условия проведения теста в данном классе по сравнению с другими и делают невозможным сопоставление разных классов между собой.

2. Время выполнения теста должно точно соответствовать тому, которое предусмотрено в инструкции к тесту.

3. Тестирование должно проводиться на стандартном бланке, предусмотренном разработчиками (особенно это касается тестов на интеллект, внимание, восприятие и т. п.). Любые попытки поддаться искушению и «улучшить» стандартные бланки при ведет только к искажению результатов и невозможности сопоставлять полученные данные с нормами, приводимыми в руководстве к тестам.

4. Если проводится комплексная программа тестирования, то отдельные тесты должны предъявляться в одном, предусмотренном разработчиками порядке, поскольку происходит своеобразная «интерференция» (взаимное «наложение», влияние) тестов: выполнение

238

Часть Третья. Психодиагностический Практикум

Данного теста может существенно зависеть от того, какой тест выполнялся до этого.

Стандартизация На Этапе Обработки Результатов

Каждый студент осуществляет подсчет первичных показателей (баллов, процентов и др.) в соответствии с ключом к методике. Проверяется правильность подсчета баллов.

Первичные показатели по всей выборке собираются в сводные таблицы по каждой методике отдельно. Данные вносятся в компьютер, и проводится их статистический анализ.

Далее выводятся гистограммы по каждой шкале.

Они необходимы для визуального анализа характера распределения ответов выборки испытуемых по каждой шкале.

1. В первую очередь выделяются шкалы с распределением, близким к нормальному и вершиной распределения (модой), расположенной в средней части каждой шкалы. Для шкал с таким распределением используемая нами студенческая выборка практически ничем не отличается от выборки стандартизации.

2. Затем выделяются шкалы, также имеющие распределение, близкое к нормальному, но со смещением моды в ту или иную сторону от центра.

Если отклонения несущественны, делается вывод, что для данной шкалы участвующая в тестировании выборка не отличается от выборки стандартизации.

Выраженные смещения средней выборки в ту или иную сторону по диагностируемой шкале свидетельствуют или об однородности группы в части степени выраженности у нее исследуемого качества (что наиболее вероятно для выбранных методик), или о низкой дискри-минативной способности утверждений (или вопросов), входящих и оцениваемую шкалу.

В первом случае при анализе индивидуально-психологических особенностей личности необходимо вносить поправку, связанную со смещением всей группы, по отношению к которой эти особенности исследуются.

Во втором случае необходимо отказаться от дальнейшей обработки по данной шкале.

3. В третью группу попадают шкалы, на которых распределение не
может быть отнесено к нормальному распределению.

Для шкал с нормальным распределением рассчитываются основные статистические показатели, характеризующие меру центральной

Тема 10. Прогностическая Валидность По Совокупности Методик_____ 239

Тенденции и меру вариативности (среднее значение и среднее квадратичное отклонение — СКО).

К отобранным шкалам каждый студент применяет процедуру расчета вторичного показателя (в нашем случае — стенов), основываясь на данных выборки и своих первичных показателях по методикам.

Полученные значения вторичного показателя (стенов) с учетом сказанного выше являются основой для определении как Норм выполнения теста, Так и характеристик индивидуально-психологических особенностей личности по отношению к конкретной выборке (или в целом популяции, на которую рассчитан данный тест). Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.

Чаще всего в руководствах к тому или иному тесту можно встретить выражения нормы не в виде сырых баллов, а в виде стандартных производных показателей. То есть нормы к данному тесту могут быть выражены в виде стенов, станайнов, стандартных IQ, Т-баллов, про-центилей и др.

В данном задании перевод сырых значений (первичных показателей) в стандартные (производные) для шкал, удовлетворяющих вышеназванным условиям для одной и той же выборки, делается для того, Чтобы результаты, полученные по разным тестам, можно было сравнивать между собой.

В результате проведенных расчетов по каждой из выделенных шкал (см. табл. 2) каждый студент проставляет свои вторичные баллы — стены, характеризующие степень выраженности оцениваемого качества по отношению к исходной выборке — группе студентов. Студенты готовят индивидуальную сводную ведомость с перечнем всех шкал по всем задействованным опросникам и степами по каждой шкале. Такое представление материалов вторичной обработки дает возможность провести сравнительную оценку различных методик по тому, как у испытуемого проявляется то или иное психическое свойство, на близких по психологическому содержанию шкалах разных опросников.

Исследуется диагностическая валидность, которая отражает способность теста дифференцировать испытуемых по изучаемому при-

240

Часть Третья. Психодиагностический Практикум

Знаку. Реальная валидиость раскрывается только в результате накопления значительного опыта работы с тестом.

На основе рассчитанных в ходе стандартизации вторичных показателей (стенов) по выбранным шкалам опросников каждый студент составляет описание своих индивидуально-психологических особенностей (предполагая, что используемая выборка является выборкой стандартизации). Составленный таким образом индивидуальный портрет отражает только возможности опросников (точнее, отдельных шкал опросников) и может в чем-то соответствовать или не соответствовать реальным психологическим чертам и качествам человека.

Для получения доказательств адекватности составленного по результатам опроса портрета испытуемого с его реальным образом (или получения доказательств в пользу вал идности диагностических шкал) проводится сравнение данного портрета с психологическим описанием реального поведения. Данное описание может быть составлено с использованием разнообразных источников информации (на основе наблюдений за испытуемым, мнений других людей и пр.).

В ходе сопоставления отдельных черт портрета, полученного на основе диагностических методик и реального поведения испытуемого, выявляются характерные значимые несоответствия, следствием которых является невалидность соответствующих шкал опросников. Таким образом выявляются шкалы, валидность которых для конкретного испытуемого подтверждается (или, иными словами, укрепляется доверие экспериментатора к диагностической возможности шкалы).

В целом процедура оценки шкал на их диагностическую валидность (отражающую способность теста дифференцировать испытуемых по изучаемому признаку) осуществляется по следующей схеме:

♦ в первую очередь оцениваются шкалы, по которым Стены Выходят за диапазон нормы в ту или иную сторону (3, 2, 1 или 8, 9, 10 стенов) и по которым составляется индивидуальный портрет испытуемого. В этом случае осуществляется сравнение стенов по шкалам, близким по психологическому содержанию (например, экстраверсия, сила нервной системы и др.). Экспериментатор определяет шкалы, которым он «доверяет», и шкалы, которым он «не доверяет» (т. е. шкалы, по которым в данном конкретном случае подтверждается или не подтверждается валидность);

♦ во вторую очередь сопоставляются шкалы, по которым оценки испытуемого не вышли за пределы нормы, но являются крайними значениями (4 и 7 стенов). Совпадение стенов по шка -

Тема 10. Прогностическая валидность по совокупности методик_____ 241

Лам между собой и их психологического описания с реальным образом также являются основанием подтверждения валидно-сти в данном конкретном случае; ♦ в последнюю оч ередь должны быть оценены остальные шкалы выбранных опросников (со стенами 5 и 6). Однако, учитывая неопределенность в степени выраженности психологических характеристик, стоящих за этими шкалами, условно принимается решение об их диагностической невалидности для конкретного испытуемого.