Создание психометрического инструментария для оценки понимания прочитанного

Вступление

Психометрия и психология индивидуальных различий играют важную роль в разработке инструментария для оценки понимания прочитанного. В России, где психологические исследования были ограничены после постановления ВКП(б) о педологии, ощущалась острая нехватка специальных инструментов для проведения исследований.

Необходимость адекватного инструментария

Понимание прочитанного является сложным когнитивным процессом, который требует взаимодействия между чтением, метакогнитивными процессами, вниманием и памятью. Этот процесс имеет решающее значение, поскольку он является основой усвоения академических знаний и используется в качестве прокси для измерения IQ в определенных тестах. В международных сравнительных исследованиях, таких как PIRLS и PISA, низкие показатели российских школьников указывают на необходимость изучения процесса понимания прочитанного.

Ограничения классической психометрии (КП)

Традиционные психометрические методы, основанные на КП, не могут решить ряд проблем, связанных с разработкой тестов на понимание прочитанного. КП рассматривает задания и характеристики испытуемых как неразделимые, что приводит к неточности в оценке уровня способностей.

Использование новой психометрики (НП)

НП, основанная на моделях Раша, позволяет разделить эти характеристики и создает основу для создания более точных и полезных инструментов. Модель MFRM (Many-Facet Rasch Model) особенно полезна для оценки понимания прочитанного, поскольку она позволяет оценить эффекты оценщиков и учитывать их при подсчете оценок способностей.

Исследование

Исследователи использовали MFRM для оценки понимания прочитанного у 4020 детей и взрослых. Тест состоял из 15 параграфов, каждый из которых был разделен на четыре возрастные группы. Данные были обработаны с использованием разработанных рубрик, а оценщики были специально подготовлены и проанализированы на предмет согласованности.

Результаты

Результаты показали, что тест на понимание прочитанного обладал адекватными психометрическими свойствами и мог надежно различать испытуемых по уровню способностей. Кроме того, MFRM позволил исследователям анализировать неожиданные ответы, предоставляя ценную информацию для улучшения инструмента.

Преимущества НП

Использование НП в исследовании процесса понимания прочитанного имеет несколько преимуществ:

• Создание первичной базы данных для систематического изучения процесса понимания прочитанного.
• Объединение в одном анализе вопросов с несколькими вариантами ответов и открытых заданий.
• Применение единой шкалы способностей для нескольких возрастных групп.

Выводы

Исследование продемонстрировало, что НП обеспечивает более адекватный подход к оценке понимания прочитанного, чем КП. Это открывает новые возможности для исследования этого важнейшего когнитивного процесса.

Ключевые особенности новой психометрики (НП) в оценке понимания прочитанного

Разделение характеристик заданий и испытуемых

В отличие от классической психометрии (КП), которая рассматривает задания и характеристики испытуемых как неразделимые, НП позволяет разделить эти характеристики. Это приводит к более точной оценке уровня способностей испытуемых.

Использование модели MFRM (Many-Facet Rasch Model)

Модель MFRM особенно полезна для оценки понимания прочитанного, поскольку она позволяет:

• Оценивать эффекты оценщиков, которые участвуют в оценке открытых ответов.
• Учитывать эти эффекты при подсчете оценок способностей.

Создание более гибких и многофункциональных психометрических подходов

НП позволяет использовать альтернативные формы одного и того же инструмента или неперекрывающиеся наборы утверждений для получения гомогенной оценки способностей. Кроме того, НП позволяет отслеживать и корректировать равномерность использования шкалы Лайкерта.

Использование более адекватных статистических разработок

НП предполагает использование более адекватных статистических разработок, когда сбор данных осуществляется гнездовым методом. Это означает, что данные отдельных испытуемых "вложены" в данные их классного руководителя, и не все наблюдения являются независимыми друг от друга.

Преимущество НП в исследовании понимания прочитанного

Использование НП в исследовании процесса понимания прочитанного имеет несколько преимуществ:

• Создание первичной базы данных для систематического изучения процесса понимания прочитанного.
• Объединение в одном анализе вопросов с несколькими вариантами ответов и открытых заданий.
• Применение единой шкалы способностей для нескольких возрастных групп.
• Анализ неожиданных ответов, предоставляющий ценную информацию для улучшения инструмента.