Тема 3. Основы современных технологий диагностики качества знаний
Не зависимо от метода контроля, который лежит в основе тестовой системы, очень важно при составлении любого теста учитывать две важные характеристики: надежность и валидность. Надежность и валидность – это важные показатели качества теста.
Надежность – одна из важнейших характеристик теста, которая отражает точность педагогических измерений и степень постоянства результатов тестирования. Степень постоянства результатов тестирования означает стабильность во времени и предсказуемость ответов на задания теста, когда правильный ответ на каждый вопрос повышает вероятность правильного ответа на другие вопросы (внутритестовая надежность)[18].
Надежность теста, как правило, определяется после окончания анализа задач и составления окончательной формы теста. «Под надежностью понимается степень сходства истинной компоненты с наблюдаемым при тестировании результатом» - А.Н.Майоров. «Надежность теста есть, по существу, доля или процент дисперсии истинного компонента измерения от общей дисперсии теста» - В.С.Аванесов. Иначе надежность можно представить формулой, повсеместно известной в литературе как формула Ф. Рулона:
,
где
-
дисперсия ошибочного компонента измерения,
-
дисперсия вектора тестового результата.
Еще один теоретический подход к определению надежности тестов связан с идеей об умозрительной возможности иметь неограниченное количество тестов, одинаково измеряющих одно и тоже свойство; поэтому исследователю безразлично, каким из них пользоваться. Это одно из определений параллельности тестов, данное Х.Галликсеном.
Параллельные тесты - это тесты, которые измеряют одно и тоже свойство с одинаковой ошибкой. Для них характерно иметь равные средние арифметические, одинаковые дисперсии результатов измерения, одинаковый коэффициент надежности.
Вместо валидности в литературе часто используют термины: «обоснованность», «достоверность», «информативность», «действенность», «адекватность», «согласованность». «Проблема обоснованности обусловлена тем, что исследователь не имеет гарантии уверенности в том, что он измеряет именно то, что стремился измерить... Обоснованность связана с вопросом о том, что измеряет тест... » - Г. В. Осипов и Э.П.Андреев. «Обоснованным инструментом считается тот, который обеспечивает необходимую информацию, исключает возможность ее подмены, измеряет именно то, что является искомым» - В.И. Волович.
Для того чтобы делать заключение о надежности и валидности тестов, необходимо провести предварительные вычисления. Установить надежность теста можно несколькими способами: рассчитать коэффициент корреляции, можно использовать точечные оценки или пользоваться различными статистическими критериями.