3.4. Модели оценки результатов тестирования

К настоящему времени уже существуют разработки, посвященные различным аспектам контроля знаний и основанные на современных достижениях науки и компьютерной техники. В то же время формирование набора контрольных заданий для контроля знаний осуществляется, обычно случайным образом; иногда учитывая параметры заданий; и лишь в отдельных случаях используется адаптивная выдача контрольных заданий. Применяемые методы проведения контроля можно систематизировать, разделив на три класса:

1. Неадаптивные методы

2. Частично адаптивные

3. Полностью адаптивные методы

К неадаптивным методам контроля относятся строгая последовательность, строгая выборка, комбинированный метод.

Строгая последовательность подразумевает, что набор заданий заранее подготавливается преподавателем и помещается в БД системы. Как правило, это одинаковая последовательность для всех студентов. Недостатки: отсутствие разнообразия, понижение самостоятельного выполнения задания. Этот метод считается наихудшим. Метод можно улучшить, подготовив несколько вариантов контрольной работы или выдавая задания студентам в произвольном порядке.

Случайная выборка. Набор заданий формируется непосредственно перед контролем на основе заданий, хранящихся в БД, т.е. вариант контрольной работы – это n случайно выбранных заданий. Преимущество: каждому студенту предлагается индивидуальная последовательность вопросов. Недостаток: вариант контрольной работы генерируется без учета трудности заданий. Модификации метода: могут быть заданы тема и общее время контроля, время ответа на каждый вопрос; дополнительно может быть установлено число вопросов разной степени трудности и/или из разных тем в каждом варианте контрольной работы [4].

Для включения задания в тест необходимо определить уровень его трудности. При этом в тестах достижений трудность задачи лучше всего определять в условиях «мягкого» лимита времени или совсем без его ограничения. Фиксируется успешность и время решения.

Основным показателем трудности задачи является индекс трудности, который рассчитывается по следующей формуле Гайда:

,

где U – индекс трудности в процентах,

n – число испытуемых, правильно решивших задачу,

N – общее число испытуемых.

Для определения индекса трудности в случае альтернативных заданий, где максимальна вероятность угадывания правильного ответа, используется формула:

,

где N_n – число испытуемых, не решивших задачу,

m – число вариантов ответа.

Задания, которые имеют значения показателя индекса трудности больше 80 или меньше 20, как правило в тест не включаются. Логика этого отсечения заключается в том, что задания, с которыми справляются все или не справляется никто, являются низкоинформативными[2].

Следующий метод, относящийся к неадаптивным методам контроля - комбинированный метод. В этом случае случайная выборка дополняется строгой последовательностью. Преподаватель задает один или несколько вопросов, которые непременно должны быть включены в каждый вариант контрольной работы. Остальные задания генерируются случайным методом.

Общее свойство для неадаптивных методов контроля - вариант контрольной работы для каждого студента формируется до контроля.

К частично адаптивным методам контроля относят случайную выборку с учетом отдельных параметров модели студента, контроль на основе ответов студента, контроль на основе модели учебного материала, модульно-рейтинговый метод.

Случайная выборка с учетом отдельных параметров модели студента характеризуется тем, что набор заданий генерируется непосредственно перед контролем, но при генерации используются такие параметры модели студента, как общий уровень подготовленности, способность к обучению. Недостаток: разный студенты получают задания различной трудности. Поэтому, генерируя вопросы студенту, соответствующие его способностям, целесообразно включить в набор одно - два задания высокой и низкой сложности.

В случае контроля на основе ответов студента контроль осуществляется по заранее составленному сценарию, т.е. по разветвленной контролирующей программе. Пример такого сценария приведен на Рисунке 1

Рис. 1. Пример сценария контроля

На рисунке 1 вершины графа В_i соответствуют вопросам, предлагаемым студенту, а дуги указывают следующий выдаваемый вопрос в зависимости от правильности ответа: Пр – правильный ответ, Нт – неточный, Нп – неправильный ответ. Предварительная подготовка сценария КЗ дает возможность включить в программу вопросы разной степени трудности и значимости, расположив наиболее значимые и трудные задания в основной ветви программы (на Рисунке 1 это вопросы В₁ и В₆), а более простые – в разветвлениях. Недостаток метода: всем студентам предлагаются одни и те же задания, однажды включенные в контролирующую программу. Модификация: отделение сценарий контроля знаний от набора контрольных заданий.

Контроль на основе модели учебного материала. В данном методе формирование набора заданий для контроля знаний происходит на основе модели учебного материала (курса, темы, раздела), которая представляет собой ориентированный граф: множество вершин графа соответствует объектам изучения, а множество ребер – связям между ними. Изучение учебного материала осуществляется в соответствии с оптимальной последовательностью изложения учебного материала, которая обычно есть ничто иное, как линейная последовательность объектов изучения. Таким образом, сначала генерируется задание для проверки знаний первого учебного объекта, затем – второго и т.д., т.е. последовательность выдачи заданий аналогична последовательности изучения учебного материала по модели учебного материала. Модификация: предусматривается генерация контрольных заданий с учетом уровня подготовленности студента.

Модульно-рейтинговый метод аналогичен во многом предыдущему. Учебный материал разделяется на отдельные составляющие – модули, для каждого из которых заранее подготавливается комплект контрольных заданий. В процессе контроля знаний студенту сначала предлагается вопрос из первого модуля. При этом после каждого ответа студента вычисляется его рейтинг. Переход к вопросам следующего модуля осуществляется при достижении определенного, заранее установленного рейтинга, причем студент с целью повышения своего рейтинга, а, следовательно, и оценки, может продолжить выполнение заданий текущего модуля и лишь затем перейти к следующему.

Адаптивные методы контроля связаны со структурой учебного материала, а также учитывают уровень подготовленности студентов, налицо признаки адаптации. К ним относятся контроль по модели студента, контроль по моделям студента и учебного материала.

В этой модели контроля по модели студента учитываются следующие параметры модели студента: уровень подготовленности; вид репрезентативной системы; направленность личности; уровень беспокойства-тревоги; особенности памяти; ответ студента. Сценарий контроля обычно формируется динамически в процессе контроля знаний, хотя набор сценариев для различных групп студентов может быть создан заранее и аналогичен методу «контроль по ответам студента».

Контроль по моделям студента и учебного материала является развитием предыдущего метода, т.е. при формировании контрольных заданий используются приведенные ранее параметры модели студента, но процесс контроля знаний строится на базе модели учебного материала, учитывая взаимосвязь между проверяемыми понятиями[4].

Таким образом существует большое количество методов организации компьютерного контроля знаний, часть из которых в той или иной мере можно считать адаптивными. Ниже приведена таблица, содержащая основные характеристики методов проведения контроля.

Таблица 1. Методы проведения контроля и используемые модели