Лекция 5

Особенности организации и проведения контрольных занятий в ИС ДО

В задачу данной лекции не входит подробное обсуждение всех вопросов, связанных с подготовкой, проведением и анализом результатов контрольных занятий. Нельзя объять необъятное. С наиболее важными моментами проблемы в кратком изложении Вы можете познакомиться в Хрестоматии к курсу.

Так в "Хестоматия. Глава Система контроля и оценивания" Вы сможете познакомиться с основными понятиями, классификацией, функциями и методами контрольных занятий в высшей школе.

В "Хестоматия. Глава Рекомендации по составлению" найдете рекомендации к составлению тестовых заданий.

В "Хестоматия. Обеспечение информационной безопасности массовых компьютерных тестирований и пути управления качеством образования" найдете рекомендации по обеспечению и поддержке безопасности Вашей базы заданий и самого процесса тестирования от недобросовестных пользователей.   

Здесь же остановимся на конкретных рекомендациях по подготовке и проведению контрольных занятий (главным образом в форме тестирования) в обучающей оболочке ИОС ОО. Значительная часть используемого материала взята из работы [6].

Контрольные мероприятия (текущие испытания, зачеты и экзамены) с использованием ДОТ могут проводиться следующим образом:

• Традиционным способом
• С учетом рейтинга рубежных тестирований и промежуточных оценок
• Бумажным или компьютерным тестированием с обязательной идентификацией личности студента.

Контроль знаний в ВП.Тестовая подсистема ВП – это основной инструмент для контроля знаний учащихся наравне с иными методами контроля (курсовые проекты, рефераты и т.д.)

Среди преимуществ педагогических тестов перед традиционными методами контроля можно выделить следующие:

• во-первых, они позволяют повысить объективность контроля,  исключить влияние на оценку побочных факторов, таких как личность преподавателя и самого студента, их взаимоотношения и т. п.;
• во-вторых, оценка получаемая с помощью теста, более дифференцирована. В отличие от традиционных методов контроля, где используется    4-балльная шкала, результаты тестирования благодаря особой организации могут быть представлены в более дифференцированном виде, содержащем множество градаций оценки, а благодаря стандартизированной форме оценки педагогические тесты позволяют соотнести уровень достижений обучающихся по предмету в целом и по отдельным существенным его элементам с аналогичными показателями в группе или любой другой выборке испытуемых;
• в-третьих, тестирование обладает более высокой эффективностью, чем традиционные методы контроля. Его можно одновременно проводить как в группе, так и на курсе. При этом обработка результатов тестирования с использованием специальных “ключей” для теста производится намного быстрее, чем, например, проверка письменной контрольной работы;
• в-пятых, педагогические тесты обычно компактны и, как правило, легко поддаются автоматизации.

Безусловно, у тестирования как метода контроля есть и свои ограничения. Легче всего с помощью педагогического теста проверить степень овладения учебным материалом. Проверка глубинного понимания предмета, овладения стилем мышления, свойственным изучаемой дисциплине, в этом случае весьма затруднительна хотя в принципе, возможна. Отсутствие непосредственного контакта со студентами, с одной стороны, делает контроль более объективным, но, с другой – повышает вероятность влияния на результат других случайных факторов. Таким образом, можно сделать вывод, что наилучший эффект дает сочетание в рамках профессионально-ориентированной технологии обучения педагогических тестов с традиционными методами контроля.

Критика тестирования, которую можно слышать из уст отдельных преподавателей, часто обусловлена непониманием специфики этого метода и реальных возможностей его использования. Она правомерна тогда, когда при некомпетентном использовании педагогических тестов абсолютизируется тестовый балл, забывается, что любая оценка дается с определенной долей вероятности. Достоинство педагогического тестирования заключается еще и в том, что можно оценить степень этой вероятности и, следовательно, знать, насколько точен полученный результат.

Работа с тестовой подсистемой ВП начинается с подготовки базы данных (БД) тестовых заданий. Тестирование проводится по предварительно подготовленному сценарию, который представляет собой группы вопросов и происходит в заданном преподавателем режиме.

Вопросы объединяются в группы по тематическому принципу. Как правило, они охватывают определенную часть учебного курса. Такой подход позволяет не только оценивать знания по отдельной части учебного курса, но и объединять группы для проведения комплексной проверки знаний по нескольким частям курса или курсу в целом.

Подготовку и проведение тестового контроля знаний можно представить как сочетание следующих этапов:

• подготовка тестовых вопросов в виде групп вопросов (базы тестовых заданий);
• формирование педагогического сценария тестирования из подготовленных групп вопросов;
• назначение процедуры тестирования (как индивидуального, так и группового) по готовым сценариям;
• контроль хода и результатов тестирования;
• документирование (оформление) результатов контроля знаний.

Подготовка вопросов – весьма сложный процесс, в котором участвуют специалист – предметник, постановщик тестов. Требования к тестовым заданиям изложены в Хрестоматии к курсу, а также в одном из приложений предыдущего курса Вводный курс в информационно-образовательную среду открытого образования (ИОС ОО).

Формировать сценарий приходится, не только автору-редактору, но и администратору ВП (по заданию преподавателя). Система допускает выполнение этих функций самим преподавателем. Но опыт эксплуатации подобных систем показывает, что в подавляющем большинстве случаев технические функции (настройка системы на режим тестирования) выполняет технический персонал.

В ВП учащиеся проходят регистрацию и объединение в учебные группы штатными типовыми средствами. Система контроля использует эти данные и не требует отдельной регистрации. Кроме того, тестирование может быть ориентировано как на учебную группу в целом, так и отдельного обучаемого в зависимости от организации обучения.

Результаты тестирования передаются в электронный деканат ВП как в электронной форме, так и в виде стандартной ведомости. Ведомость может выпускаться в целом на учебную группу (при традиционных формах обучения), на ряд учащихся, проходящих тестирование, на отдельного обучаемого.

Промежуточное тестирование или подготовку к нему учащиеся могут проходить, используя личный компьютер. Однако для проведения итогового тестирования они должны, как правило, прибыть в учебное заведение (базовый вуз, его учебный центр или организацию, связанную партнерским договором с базовым учебным заведением). Такое требование позволяет решить вопросы: идентификации личности, создания необходимых условий для тестируемого, контроля обучаемого в процессе прохождения тестирования и др.

Подготовка тестового обеспечения учебного курса. Кроме перечисленного обеспечения в большинстве случаев для комплектования полного обеспечения учебного курса требуется загрузка тестов для контроля знаний учащихся. Отметим, что контроль знаний может проводиться и без использования тестовой системы, однако на практике именно тестовое обеспечение является основной технологией контроля знаний при сетевом обучении через ВП. Поэтому рассмотрим порядок формирования тестового обеспечения учебного курса.

В состав учебных курсов входят тесты, обеспечивающие контроль знаний учащихся на различных этапах обучения. Тест представляет собой совокупность нескольких групп контрольных вопросов, объединенных по тематическому принципу, связанных в единое целое сценарием тестирования. Рассмотрим порядок формирования тестового обеспечения.

Работа с системой тестирования производится преподавателем-тьютором в модуле «деканат» ВП. В данном модуле выполняются следующие функции:

• подготовка фонда контрольных вопросов для тестирования;
• подготовка сценариев тестирования;
• контроль назначенных тестирований;
• просмотр состояния назначенных сценариев тестирования;
• пробное тестирование по готовым сценариям;
• контроль состояния тестирования;
• контроль незавершенных тестирований.

Результат выполнения вышеперечисленных функций передается в тестовую систему. После теста обработанные итоговые данные возвращаются в электронный деканат. Система тестирования ВП обеспечивает проведение промежуточного и итогового контроля знаний учащихся.

Работа с вопросами конкретной группы включает выполнение следующих процедур:

• просмотр состава и структуры вопросов выбранной группы;
• добавление нового вопроса в выбранную группу;
• выбор нескольких вопросов из группы;
• просмотр нескольких вопросов;
• редактирование нескольких вопросов;
• перенос нескольких вопросов из одной группы в другую;
• присоединение дополнительных файлов к вопросам.

Модуль «Редактор Вопросов» обеспечивает два режима работы: работу с группами вопросов и работу с вопросами конкретной группы. «Редактор Вопросов» доступен администратору и тьютору. Для этих категорий пользователей переход в режим работы с вопросами тестовой системы возможен через меню «Деканат» “Система тестирования” ”Вопросы” в области «Меню разделов»

Процедуры добавления новых вопросов в выбранные группы однотипны и интуитивно понятны. Осуществляются они через специальные интерактивные формы и, как правило, не вызывают сложностей у пользователей различных категорий. Отметим, что при просмотре вопросов в выбранной группе правильные ответы выделяются красным цветом и отмечаются флагом-комментарием «(верный)» (рис. 1).

Рис. 1. Просмотр вопросов в выбранной группе

Рис. 2. Форматы вопросов

Перечень форматов тестовых вопросов, представленный на рис. 2, отражает первый этап развития тестовой системы ВП. В дальнейшем планируется расширение этого состава до уровня, требуемого рекомендациями IMS. В результате представленный выше список дополнится следующими форматами:

• соединить точки;
• сгруппировать (переместить);
• выбрать элементы в матрице;
• указать значение (заполнить пробел) на слайдере (линейке).

В процессе формирования вопросов или ответов допускается использование графических файлов («подгруженные файлы»). После сохранения вопроса и возврата в режим просмотра информация из подгруженных файлов будет размещена в местах их подключения. Пример использования графических файлов в вариантах ответов иллюстрирует рис. 3.

Рис. 3. Пример использования графических файлов в вариантах ответов

При формировании группы вопросов могут быть выбраны: ограничение по времени на каждое задание, коэффициенты сложности задания. При этом настройки отдельного задания имеют приоритет перед настройками сценария тестирования.

Учитывая большой задел, имеющийся во многих учебных заведениях по тестированию учащихся, в тестовой системе ВП предусмотрена возможность загрузки тестовых вопросов из существующих систем тестового контроля. Загрузка осуществляется через специально разработанный формат. Для импорта в тестовую систему готовых тестовых заданий предусматривается использование специального файла импорта.

После формирования групп вопросов встает задача формирования сценария тестирования. Правила формирования системой тестов определяются с помощью сценариев, которые содержат описания процесса взаимодействия обучаемого с системой в течение одного сеанса тестирования. С помощью сценария определяются последовательность и режимы предъявления заданий и информационных материалов, временные ограничения, правила и критерии выставления оценки.

Автор сценария может задать временные ограничения (в минутах) на выполнение каждого тестового задания или на выполнение всего теста (уровня), а также определяет правила выставления оценок.

Ответ на одно задание любой формы может быть либо верным, либо неверным и оценивается по двухбалльной системе: 0 или 1. Другие оценки в автоматическом режиме не предусматриваются. Для того, чтобы использовать задания различных уровней трудности, вводится понятие "веса" задания, представляющего собой целое число. Окончательная оценка по данному заданию может находиться (пока в ручном режиме) умножением двухбалльного результата ответа (0 или 1) на вес. При прохождении нескольких заданий или всего теста баллы, полученные по каждому заданию, автоматически суммируются. Общая оценка знаний обучаемого по всем тесту определяется процентным отношением набранной им общей суммы баллов к максимально возможной сумме, также определяемой в системе автоматически.

Сценарий быть либо тренировочным, либо аттестующим. В режиме обучения используются все возможности системы, но результаты тестирования служат только для получения рекомендаций по проработке соответствующих разделов, а также для самоконтроля. В режиме аттестации система предназначена для проведения контроля знаний обучаемых.

Для перехода в режим работы со сценариями тестирования необходимо перейти в раздел «Деканат» «Система тестирования» «Сценарий тестирования».

• "Работа с выбранными сценариями";
• "Формирование нового сценария".

В данном режиме можно выполнить следующие операции:

• просмотреть список сценариев, созданных ранее;
• создать новый сценарий;
• отредактировать выбранный сценарий;

Отметим, что тьютор видит только свои сценарии, а администратор ВП – все сценарии, которые созданы любыми тьюторами и\или администраторами ВП.

При переходе в режим настройки сценария на экране появится страница (рис. 4), состоящая из нескольких панелей и полей:

• состав сценария;
• пароль допуска к тестированию;
• нормы правильных ответов для оценки;
• назначение тестирования;
• комментарий к сценарию;
• режим выдачи вопросов;
• время, отводимое на тестирование.

Рис. 4.  Режим настройки сценария

Возможны два режима отбора вопросов из каждой группы вопросов:

• ввод количества вопросов (поле: "Количество вопросов для каждой группы в сценарии"), из числа которых будут выбираться вопросы;
• ручная выборка вопросов.

Если введено фиксированное число вопросов для отбора из группы, то система будет при каждом сеансе тестирования подгружать в случайном порядке указанное количество вопросов из данной группы контрольных вопросов. При использовании режима ручного отбора вопросов из группы необходимо нажать кнопку «Выбрать вручную». При этом появится дополнительное окно, в котором необходимо отметить флажком выбора («Выбрать») вопросы, которые должны попасть в сценарий из данной группы, и нажать кнопку «Выбрать отмеченные».

При этом система: анализирует сложность каждого выбранного вопроса; автоматически устанавливает значения минимальной сложности и максимальной сложности данной группы вопросов; вычисляет количество выбранных вопросов. Поле «пароль» – используется для подтверждения допуска к тестированию; значение вводится вручную. Ввод пароля не является обязательным. Если пароль не введен, то в начале сеанса тестирования на запрос ввести пароль доступа необходимо оставить поле пустым.

Панель «нормы правильных ответов для оценки» – используется для оценки тестирований и формирования итоговой оценки результата тестирования. Нормы правильных ответов для получения оценок "удовлетворительно", "хорошо", "отлично" (задаются в процентах). Если нормы не введены или введены нормы не для всех типов оценок, или введено значение нормы больше 100%, то появится сообщение об ошибке.

Поле «назначение тестирования» – используется для просмотра списка слушателей, кому назначено тестирование по данному сценарию. В список автоматически попадают слушатели, которые подписаны на учебные курсы, в которых контроль знаний ведется по данному сценарию. Если закрепления сценария за учебными курсами еще не производилось, данное поле будет пустым и недоступно для ввода данных.

Поле «комментарий к сценарию» – используется для ввода описания сценария или комментария в свободном стиле (поле не является обязательным).

Панель «режим выбора вопросов» – используется для установки режима отбора вопросов из всех групп вопросов данного сценария.

В первой версии типового ПО ВП для тестирования можно задать три режима выдачи вопросов:

строгая последовательность;

случайная последовательность;

по возрастанию сложности.

Для выбора одного из указанных режимов необходимо установить флажок режима. При этом можно выбрать только один из указанных режимов. В дальнейшем число режимов может быть расширено.

Режим выдачи "строгая последовательность" – используется для указания конкретной последовательности следования вопросов, выдаваемой экзаменуемому учащемуся во время сеанса тестирования. Для задания последовательности необходимо нажать на кнопку «Указать последовательность». При этом на экране появится дополнительно окно со списком вопросов из всех групп вопросов данного сценария, выбранных на предыдущем шаге. По каждому вопросу, который должен присутствовать в последовательности, необходимо ввести в поле «Введите порядковый номер вопроса» – значение номера в последовательности. Завершается формирование последовательности нажатием на кнопку «Выбрать отмеченные».

Режим "по возрастанию сложности вопросов" – используется для выдачи вопросов с автоматической настройкой на значения параметра сложности, в результате чего последовательность подачи вопросов формируется в соответствии с данным параметром. Если не введена сложность вопросов (минимальная и/или максимальная), то автоматически устанавливается диапазон 1-10.

Режим "случайный порядок выбора вопросов" – используется для выдачи вопросов в случайном порядке.

Для режимов "по возрастанию сложности вопросов" и "случайный порядок выбора вопросов" можно задать два варианта работы данных режимов:

по группам – вопросы выдаются по группам (не смешиваясь);

все – выборка вопросов будет производиться по всей совокупности вопросов сценария.

Если выбран вариант «по группам», то режим отбора вопросов распространяется на каждую группу вопросов отдельно. Вопросы будут поступать тестируемому учащемуся в порядке следования групп вопросов в сценарии. Если выбран вариант «все», то режим отбора вопросов распространяется на всю совокупность вопросов не зависимо от группы вопросов. Для сценария, в который входит только одна группа вопросов, оба варианта работают одинаково.

Поле «время тестирования» – используется для ввода времени, отводимого на тестирование (в минутах).

Система контроля успеваемости

В системе контроля успеваемости преподаватель документирует учебный процесс с использованием двух типов журналов успеваемости:

• Индивидуальный журнал преподавателя (тьютора)
• и  собственно Журнал успеваемости (группы)

Доступ к ним осуществляется через меню Деканат – Успеваемость.

Или из окошка Детальная информация о группе («клик» на название группы), рис. 5.

Рис. 5 . Детальная информация о группе

Индивидуальный журнал преподавателя виртуального представительства моделирует рабочий журнал традиционного преподавателя. В нем последний отмечает работу каждого студента в течение семестра, выставляет оценки, комментарии, «посещаемость» (см. рис. 6):

Рис. 6. Индивидуальный журнал преподавателя группы ТТ-301, весна 2005 г.

Индивидуальный (рабочий) журнал создан в виде таблицы, которую создает тьютор.

В нее в обязательном порядке входят поля:

1. Номер слушателя
2. Его ФИО
3. E-mail
4. Итоговая оценка
5. Комментарий

На страничке журнала имеется информация по группе:

1. ФИО преподавателя
2. Название группы
3. Название курса

Тьютор может создавать новые столбцы и строки таблицы: в качестве столбцов задаются формы проведения занятий (виды занятий), в качестве строк – темы занятий (см. рис. 7, 8).

Рис. 7. Настройка индивидуального журнала по видам и темам занятий

Рис. 8. Вид незаполненного журнала

Названия строк и столбцов произвольные. Это может быть семинар, тема, тестирование,   лаб. работа и т.д. Тьютор имеет возможность редактировать число и названия этих полей произвольно. Предусмотрена возможность скрывать неактуальные на данный момент поля (строки), рис. 9.

Рис. 9. Скрытые темы

Каждая ячейка 3 подъячейки :

1. поле оценки (имеется возможность выставления нескольких оценок и не только по 5-балльной системе и с дробной частью, например 11.5)  
2. поле даты (сдачи задания)

Как уже указывалось, таблица содержит 2 нередактируемых столбца:

1. поле комментария для занесения произвольного комментария
2. поле итоговой оценки (по теме и по курсу в целом)

Индивидуальный журнал преподавателя (тьютора) никак не связан с журналом успеваемости группы.

В журнале успеваемости выставляются окончательные оценки по каждому модулю, виду занятий в курсе, которые видны студенту (рис.10):

  Рис. 10. Вид журнала успеваемости по слушателям группы

Он также доступен в любое время для редактирования в виде:

Рис. 11. Редактирование журнала успеваемости

Для каждого семинара предусмотрены оценки по степени активности или иной (балльной) шкале, по тестированию предусмотрено поле оценки (автоматически заносится из протокола тестирования группы, но доступно для редактирования). Предусмотрена также оценка за практическую работу и итоговая оценка.