Система мониторинга контента и активности пользователей в LMS MOODLE

Система мониторинга состоит из 6 сервисов:

tick
Количество курсов и пользователей в подразделениях

Сервис формирует отчет по количеству курсов и пользователей в каждом учебном подразделении университета.

tick
Активность пользователей в курсах

Сервис выгружает из MOODLE данные для формирования отчета о степени вовлеченности студентов и преподавателей подразделений в систему ЭО.

tick
Содержание и структура курсов

Сервис формирует отчет о количестве разделов, элементов, ресурсов и тестовых заданий в ЭУК.

tick
Обращение пользователей в службу поддержки

Любой даже неавторизированный пользователь может обратиться за помощью через этот инструмент.

tick
Промежуточные результаты обучения студентов

Сервис формирует отчет по количеству курсов и пользователей в каждом учебном подразделении университета.

tick
Оценка качества курса студентами

Сервис позволяет запускать в конце семестра процедуру массового опроса студентов по всем курсам.

scroll down arrow

Преимущества и возможности

img

Аналитика и мониторинг учебного процесса

В LMS MOODLE существуют встроенные инструменты мониторинга учебного процесса, позволяющие анализировать процессы на уровне отдельного электронного курса или системы в целом. Получение оперативных и достоверных данных о результативности применения ЭО на уровне отдельного преподавателя, студента или учебного подразделения невозможно стандартными функциями MOODLE.

Предлагаемая система мониторинга позволяет решать эти задачи. Анализ данных, полученных в результате мониторинга, позволяет оценивать эффективность внедрения ЭО, работы отдельных субъектов ЭО и учебных подразделений в целом и принимать управленческие решения по оптимизации процессов электронного обучения.

img

Оперативный доступ к отчетам

Отчеты по каждому из сервисов системымониторинга MOODLE позволяют оперативно получать информацию для осуществления производственных функций всем пользователям LMS: студенту, преподавателю, специалисту по ЭО в учебном подразделении, администрации учебного подразделения, специалистам, осуществляющим общую техническую, технологическую, методическую и организационную поддержку системы ЭО в вузе. Система адаптирована для работы с версиями MOODLE 2.9 – 3.1.

Ключевые функции

icon

Формирование отчета по учебному подразделению

Отчет основан на количестве видимых/скрытых курсов, количестве новых курсов, количестве преподавателей и студентов, зарегистрированных в системе, количестве активных студентов и преподавателей.

icon

Формирование рейтинга активности преподавателей

Рейтинг составляется на основе данных о количестве: курсов в системе, студентов в системе, активных студентов в курсе, активностей преподавателя по созданию контента и сопровождению студентов, активностей студентов по просмотру контента и выполнению заданий.

icon

Проведение анкетирования студентов

Анкетирование проводится по оценке качества электронного курса, затем происходит обобщение полученных данных по отдельному преподавателю и учебному подразделению.

img

Индекс производительности курса

Система способна расчитывать индекс производительности электронного курса.

img

Интеграция со внешними сервисами

Отслеживание ресурсов и элементов внутри курса с контентом, встроенным из внешних онлайн-сервисов.

img

Защита от вредоносных программ

Обнаружение подозрительного программного кода в содержании электронного курса.

img

Обратная связь с пользователями

Мониторинг обращений в службу поддержки LMS.

Дополнительные возможности

Формирование рейтинга активности преподавателей в электронной среде позволяет:

img

Выявлять лучшие практики

  • находить лучшие практики ЭО в вузе, привлекать их авторов к проведению внутри университетского сообщества мастер-классов по применению инструментов MOODLE  в учебном процессе;
  • поощрять, в том числе и финансово, наиболее активных преподавателей, формируя механизмы стимулирования работы  ППС в системе ЭО;
  • создать прозрачную систему оценки работы ППС в электронной образовательной среде с точными и измеряемыми показателями;
img

Оказывать поддержку и корректировать работу LMS

  • анализировать работу аутсайдеров рейтинга, оказывать им адресную поддержку, определять типичные недостатки сопровождения курсов и вносить изменения в систему повышения квалификации сотрудников в области ЭО;
  • формировать общую для подразделения статистику активностей студентов и преподавателей, объединять полученную информацию со сведениями о количестве курсов и степени вовлеченности участников учебного процесса в электронную образовательную среду, производить на основе объединенных данных комплексную оценку внедрения и развития технологий ЭО в подразделении и университете в целом.

Стоимость

Система мониторинга может быть продана в полной комплектации или выборочно.

Стоимость системы включает работы по установке и настройке на сервере заказчика.

Предусмотрены скидки для партнеров и вузов, проводивших корпоративное обучение сотрудников в ТГУ по направлению «Электронное обучение».

Контакты:

Лозинская Анастасия

Тел. 8(3822) 52-94-94, lap@ido.tsu.ru

Описание сервисов

Количество курсов и пользователей в подразделениях

Сервис формирует отчет по количеству курсов и пользователей в каждом учебном подразделении университета. ЭУК подразделений распределены в системе по отдельным категориям, поэтому выгрузка данных в отчете и их обобщение осуществляется из курсов, принадлежащих той или иной категории. Отчет содержит 8 обобщенных по подразделениям показателей.


Подразделение

Курсы

Преподаватели

Студенты

Видимые

Невидимые

Есть метаданные

Нет метаданных

Новые

Всего зачислено на курсы

Входили в систему

 

 

 

 

 

 

 

 

 

Количество видимых курсов – позволяет отслеживать динамику изменения количества используемых в учебном процессе ЭУК, темпы внедрения ЭО в подразделении. Сравнение показателя с количеством учебных дисциплин по всем основным образовательным программам (ООП) подразделения позволяет определять примерный уровень обеспеченности дисциплин технологиями ЭО.

Количество невидимых курсов – позволяет выявлять ЭУК, находящиеся в процессе разработки, проводить их мониторинг и экспертизу, оказывать методическую поддержку разработчикам, мотивировать их к работе по завершению и внедрению ЭУК.

Количество новых курсов – показывает ЭУК, созданные за период времени, указанный при формировании отчета. Этот показатель является одним из ключевых для оценки развития ЭО в подразделениях и  университете в целом.

Количество курсов с заполненными и незаполненными метаданными – позволяет выявлять ЭУК, в которых не указаны основные сведения о курсе, необходимые для мониторинга системы ЭО по дополнительным критериям. Отчет позволяет определить авторов таких курсов и получить контактные данные для связи с ними и оказания помощи в заполнении метаданных.

Количество преподавателей в курсах определяет численность уникальных пользователей, зачисленных на ЭУК подразделения с ролью «преподаватель». Наблюдение за  динамикой  этого показателя и его сравнение с общей численностью профессорско-преподавательского состава (ППС) в подразделении демонстрирует результативность по первичному вовлечению сотрудников в систему ЭО, а также позволяет определить количество незарегистрированных в системе и спланировать повышение квалификации этой категории ППС в области ЭО.

Количество студентов, зачисленных на курсы, – определяет численность уникальных пользователей, зачисленных на курсы подразделения с ролью «студент». Сравнение показателя с фактической численностью студентов позволяет выявлять в подразделении проблемы с регистрацией обучающихся в системе, оказывать своевременную организационную и техническую поддержку сотрудникам ответственным за ЭО в подразделении. При расчете этого показателя важно учитывать только студентов подразделения, по которому формируется отчет. В случае, когда на курс записаны студенты «чужого» подразделения, их численность не учитывается в показателе. Для этих целей все студенты из внешних подразделений зачисляются на курс через метакурсы, и такой способ записи не учитывается в общей статистике.

Количество студентов, заходивших в систему, – определяет численность уникальных пользователей, зачисленных на ЭУК подразделения с ролью «студент» и входивших в систему 1 раз и более. Сравнение этого показателя с количеством студентов, зачисленных на ЭУК, позволяет выявлять в подразделении проблемы с обеспечением обучающихся доступом к системе. С помощью показателя возможно выявление в подразделении технических ошибок при регистрации новых пользователей в системе или нарушения процедур выдачи/восстановления паролей студентам для авторизации. Мониторинг по этому показателю может проводиться каждый месяц для оценки результативности мероприятий по обеспечению доступа обучающихся к системе.

В отчете по каждому показателю (кроме численности студентов и преподавателей) отображается численное значение, при щелчке по которому представляется дополнительный отчет с перечнем найденных ЭУК. Для каждого ЭУК указывается: название, URL, ФИО преподавателя(ей), e-mail, активен/неактивен, способы записи, количество записанных студентов. Дополнительный отчет позволяет просмотреть найденные ЭУК, быстро получить контактные данные авторов, определить уровень внедрения курса в учебный процесс (видимость и количество зачисленных студентов), выявить ЭУК с гостевым доступом. Так как ЭУК с гостевым доступом открыты для внешних пользователей, при их мониторинге важно уделять особое внимание оценке качества оформления и содержания, а также вопросам соблюдения и защиты авторских прав.

Активность пользователей в курсах

Сервис выгружает из MOODLE данные для формирования отчета о степени вовлеченности студентов и преподавателей подразделений в систему ЭО. Данный показатель является одним из ключевых для оценки результативности внедрения технологий ЭО в подразделениях и университете в целом. Сервис формирует два разных отчета по каждому подразделению и по каждому ЭУК. При вычислении значений в отчетах анализируются и обобщаются данные из журнала событий (логи) пользователей во всех видимых ЭУК подразделения за определенный период времени.

Форма отчета в сервисе «Активность пользователей» по подразделению


Подразделение

Преподаватели

Студенты

Всего в системе

Активные

Доля активных

Всего в системе

0 действий

1-10 действий

11-20 действий

21-30 действий

Более 30 действий

 

 

 

 

 

 

 

 

 

 

Количество активных преподавателей может рассчитываться, исходя из минимального количества действий, введенных в настройках отчета. Доля активных – отношение количества зарегистрированных в системе к количеству активных. Сравнение численности активных с фактической численностью ППС в подразделении позволяет определять степень вовлеченности преподавателей в систему ЭО. В настоящее время в сервис не передаются данные о численности ППС в подразделении из внешних баз данных, сведения выгружаются вручную. Для мониторинга активности студентов в отчете используется несколько показателей, выявляющих различные категории пользователей по степени их активности.

Мониторинг активности пользователей внутри каждого ЭУК позволяет решать несколько задач: выявление курсов, неиспользуемых в учебном процессе, составление рейтинга активности преподавателей в MOODLE , измерение эффективности  применения технологий ЭО.

Для формирования отчета сервис выгружает данные из содержания и журнала событий ЭУК:

  1. название ЭУК,
  2. ID ЭУК,
  3. ФИО преподавателя,
  4. количество преподавателей в курсе,       
  5. количество зачисленных студентов,        
  6. количество активных студентов (более 10 действий),
  7. количество активностей одного преподавателя по созданию контента,
  8. количество активностей всех преподавателей по созданию контента,         
  9. количество активностей одного преподавателя по сопровождению студентов,      
  10. количество активностей всех преподавателей по сопровождению студентов,        
  11. общее количество активностей студентов по просмотру контента,   
  12. общее количество активностей студентов по выполнению заданий.

После обработки полученных данных формируется краткий отчет об активностях студентов и преподавателей в курсе.

 

Подразделение

Название ЭУК

Преподаватель

Активных студентов

Активности преподавателя

Активности студентов

Создание контента

Сопровождение студентов

Просмотр контента

Выполнение заданий

 

 

 

 

 

 

 

 

 

Для дифференциации действий пользователей в курсе на различные типы активностей (создание и просмотр контента, выполнение и проверка заданий) проанализированы все действия, совершаемые пользователями в MOODLE  (более 370 для v 3.1), и составлен отдельный классификатор для студента и преподавателя. При формировании отчета сервис группирует действия пользователей в соответствии с классификатором и рассчитывает суммарное количество для каждого типа активностей.

Отчет позволяет выявлять ЭУК, которые отображаются в категории подразделения, но фактически не используются в учебном процессе (количество активных студентов). Ответственный за ЭО в подразделении скрывает этот курс и выясняет у автора причины отсутствия активностей в курсе, оказывает методическую поддержку в случае необходимости. Регулярный мониторинг неактивных курсов позволяет поддерживать каталог ЭУК в подразделении в актуальном состоянии, получать объективную статистику развития технологий ЭО, учитывая только реально используемые курсы.

Обобщение данных из отчета по каждому преподавателю позволяет оценить результативность работы ППС в MOODLE  и составить рейтинг самых активных пользователей. Рейтинг активности учитывает четыре показателя.

1) Количество используемых в учебном процессе ЭУК в MOODLE  для программ высшего образования. Учитываются все видимые в системе ЭУК с количеством активных студентов «3 и более» в соответствии со шкалой начисления баллов. При этом под «активным студентом» понимается пользователь с ролью «Студент» в ЭУК, совершивший не менее 10 активностей в течение одного семестра (или другого заданного периода).

Шкала перевода количественных показателей в баллы

 

Начисляемые баллы

1

2

3

4

5

6

7

8

9

10

Количественные показатели

Количество ЭУК, используемых преподавателем в учебном процессе

1

2

3

4

5

6

7

8

9

10 и более

Общее количество студентов по всем ЭУК преподавателя

менее 20

20-39

40-59

60-79

80-99

100-119

120-139

140-159

160-179

180 и более

Активность преподавателя в ЭУК

Количество действий по созданию и обновлению материалов ЭУК

менее 5

5-9

10-14

15-19

20-24

25-29

30-34

35-39

40-44

45 и более

Количество действий по сопровождению студентов в ЭУК

менее 5

5-9

10-14

15-19

20-24

25-29

30-34

35-39

40-44

45 и более

Активность студента в ЭУК

Количество действий по просмотру учебных материалов в ЭУК

менее 10

10-19

20-29

30-39

40-49

50-59

60-69

70-79

80-89

90 и более

Количество действий по выполнению заданий в ЭУК

менее 5

5-9

10-14

15-19

20-24

25-29

30-34

35-39

40-44

45 и более

 

2) Общее количество студентов по всем ЭУК преподавателя. Рассчитывается нагрузка на преподавателя в течение семестра (или другого заданного периода) в человеко-курсах в соответствии со шкалой начисления баллов. В нагрузке учитываются только активные студенты. В рейтинг включаются преподаватели с общим количеством студентов по всем ЭУК не менее 10.


3) Активность преподавателя в ЭУК. Под активностью преподавателя в курсе понимаются все виды его активностей, распределенные по двум категориям:

В рейтинге учитывается средняя активность преподавателя (САП) в курсе на одного студента как отношение количества всех активностей преподавателя в курсе к количеству активных студентов. При этом средняя активность преподавателя для двух категорий активностей вычисляется по следующим формулам: 
САП СМ = ∑ АП СМ / количество активных студентов в курсе, 
САП СC = ∑ АП СC / количество активных студентов в курсе, где

САП СМ – средняя активность преподавателя по созданию/редактированию материалов курса, ∑АП СМ – количество всех активностей преподавателя по созданию/редактированию материалов курса, САП СC - средняя активность преподавателя по сопровождению студентов в курсе, ∑АП СC – количество всех активностей преподавателя по сопровождению студентов в курсе. 
В зависимости от средней активности преподавателя в курсе на одного студента установлены следующие шкалы начисления баллов.


4) Активность студентов в ЭУК. Под активностью студента в курсе понимаются все виды его действий, совершаемых в ЭУК, распределенные по двум категориям:

При этом в рейтинге учитывается средняя активность студента (САС) как отношение количества всех активностей студентов в ЭУК к количеству активных студентов в данном ЭУК: САС = ∑ АС / количество активных студентов в курсе, где ∑ АС – количество всех активностей студентов.


Если в ЭУК несколько преподавателей, то САС для каждого преподавателя вычисляется по формулам: 
Пр. САС ПМ = ∑ АС ПМ / количество преподавателей в курсе, 
Пр. САС ВЗ = ∑ АС ВЗ * (Пр. САП СC / ∑ САП СС), где: 
Пр. САС ПМ – средняя активность студента по просмотру материалов курса на одного преподавателя, ∑АС ПМ – количество всех активностей студентов в курсе по просмотру материалов, Пр. САС ВЗ -  средняя активность студента по выполнению заданий на одного преподавателя, ∑ АС ВЗ - количество всех активностей студентов в курсе по выполнению заданий, Пр. САП СС - средняя активность одного преподавателя по сопровождению студентов, ∑САП СC – общее количество средних активностей каждого преподавателя по сопровождению студентов. 

Для вычисления общего балла и составления рейтинга активных преподавателей электронного обучения используются следующие коэффициенты: 
0,05 – от балла за количество используемых в учебном процессе ЭУК. 
0,1 – от балла за общее количество студентов по всем ЭУК преподавателя. 
0,15 – от балла за активность преподавателя по созданию и обновлению материалов ЭУК. 
0,35 – от балла за активность преподавателя по сопровождению студентов в ЭУК. 
0,1 – от балла за активность студента по просмотру учебных материалов. 
0,25 – от балла за активность студента по выполнению заданий.

На основании полученного рейтинга можно выявлять ТОП-лист самых активных преподавателей ЭО. Формирование рейтинга позволяет:

  1. находить лучшие практики ЭО в вузе, привлекать их авторов к проведению внутри университетского сообщества мастер-классов по применению инструментов MOODLE  в учебном процессе;
  2. поощрять, в том числе и финансово, наиболее активных преподавателей, формируя механизмы стимулирования работы  ППС в системе ЭО;
  3. создать прозрачную систему оценки работы ППС в электронной образовательной среде с точными и измеряемыми показателями;
  4. анализировать работу аутсайдеров рейтинга, оказывать им адресную поддержку, определять типичные недостатки сопровождения ЭУК и вносить изменения в систему повышения квалификации сотрудников в области ЭО;
  5. формировать общую для подразделения статистику активностей студентов и преподавателей, объединять полученную информацию со сведениями о количестве ЭУК и степени вовлеченности участников учебного процесса в электронную образовательную среду, производить на основе объединенных данных комплексную оценку внедрения и развития технологий ЭО в подразделении и университете в целом.

Расчет индекса производительности ЭУК

На основе полученных данных из сервиса «Активности пользователей» осуществляется расчет индекса производительности ЭУК, который демонстрирует, насколько успешно преподавателю удаётся оптимизировать процесс сопровождения студентов в электронной образовательной среде и сократить свои трудозатраты. Индекс производительности ЭУК показывает эффективность применения преподавателем технологий ЭО. Индекс рассчитывается как отношение средней активности преподавателя по сопровождению студента к средней активности студента по выполнению заданий. Индекс, равный 1, означает, что на одно действие студента приходится одно действие преподавателя, индекс меньше 1 означает, что студент совершает больше действий, чем преподаватель, индекс больше 1 означает, что преподаватель совершает больше действий, чем студент.

Анализ эмпирических данных мониторинга ЭО в ТГУ показал, что преподаватель в среднем совершает от 1 до 5 действий на одну выполненную в курсе работу студента: просмотр работы, написание отзыва, комментария, выставление оценки, просмотр электронного журнала и т.д. Поэтому индекс производительности в ЭУК, прошедшего апробацию, может составлять значение от 1 до 5.  Если преподаватель активно использует в ЭУК такие элементы, как тесты, семинары, лекции, и оптимально организует педагогический дизайн курса (методические рекомендации, примеры выполнения заданий, критерии оценивания, список часто задаваемых вопросов и ответов в форуме и пр.), индекс производительности может быть равен значению от 0 до 1. Значение индекса выше 5 показывает высокую степень трудозатрат преподавателя на сопровождение студента в LMS. Выявление таких ЭУК в процессе мониторинга приводит к подробному анализу активностей студентов и преподавателей и выработке рекомендаций по оптимизации сопровождения данного курса.

Индекс производительности рассчитывается для подразделения в целом как среднее арифметическое от индексов всех ЭУК. Обобщенный индекс является дополнительным показателем для оценки эффективности внедрения и развития технологий ЭО в подразделении.

Содержание и структура курсов

Сервис формирует отчет о количестве разделов, элементов, ресурсов и тестовых заданий в ЭУК. Эти данные позволяют частично проверять соответствие ЭУК минимальным требованиям к электронному учебному курсу, выявлять разработки, не соответствующие требованиям к ЭО в ТГУ, оказывать консультационную поддержку авторам по устранению замечаний. 
В связи с активным использованием преподавателями университета при разработке ЭУК внешних онлайн-сервисов задача мониторинга данных, встроенных в содержание курса из внешних ресурсов, становится все более актуальной. Сервис позволяет формировать отчет, в котором отслеживаются ресурсы и элементы внутри ЭУК с контентом, встроенным из наиболее популярных и используемых онлайн-сервисов:

Мониторинг применения в MOODLE  встроенного внешнего контента является продолжением работы по интеграции персональных сред обучения с LMS университета. После обучения сотрудников использованию дополнительных к MOODLE  инструментов очень важно отслеживать результаты их апробации и корректного использования в системе ЭО.

Промежуточные результаты обучения студентов

Мониторинг промежуточных результатов обучения в MOODLE  реализован дополнительными инструментами. Для преподавателя используется готовый дополнительный блок Progress Bar. Его недостатками являются необходимость дополнительных настроек внутри ЭУК и невозможность обобщения статистики для нескольких курсов. В перспективе планируется разработка дополнения, которое компенсирует эти недостатки. 

Для мониторинга промежуточных результатов обучения студентов используется специально разработанный в ТГУ инструмент. Отображение данных в этом блоке не требует дополнительных настроек внутри ЭУК, на которые зачислены студенты, что облегчает его внедрение в систему. Блок показывает сводную статистику по всем ЭУК студента на «Домашней странице» MOODLE .

Оценка качества курса студентами

Сервис позволяет запускать в конце семестра процедуру массового опроса студентов по всем курсам. Опросник представляет анкету, которая автоматически встраивается в содержание каждого ЭУК. Результаты опроса обобщаются и представляются в виде разных отчетов: преподавателю по оценке отдельного ЭУК, ответственному за ЭО в подразделении по оценке преподавателя (обобщение оценок по разным ЭУК) и подразделению в целом (обобщение оценок по всем ЭУК). Опрос содержит вопросы с единой шкалой оценивания, сгруппированные в пять категорий: 

Анализ результатов мониторинга ЭО предполагает выявление характеристик курса с низкими оценками, определение действий по улучшению курса при последующем запуске.

Обращение пользователей в службу поддержки

Сервис реализован в виде дополнительного блока в интерфейсе MOODLE. Любой, даже неавторизированный пользователь может обратиться за помощью через этот инструмент. Запрос пользователя того или иного подразделения автоматически перенаправляется соответствующему ответственному за ЭО. Ответ на запрос также реализуется через этот сервис. Координаторам университетской системы ЭО в этом сервисе доступен отчет, в котором отражается содержание переписки и количество запросов с ответами и без ответов. Данные отчеты позволяют контролировать оперативность и корректность оказания помощи пользователям, выявлять наиболее часто возникающие проблемы, разрабатывать универсальные решения для их устранения.

Заинтересованы?

Отправьте нам заявку прямо сейчас!

Контакты:

Лозинская Анастасия Петровна

Тел. 8(3822) 52-94-94, lap@ido.tsu.ru