Статистический анализ результатов тестирования как средство прогнозирования путей улучшения качества тестовых заданий

Learning Management System (система управления обучением) Moodle известна в мире с 2003г. Начиная с 2006 г. в России появился официальный партнер Moodle и началось активное использование и создание новых модулей и плагинов. 

При использовании современных интерактивных технологий в обучении остро встает вопрос контроля и оценивания освоения учениками изучаемого материала. Эффективным современным инструментом, активно используемым для этих целей, является использование тестовых технологий. Как и для любой системы оценивания знаний в этом случае актуальным является вопрос о качестве контрольно-измерительных материалов, с точки зрения способности служить инструментом для оценки знаний, о точности такого измерения. 

В связи с этим, одним из важных достоинств тестовых технологий является возможность получения объективных характеристик, позволяющих оценить качество тестов и их составляющих – тестовых заданий (вопросов). Эти характеристики рассматриваются и обосновываются в теории педагогических измерений [1]. То, что тесты и составляющие их вопросы многократно используются для больших групп испытуемых, позволяет использовать статистические методы при обработке их результатов для вычисления целого ряда характеристик. Эти величины с помощью теории педагогических измерений могут интерпретироваться для оценки качества тестов. В основе системы сбора статистики используется метрическая система Раша, позволяющая говорить о качестве педагогических измерений [2].

Одним из достоинств системы управления обучением Moodle является то, что у нее имеются встроенные средства для осуществления такой обработки и вычисления разнообразных характеристик тестов. К сожалению, приходится констатировать, что в настоящее время мало кто из преподавателей знает и, тем более, практически использует в своей практике эти возможности для оценки качества своих тестовых материалов.

Все характеристики разделены на две группы: первая относится к тесту в целом, вторая – к каждому вопросу или категории вопросов, присутствующему в тесте.

Основываясь на этих харакеристиках нам удалось подтвердить алгоритм создания тестовых заданий и сценариев тестирования, продиктованный нам практическим опытом.

Дальнейшей нашей работой стало исследование методик увеличения надежности сценария тестирования. Для этого мы рассматривали анализ критериально-ориентированного теста, аппробированного на студентах ВГУ [3].

Результатом этой работы стали выводы о невозможности использования известные методы повышения надежности в тестах на элементарных вопросах, и о необходимости их большего количества для надежной оценки качества тестов. Так же была предложена модель оценки качества ЭУМК.