Опыт разработки тестов и анализ результатов тестирования по программированию

Одной из наиболее объективных и технологичных форм контроля знаний на сегодняшний день является тестирование. Возможность автоматизации его проведения и анализа результатов теста делает эту форму проверки знаний удобной и эффективной составляющей как текущего, так и итогового контроля [1, 4].

В национальном исследовательском университете Высшая школа экономики на первом курсе бакалавриата специальности  231000.62 «Программная инженерия» студенты в течение года изучают программирование. В качестве учебного языка используется язык C#.

Промежуточный и итоговый контроль по названной  дисциплине  состоят в проверке знаний и навыков учащихся по двум направлениям, важным при обучении программированию: овладению практическими навыками и освоению теории. Оценивание практических навыков осуществляется при помощи «письменной» контрольной работы, в которой предусматривается создание и отладка кода программы в современной интегрированной среде разработки. Для контроля теоретических знаний применяется компьютерное тестирование, вопросам которого посвящен доклад.

В связи с особенностями предмета «Программирование» применяемые в тестах задания могут быть отнесены к двум типам.

Тип Т: Тестовое задание для проверки теоретических знаний по синтаксису и семантике языка. (Оформляется, как задание закрытого типа с несколькими правильными ответами, без приведения кода программ.)

Тип П: Тестовое задание для проверки практических навыков анализа функциональности программ и разработки  программ с заданной функциональностью [2]. (Предусматривает включение в стем задания кода на языке программирования.) Задания типа П в зависимости от принятой формы делятся на задания закрытого типа с несколькими вариантами ответа (типПз), задания открытого типа с кратким ответом (тип По), и комбинированные задания (тип Пк).

В докладе рассматриваются особенности подготовки заданий всех перечисленных видов и теста в целом с учетом специфики дисциплины.

Независимо от квалификации авторов тестовых заданий (даже при наличии предварительной экспертной оценки теста) некоторые из заданий теста могут обладать низкой дискриминативностью. В докладе рассмотрены методики оценки этого показателя и способы корректировки соответствующих заданий.

Так как тестирование по курсу программирования применяется в НИУ ВШЭ уже в течение ряда лет, то авторами собран достаточно представительный статистический материал по результатам тестирования. На основе приводимых в докладе результатов его анализа можно констатировать, что тесты, построенные в соответствии с описанными в докладе правилами, имеют вполне  удовлетворительные показатели надежности и валидности.