ОЦЕНКА УРОВНЯ ОБУЧЕННОСТИ ГРУПП СТУДЕНТОВ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ ШКАЛИРОВАНИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Гришин Владимир Анатольевич
к.техн.н., доцент кафедры ТСР факультета ВМК,
Вискарева Анна Геннадьевна
ассистент кафедры ТСР факультета ВМК,
Косырева Ольга Николаевна
ассистент кафедры ТСР факультета ВМК
E-Mail: (postnik@vmk.nnov.ru)
Нижегородский государственный университет им. Н.И. Лобачевского, г. Нижний Новгород

Аннотация
Проведено итоговое тестирование большой группы студентов. Получено, что результаты тестирования могут быть надежно интерпретированы на основе классической модели с учетом феномена угадывания.

Для применения эффективных управленческих решений в системе образования необходима объективная и обоснованная информация, базирующаяся на результатах педагогических измерений. С этой целью тестологами-профессионалами разрабатываются специальные КИМ [4], а в учебном процессе используются нормативно-ориентированные и критериально-ориентированные тесты, направленные на измерение индивидуального уровня обученности. При этом существует неопределенность шкалирования результатов тестирования с закрытой формой заданий, обоснованная феноменом угадывания [1,2].

С целью сравнительной оценки обученности студентов по дисциплине "Информатика" в филиалах ННГУ им. Н. И. Лобачевского были разработаны три варианта закрытого нормативно-ориентированного теста. Каждое задание теста включало три дистрактора [2]. По завершению осеннего семестра 2007/2008 учебного года выполнено тестирование 324-х студентов дневной и заочной формы обучения, которые были разбиты на три группы, соответствующие формам обучения: полной дневной, сокращенной дневной и заочной. Результаты тестирования оценивались по первичному (сырому) балу испытуемых. Математико-статистическая обработка результатов проводилась в табличном процессоре Excel и пакете Mathcad [3].

На начальном этапе формировались матрицы тестовых результатов по каждому варианту теста для каждой группы тестируемых. Проводился однофакторный дисперсионный анализ с целью проверки гипотезы равенства средних значений первичных баллов. Установлено, что нулевая гипотеза о равенстве средних значений для каждого варианта теста внутри выделенных групп не может быть отвергнута на уровне значимости 5%. Одностороннее p-значение для группы полной формы обучения равно 0.119, для сокращенной - 0.236, заочной - 0.973. В последующем проводилась проверка гипотез о равенстве средних значений первичных баллов групп соответствующих форм обучения. Проверка проводилась по двухстороннему критерию с использованием распределения Стьюдента. Установлено, что нулевая гипотеза равенства средних для полной и сокращенной форм обучения не может быть отвергнута на уровнях значимости 5% и 1%. Результаты тестирования студентов заочной формы обучения значимо отличаются от результатов тестирования студентов дневной формы обучения.

Для последующей дифференциации результатов и определения различий в уровне обученности студентов полной и сокращенной форм дневного обучения проводился x²-тест на нормальность. Тест показал, что на уровне значимости 5% нулевая гипотеза на соответствие экспериментального распределения теоретическому нормальному отклоняется для совместной выборки и принимается для раздельных выборок. C целью обоснованного сопоставления результатов в условиях полученной неопределенности результатов тестирования проводился перевод сырых баллов в показатели Z-шкалы, шкалы станайнов [4] и качественной шкалы, состоящей из трех уровней обученности: низкий, средний, высокий. Низкому уровню было присвоено значение балла, меньшего или равного среднему по группе, минус среднее квадратичное отклонение, что соответствует случайному выбору правильного ответа. Высокому уровню - значение балла, большего среднего по группе, плюс два среднеквадратичных отклонения. Все это позволило обнаружить разность в среднем уровне обученности студентов полной и сокращенной форм дневного обучения. Причем, результаты сравнения по качественной шкале согласуются со средними результатами z-оценок и станайнов при усечении левого хвоста нормального распределения.

Таким образом, для оценки уровня обученности в условиях неопределенности шкалирования результатов тестирования, обусловленной угадыванием правильных ответов в случае использования заданий закрытой формы, можно создать такие качественные шкалы, которые позволят преодолеть данный феномен. Для этого в рамках нормативно - ориентированного подхода необходимо построить нормализованную Z-шкалу или шкалу станайнов и исключить из сравнения результаты, меньшие значения выборочного среднего минус выборочное стандартное отклонение. Тогда итоговый тест обеспечит дифференциацию, точность и обоснованность оценок качества учебных достижений.

Литература

1. Овчинников В. И. Оценивание учебных достижений учащихся при проведении централизованного тестирования. - М.: Век книги, 2001. - 27 с
2. Аванесов В. С. Форма тестовых заданий. - М.: Центр тестирования, 2005. - 155 с
3. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. - 432 с
4. Звонников В. И., Челышкова М. Б. Современные средства оценивания результатов обучения. М.: Академия, 2007. - 224 с