Оценивание профессиональных компетенций на этапе прохождения аттестационных испытаний с помощью нейросетевого подхода

Прием тезисов завершен. Вы можете только разместить черновик.
Авторы: Зайцева Татьяна Валентиновна 1, Кандидат технических наук, Доцент, Нестерова Елена Викторовна 2, Пусная Ольга Петровна 2, Путивцева Наталья Павловна 2, кандидат технических наук, Игрунова Светлана Васильевна 2, кандидат социологических наук, доцент
1 ФГАОУ ВПО «Белгородский государственный национальный исследовательский университет», 2 Белгородский государственный национальный исследовательский университет (НИУ «БелГУ»)
В работе рассмотрена информационная модель прямонаправленной искусственной нейронной сети, которая имеет два скрытых слоя с непараметрическими функциональными зависимостями. Были получены классы, которые показывали зависимости каждой компетенции, зависящей от набора тестовых заданий. Эти классы рассматривались как эталоны для распознавающей нейросети. Эффективность рассчитывалась по показателям степени соответствия выхода компетенций.

Подготовка студентов к профессиональной деятельности в вузах по инженерно-техническим и естественнонаучным направлениям подготовки должна быть направлена на формирование как универсальных, так и профессиональных компетенций.

Известно, что контроль знаний является важной частью образовательного процесса в контексте Болонской системы и позволяет получить всестороннюю оценку уровня знаний студентов за счет оценивания сформированных компетенций. Наиболее популярной формой контроля знаний является тестирование, рассматриваемое как технологическое средство для измерения уровня знаний и инструмент, который позволил реализовать эффективный контроль и организовать управление учебным процессом.

Широкое распространение получили автоматизированные системы тестирования. В НИУ «БелГУ» используется система «Пегас». Были выделены следующие типы тестовых заданий, реализация которых возможна в программе «Пегас»: один из многих (ОМ); многие из многих (ММ); установление соответствия (EC); установление порядка (EP); пропущенное слово (MW); пропущенная цифра (MD); альтернатива (YN); ответ короткий (AS); ответ длинный (AL); ответ точная цифра (AF); ответ цифра с допустимым отклонением (AFd); развернутый ответ (DR).

На основе информационного анализа предложена следующая детализация компетенций в терминах: знания теоретические (TK); знания практические (PK); умения элементарные (BS); умения комплексные (AC); владение навыками элементарные (PBS); владение навыками базовые (PBS+); владение навыками продвинутые (PAS).

Были разработаны составляющие компоненты модели, которую можно представить в формализованном виде. Данная модель рассматривается в виде наборов тестовых заданий, имеющих условно-вероятностный характер.

Максимально возможное число наборов тестовых заданий составляет N=2n-1. В исследовании для обучения и проверки модели на адекватность было использовано 127 наборов. В ходе эксперимента было проанализировано 450 записей результатов тестового контроля у 75 студентов. Обучающая выборка включала 360 записей у 60 студентов. В экзаменационную выборку входило 15 человек, у которых было проанализировано 90 записей.

В результате были получены восемь классов, которые иллюстрировали зависимости детализации компетенций от наборов тестовых заданий: TK; PK; BS; TK + BS; PK + AC; TK + PBS; TK + BS + PBS+; PK + AC + PAS.

На следующем этапе исследования были сформированы мнения экспертов, а также определены целевые выходные вектора нейронной сети.

Для решения поставленных задач была выбрана прямонаправленная искусственная нейронная сеть с двумя скрытыми слоями (12-83-15-8). Искусственная нейронная сеть обучалась по алгоритму обратного распространения ошибки.

Распознавание класса производилось по максимальному уровню выходного сигнала нейрона, связанного при обучении с одним из восьми вышеперечисленных классов.

Для реализации рассмотренного алгоритма была разработана система, реализующая нейронную сеть. После 10 000 итераций (время обучения – 1-2 мин) сеть устойчиво выходит на 91,2 % верной классификации и ошибается только в граничных случаях, к которым относятся аддитивные исходы.

Общее число по исходам было выбрано исходя из анализа применения тестов для определения уровня компетенций. Так были проанализированы категории тестовых заданий:

- тесты самопроверки;

- тесты в конце каждого модуля;

- тесты промежуточной аттестации;

- тесты допуска к контрольной точке;

- зачетные/экзаменационные тесты;

- отсроченные проверочные тесты.

Анализ результатов показал, что нейросетевой алгоритм на экзаменационной выборке правильно классифицирует 95,5% исходов. Неправильно распознано 4,5%.

Список использованных источников
  1. Путивцева, Н.П. Компьютерная поддержка оценки рейтинга профессиональных компетенций студентов в сфере ИКТ [Текст] / Н.П. Путивцева, С.В. Игрунова, Т.В. Зайцева, Е.В. Нестерова, А.Е. Лекова, К.В. Наливко// Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. – 2014. - №8 (179), вып. 30/1. - с. 138-145.
  2. Зайцева, Т.В. Реализация адаптивного тестирования уровня знаний студентов с использованием экспертной системы "RExpert" [Текст] / Т.В. Зайцева, Е.В. Нестерова, С.В. Игрунова,  Н.П. Путивцева, О.П. Пусная, В.Г. Нестеров // Наука Красноярья. №3(08), 2013. - Стр. 122-138.
  3. Зайцева, Т.В. О разработке модели адаптивного контроля знаний [Текст] / Т.В. Зайцева, О.П. Пусная, Е.В. Нестерова, Н.Н. Смородина, С.В. Игрунова // Научные ведомости БелГУ Серия История. Политология. Экономика. Информатика. Белгород: Изд-во БелГУ. 2013. №15(158). Выпуск 27/1. С. 223-227.
  4. Майоров А.Н. Теория и практика создания тестов для системы образования. – М.: "Интеллект-центр”, 2002. – 296 с.
  5. Маматов А.В., Немцев А.Н., Клепикова А.Г., Штифанов А.И. Методика применения дистанционных образовательных технологий преподавателями вуза (учебное пособие). Белгород: Изд-во БелГУ. – 2006. – 161 с.
  6. Путивцева, Н.П. Байесовская стратегия оценки достоверности выводов [Текст] / Н.П. Путивцева, С.В. Игрунова, Т.В. Зайцева, Е.В. Нестерова, О.П. Пусная, Н.Н. Смородина // Научные ведомости БелГУ – 2012 - №13(132), выпуск 23/1. – С. 180-183.
  7. Жиляков, Е.Г. Об эффективности метода оценивания значений долей энергии изображений на основе частотных представлений [Текст] / Е.Г. Жиляков, А.А. Черноморец, А.Н. Заливин // Известия ОрелГТУ. Информационные системы и технологии. – № 2/52 (563) март-апрель. – 2009. – С. 12-22.
Вид представления доклада  Устное выступление и публикация
Ключевые слова  тестирование, компетенции, нейронная сеть, информационная модель, нейросетевой алгоритм классификации, аттестационные испытания, формализация.

По вопросам спонсорского участия, оплаты участия коммерческих компаний, а также иным организационно-информационным вопросам просьба обращаться в организационный комитет по адресу: dea@ito.edu.ru, edu@apkit.ru или по телефону: +7 (925) 514-33-74.