О методических и технологических особенностях взаимного оценивания при формировании компетенций разработчиков программного обеспечения

В настоящее время в области инженерного и компьютерного образования проявились тенденции к сближению и согласованию результатов обучения с требования к специалистам соответствующей области. Свидетельством тому являются официальные рекомендации профессиональных сообществ ACM и IEEE, посвященныепостроению учебных планов и программ учебных дисциплин [1,2]. Одним из наиболее успешных примеров является область разработки программного обеспечения (ПО), где экспертами отмечается хорошее соответствие SEC, SWEBoKи требований работодателей [2].

Компетенции разработчиков ПО являются комплексными и предполагают комбинирование знаний и умений по нескольким учебным дисциплинам. Кроме того, исключительно важны такие результаты обучения, как сформированные практические навыки (использование инструментов тестирования, отладка и профилированиепрограммного кода, инспектирование программного кода, командная разработка).

Практики активного обучения и формирующего оценивания являются наиболее эффективными для выработки подобных компетенций. Взаимное оценивание (peer assessment) с успехом применяется для формирования навыков инспектирования кода и работы со сторонним кодом, что позволяет усовершенствовать процесс контроля, снимая с преподавателя нагрузку по формированию обратной связи.

Существующее ПО поддержки процесса взаимного оценивания (peer assessment system, PAS) частично или полностью освобождают преподавателя от рутинных операций: анонимизации, рандомизации, рассылки заданий и сбора отзывов (review),оценивания работ.

Изучение рынка PAS показало, что их слабым местом является отсутствие удовлетворительной поддержки комплексных артефактов, не сводимых к содержанию простой текстовой формы, например, набора файлов программного проекта. Большинство PAS являются отдельными приложениями или веб-сайтами, что требует от студентов освоения новых интерфейсов и адаптации к особенностям среды в дополнение к другому ПО учебного назначения.

Для реализации взаимного оценивания в профильных дисциплинах факультета компьютерных наук (ФКН) НИУ ВШЭ была разработана оригинальная система поддержки взаимного оценивания Peer Assessment System for Complex Artifacts (PASCA). При разработке PASCA авторами были поставлены следующие приоритеты:

1. Поддержка произвольных оцениваемых артефактов.
2. Поддержка формализованных форм оценивания (peer-review form) любой сложности.
3. Минимизация взаимодействия студента с новым ПО.
4. Минимизация влияния инструментов взаимного оценивания на смежные бизнес-процессы с точки зрения преподавателя.

Главной особенностью PASCA является решение расширить процесс общения студентов и преподавателей с использованием электронной почты. 

Технологически PASCA "паразитирует" на доступном в учебных заведениях России пакете MS Office (начиная с версии 2010) и реализована в виде набора надстроек, единой точкой входа в систему является рабочая книга MS Excel.

Кособенностям PASCA относятся:

1. Вид и форма артефактов оценивания никак не ограничивается.
2. Формы оценивания представлены в виде Excel-файлов с возможностью автоматической валидации содержания отзыва и автоматического расчёта оценки.
3. Студент взаимодействует только со своим электронным почтовым ящиком.
4. Преподаватель начинает с подготовки списка студентов в Excel и продолжает работу в привычном окружении. MSOffice предлагает большое число дополнительных инструментов накопления и анализа данных, визуализации, обмена данными с другими инструментами. 

В рамках дисциплины "Введение в программирование" на первом курсе образовательной программы "Программная инженерия" ФКН НИУ ВШЭ средствами PASCA были проведены три сессии взаимного оценивания. Артефактами выступали файлы проектов MS Visual Studio. Формы оценивания содержали от восьми до 10 пунктов. По окончании курса был проведён опрос студентов, в рамках которого была получена обратная связь по удовлетворённости от использования PASCA в процессе взаимного оценивания и содержательные замечания по реализации.