Независимая оценка квалификаций в области информационных технологий
Moderator
Сообщений: Регистрация: 09.05.2017
1
23.04.2020 12:30:25
Уважаемые коллеги!
Приглашаем к обсуждению вопросов интеграции элементов системы независимой оценки квалификаций в области информационных технологий и профессионального образования.
Профстандарты в области ИТ - Совет по профессиональным квалификациям в области ИТ - Квалификации в области информационных технологий - Оценочные средства для ИТ-квалификаций - Национальный совет при Президенте Российской Федерации по профессиональным квалификациям - Национальное агентство развития квалификаций - Реестр сведений о проведении независимой оценки квалификаций - Справочник профессий - Союз «Агентство развития профессиональных сообществ и рабочих кадров “Молодые профессионалы (Ворлдскиллс Россия) -
Лебедев Сергей (Фирма "1С", СПК ИТ)
User
Сообщений: Регистрация: 05.05.2020
1
13.05.2020 13:36:57
Здравствуйте, уважаемые организаторы, участники!
Разрешите затронуть несколько моментов, связанных с процедурой независимой оценки квалификаций (НОК). По всей видимости, самый критичный момент в НОК — это оценочные средства.
По имеющимся выше ссылкам представлены примеры оценочных средств для нескольких квалификаций. Зная весь комплекс работ по их подготовке, хотелось бы сразу поблагодарить разработчиков. При этом позволю себе высказать ряд соображений.
1. Соображение по заданиям теоретической части профессионального экзамена. Главный тезис: оценочные средства для профэкзамена <> академические средства оценивания. Представляется, что цель проведения профессионального экзамена в рамках НОК – оценка готовности соискателя к решению профессиональных задач. Для квалификации установлены определенные трудовые функции и соответствующие им Трудовые Действия, Знания и Умения. В связи с этим оценочные средства должны быть направлены на проверку Знаний в контексте решения профессиональных задач конкретной квалификации, а не на проверку академических знаний соискателя. Умения, как мне представляется, вообще очень сложно проверить путем тестирования. Если уж использовать тесты, то на установление соответствия или на установление последовательности. Повторюсь, что это мое мнение.
Просмотрев с этих позиций представленные Примеры оценочных средств (Программист 3 и 4 уровней, Специалист по ИС, Менеджер по ИТ) в части пункта 10 Задания для теоретического этапа профессионального экзамена, сделал следующие выводы: 1. В основном проверяются академические знания вида «Как называется..», «Что понимают..», «Какое определение…», «Какой вид программирования.. » Соискатель может и не помнить каких-либо определений или точных «академических» названий каких-либо терминов, но корректно использовать их в профессиональной деятельности. 2. Значительно преобладают тестовые задания на выбор одного или нескольких вариантов по сравнению с заданиями на установление последовательности и соответствия.
2. Соображение по содержанию положений, выносимых на проверку в ходе профэкзамена. Тезис: на профессиональный экзамен следует выносить только те положения квалификации (знаний, умения и действия), которые действительно позволят оценить готовность соискателя к выполнению соотвествующих ТФ. Конкретный пример оценочного средства, в котором, на мой взгляд, проверяются излишние теоретические положения. Оценочное средство по квалификации «Специалист по ИС (4 уровень)» страница 5 пункт 8. Знание «Основы бухгалтерского учета и отчетности организаций» к ТФ и ниже пункт 9. Знание «Основы налогового законодательства Российской Федерации» к ТФ. Конкретные задания по этим Знаниям являются очень специфическими (очень профильными) и это 4 уровень. Действительно ли так важно проверять такие специфические знания у соискателя в контексте заявленных трудовых функций?
Еще раз хотелось бы поблагодарить разработчиков и отметить, что высказываемые замечания направлены на совершенствование оценочных средств, а не на критику их работы.
Moderator
Сообщений: Регистрация: 09.05.2017
1
18.05.2020 13:01:21
Уважаемые коллеги!
Материалы секции (презентации и пр.) размещены в соседнем топике "Материалы секции 15.05.2020"
Лебедев Сергей (Фирма "1С", СПК ИТ)
Moderator
Сообщений: Регистрация: 09.05.2017
1
21.05.2020 00:39:15
Цитата
Сергей Строев пишет: Здравствуйте, уважаемые организаторы, участники!
Разрешите затронуть несколько моментов, связанных с процедурой независимой оценки квалификаций (НОК). По всей видимости, самый критичный момент в НОК — это оценочные средства.
По имеющимся выше ссылкам представлены примеры оценочных средств для нескольких квалификаций. Зная весь комплекс работ по их подготовке, хотелось бы сразу поблагодарить разработчиков. При этом позволю себе высказать ряд соображений.
1. Соображение по заданиям теоретической части профессионального экзамена. Главный тезис: оценочные средства для профэкзамена <> академические средства оценивания. Представляется, что цель проведения профессионального экзамена в рамках НОК – оценка готовности соискателя к решению профессиональных задач. Для квалификации установлены определенные трудовые функции и соответствующие им Трудовые Действия, Знания и Умения. В связи с этим оценочные средства должны быть направлены на проверку Знаний в контексте решения профессиональных задач конкретной квалификации, а не на проверку академических знаний соискателя. Умения, как мне представляется, вообще очень сложно проверить путем тестирования. Если уж использовать тесты, то на установление соответствия или на установление последовательности. Повторюсь, что это мое мнение.
Просмотрев с этих позиций представленные Примеры оценочных средств (Программист 3 и 4 уровней, Специалист по ИС, Менеджер по ИТ) в части пункта 10 Задания для теоретического этапа профессионального экзамена, сделал следующие выводы: 1. В основном проверяются академические знания вида «Как называется..», «Что понимают..», «Какое определение…», «Какой вид программирования.. » Соискатель может и не помнить каких-либо определений или точных «академических» названий каких-либо терминов, но корректно использовать их в профессиональной деятельности. 2. Значительно преобладают тестовые задания на выбор одного или нескольких вариантов по сравнению с заданиями на установление последовательности и соответствия.
2. Соображение по содержанию положений, выносимых на проверку в ходе профэкзамена. Тезис: на профессиональный экзамен следует выносить только те положения квалификации (знаний, умения и действия), которые действительно позволят оценить готовность соискателя к выполнению соотвествующих ТФ. Конкретный пример оценочного средства, в котором, на мой взгляд, проверяются излишние теоретические положения. Оценочное средство по квалификации «Специалист по ИС (4 уровень)» страница 5 пункт 8. Знание «Основы бухгалтерского учета и отчетности организаций» к ТФ и ниже пункт 9. Знание «Основы налогового законодательства Российской Федерации» к ТФ. Конкретные задания по этим Знаниям являются очень специфическими (очень профильными) и это 4 уровень. Действительно ли так важно проверять такие специфические знания у соискателя в контексте заявленных трудовых функций?
Еще раз хотелось бы поблагодарить разработчиков и отметить, что высказываемые замечания направлены на совершенствование оценочных средств, а не на критику их работы.
Спасибо, Сергей, за комментарии и ценные предложения!
Действительно, в системе НОК, оценочные средства - это основной инструмент, с помощью которого проверяется/подтверждается квалификация.
НАРК уделяет огромное внимание вопросам методического обеспечения деятельности советов по профессиональным квалификациям. В частности, разработка СПК проектов оценочных средств производится с учетом материалов сборника методических рекомендаций "Разработка и применение оценочных средств для проведения профессиональных экзаменов" (под общ. ред. Лейбовича А.Н.).
Теоретический этап профессионального экзамена (ТЭПЭ) является «допуском» к основному – практическому – этапу и направлен на проверку:
– усвоения профессионально значимых понятий, понимания научных основ профессиональной деятельности;
– сформированности когнитивных (анализ, синтез, сравнение и др.) умений.
Алгоритм разработки заданий ТЭПЭ включает несколько шагов.
1. Определение предмет оценивания. Отбираются те умения и знания, которые являются фундаментом выполнения ТФ, ТД, входящих в описание квалификации, играют определяющую роль в обеспечении успешности и продуктивности деятельности, минимизируют риски ошибок и сбоев. Знания и умения, которые определяют содержание теста, выбираются из ПС или иных квалификационных требований, установленных федеральными законами и иными нормативными правовыми актами Российской Федерации. Каждое задание теста должно быть функционально завершенным, т.е. должно проверять конкретное знание, умение. Однако если умение сопоставлено со знанием (фактически является формой применения знания), то они могут быть объединены в один предмет оценки. В этом случае проверяется знание через оценку умения, и содержание задания направлено не на воспроизведение информации, а на решение задачи, требующей привлечения этой информации в качестве инструмента.
2. Выбор типа и количества заданий для каждого предмета оценки. Используется следующее примерное соотношение между типами тестовых заданий и предметами оценки:
Множественный выбор
Техника безопасности; профессионально значимая информация, находящаяся в оперативной памяти (нет возможности работать с источниками, высока цена ошибки); решение задач, имеющих точный ответ (расчетные задачи); решение кейсов (при наличии очевидно предпочтительного варианта решения)
Установление последовательности
Понимание структуры и логики технологического процесса
Установление соответствия (в том числе группировка информации, исключение лишнего, перекрестный выбор)
Понимание связи: задача – инструмент, причина – следствие, действие – последствия, действие – его основание, ситуация – решение; визуализации информации; классификация, ранжирование
Открытый вопрос
Возможны для всех перечисленных выше случаев, но преимущественно – корректное использование профессиональной лексики
3. Составление тестовых заданий.
При формулировании тестового задания руководствуются несколькими правилами.
- тестовое задание формулируется ясно и четко, не допускает двусмысленного толкования, нельзя использовать в заданиях «нестрогие» слова;
- формулировка тестового задания должна быть ориентирована на получение от тестируемого однозначного заключения;
- ответы к заданиям закрытой формы должны быть одинаковой формы и длины; количественные ответы упорядочиваются по возрастанию или убыванию;
- в каждом задании закрытой формы количество дистракторов (отвлекающих ответов) должно быть от 4 до 6. Дистракторы должны быть правдоподобными и равнопривлекательными, и подбираются в соответствии с типовыми ошибками, встречающимися при выполнении соответствующего задания;
- из ответа к одному тестовому заданию нельзя получать каким-либо образом ответ к другому заданию;
- минимизировать однотипные задания и исключать фасетные задания (получаемые из других простой заменой параметров).
4. Установление правил обработки результатов тестирования.
5. Заполнение спецификации теста и ключей к тесту в соответствии с форматом спецификации, который задан Положением о разработке оценочных средств для проведения независимой оценки квалификации (Приказ Минтруда России № 601н от 01 ноября 2016 года).
Примеры оценочных средств содержат ограниченный одним экзаменационным вариантом набор заданий ТЭПЭ, который сформирован для ознакомления соискателей с характером и уровнем оценки знаний.
На самом деле заданий ТЭПЭ гораздо больше, разных типов (закрытого типа, на установление соответствия и последовательности), постоянно дополняются и направлены на проверку знаний в контексте выполнения трудовых действий искомого уровня квалификации (задачного или кейсового формата). Цель профессионального экзамена – не проверка памяти, а проверка готовности к применению знаний и когнитивных умений при анализе профессиональных ситуаций и выборе оптимального способа решения производственных задач.
Полные фонды оценочных средств в основном являются закрытой информацией и используются при организации проведения профессиональных экзаменов во официальных ЦОКах и экзаменационных площадках.
Разработка заданий ТЭПЭ оценочных средств по квалификации Специалист по информационным системам 4УК проводилась в соответствии с вышеописанным алгоритмом. Разработчиками, с учетом ПЭПЭ, были отобраны предметы оценивания (знания и умения) из профстандарта и являются фундаментом выполнения ТФ, ТД, входящих в описание данной квалификации, играют определяющую роль в обеспечении успешности и продуктивности деятельности, минимизируют риски ошибок и сбоев.
Из 21 ТФ на 4 уровне рассматриваемой квалификации в качестве предмета оценивания на ПЭПЭ разработчиками были отобраны 8 ТФ (стр. 32, п. 12 ОС Специалист по информационным система (4УК)). Это те трудовые функции, цена ошибки, некорректное (недостаточно корректное) выполнение которых существенно сказывается на общем результате и качестве выполнения профессиональной задачи.
Основы бухгалтерского учета и отчетности организаций и основы налогового законодательства Российской Федерации являются необходимыми знаниями для выполнения следующих трудовых функций специалиста по информационным системам (4УК) как предметов оценивания на ТЭПЭ:
А/01.4 Сбор данных для выявления требований к типовой ИС в соответствии с трудовым заданием
А/02.4 Разработка прототипов ИС в соответствии с трудовым заданием
А/05.4 Интеграционное тестирование ИС (верификация) в соответствии с трудовым заданием
А/11.4 Интеграция ИС с существующими ИС заказчика в соответствии с трудовым заданием
А/13.4 Демонстрация заказчику выполнения его требований к ИС в соответствии с трудовым заданием
А/17.4 Инженерно-техническая поддержка заключения договоров на выполняемые работы, связанные с ИС в соответствии с трудовым заданием
А/18.4 Регистрация запросов заказчика в соответствии с трудовым заданием
А/19.4 Инженерно-техническая поддержка заключения договоров сопровождения ИС в соответствии с трудовым заданием
Профстандарт специалиста по информационным системам описывает профессиональную деятельность специалистов, вовлеченных в создание и эксплуатацию информационных систем, автоматизирующих задачи организационного управления и бизнес-процессы в организациях различных форм собственности. При создании информационной системы для заказчика ключевым моментом является адаптация программного обеспечения информационной системы под особенности бизнес-процессов именно этого заказчика, при этом квалификация данного специалиста должна позволять, при необходимости, находить рациональные варианты изменения бизнес-процессов заказчика с целью максимально эффективной их автоматизации.
Практика многих лет показывает, что для профессионального создания и эксплуатации таких систем необходимы специалисты достаточно широкого профиля, владеющие обширным спектром современных информационных технологий, навыками проектирования, программирования и сопровождения систем, пониманием предметной области автоматизируемых бизнес-процессов и задач организационного управления (учета, анализа, планирования, контроля, реализации и т.д.), а также методами и технологиями проектного управления ведением работ.
Специалист по информационным системам должен обладать перечисленными ниже знаниями, которые в описании трудовых функций профессионального стандарта не всегда указываются явно, но считаются обязательными «по умолчанию» для соответствующего уровня квалификации:
а) в области информационных технологий;
б) в области экономики и управления, т.е. в предметной области автоматизации;
в) в области проектного управления ведением работ;
г) надпрофессиональные знания, относящиеся к общей производственной культуре.
В частности, вот такой перечень базовых знаний в области экономики и управления по уровням квалификации:
Формирование и механизмы рыночных процессов предприятия
На 6,7 уровне
Основы менеджмента, в том числе менеджмента качества
На 6,7 уровне
Основы бухгалтерского учета и отчетности предприятий
Все уровни
Основы налогового законодательства
Все уровни
Основы управленческого учета
На 5,6,7 уровне
Основы финансового учета и бюджетирования
На 6,7 уровне
Основы МСФО
На 5,6,7 уровне
Основы управления торговлей, поставками и запасами
На 5,6,7 уровне
Основы организации производства
На 5,6,7 уровне
Основы управления взаимоотношениями с клиентами и заказчиками (CRM)
На 6,7 уровне
Основы управления персоналом и расчетов с персоналом
На 5,6,7 уровне
Основы теории управления
На 6,7 уровне
Современные инструменты и методы управления предприятием, в т. ч. методы планирования деятельности, распределения поручений, контроля исполнения, принятия решений
На 6,7 уровне
Методология ведения документооборота на предприятиях
На 6,7 уровне
Инструменты и методы определения финансовых и производственных показателей деятельности предприятий
На 6,7 уровне
Основы организационной диагностики
На 6,7 уровне
Инструменты и методы моделирования бизнес-процессов предприятия
На 6,7 уровне
Основы реинжиниринга бизнес-процессов предприятия
На 6,7 уровне
Достаточно подробно характеристика вида профессиональной деятельности рассмотрена в пояснительной записке к профессиональному стандарту «Специалист по информационным системам» - .
Так что у разработчиков действующих ОС по квалификации Специалист по информационным системам 4УК достаточно логичные и убедительные аргументы за проверку таких знаний.
Тем не менее, на один уровень квалификации может быть несколько комплектов оценочных средств. Во-первых, за счет пополнения заданий теоретического и практического этапа ПЭ. Во-вторых, за счет изменения структуры предметов оценивания. Также стоит отметить необходимость формирования отдельных ОС средств по данной квалификации в отраслевом аспекте, а также в условиях интеграции системы НОК в процедуры промежуточной и итоговой аттестации обучающихся по образовательным программам среднего профессионального и высшего образования.
В этой связи, Совет по профессиональным квалификациям открыт к сотрудничеству в области разработки и актуализации профессиональных стандартов, разработке, валидации и применению оценочных средств для НОК в области информационных технологий.
