IX Международная студенческая научная конференция Студенческий научный форум - 2017

В ряде работ [1—3] показано, что на методологическом уровне каждый человек решает проблему по одному и тому же универсальному алгоритму. На рис.1. приводится этот алгоритм, где S – величина сложности проблемы из компетенции К; А, В, С – величины уровней развития формализационных, конструктивных, исполнительских способностей инженера в рамках компетенции К; POL, CHL – величины полноты и целостности усвоенных им знаний; R – результат решения проблемы;

Как видно из этой модели, решение проблемы состоит из трех взаимосвязанных операций:

1) Формализация проблемы (операция А), при этой операции человек формулирует проблему в известные ему задачи.

2) Конструирование плана (операция В) - решения задач, полученных в первом пункте задач.

3) Исполнение плана (операция С) – реализации этого плана на практике.

Таким образом, данная модель функционирует следующим образом: проблему из компетенции К сложности S инженер через свою деятельность трансформирует в результат, используя свои (в определенной мере развитые) АВС-способности на фоне своих (в определенной мере полных (POL) и целостных (CHL)) знаний.

Рис.1. Инвариативная схема решения проблем инженером

Очевидно, что результат (успешность решения проблемы) зависит от значений комплексов параметров A, B, C, POL, CHL.

Оценка качества владения компетенцией (КВК) может быть отражена на специальной шкале (рис.2).

Рис.2. Шкала качества владения компетенцией(КВК)

В целом на практике складывается такая ситуация, когда абсолютно надежно оценить качество владения компетенцией студента на шкале КВК возможно только по результатам его учебной деятельности в течение семестра. Попытки оценить качество владения компетенцией студента по результатам итогового теста, как правило, оказываются ненадежны. При этом складывается ситуация: студенты, которые владеют компетенцией на требуемом качественном уровне, как правило, имеют высокие результаты в тестах, однако не все, кто имеют высокие баллы в тестах, владеют компетенцией на должном качественном уровне. Очевидно, такой результат объясняется тем, что студент за пару дней готовиться к экзаменам (тестовому контролю), т.е. заучивает материал, показывая при этом неплохие результаты. При этом, однако, в сущности он владеет компетенцией на довольно низком качественном уровне [4]. Во многих случаях этот результат так же зависит от валидности теста, когда вопросы в тесте не соответствуют учебному материалу.

Для разрешения возникшей проблемы предлагается алгоритм тестирования в новом формате с учётом экспертизы на валидность, основанный на определенных теоретических предпосылках:

1) Любая система для своего существования должна одновременно обладать свойствами полноты и целостности. Для этого нужно разработать базу вопросов (БВ) на POL и CHL.

В тестах на контроль полноты усвоенных знанийвопросы будут иметь формат типа «Я знаю, что…». Это такиевопросы, с помощью которых в рамках компетенциипроверяется качество знания терминов, понятий,определений и др.

А вопросы на проверку целостности усвоенных знаний будут иметь формат «Я знаю, как …», т.е. с помощью таких вопросов проверяются знания, каки что делается. Это — знания способов, методов, технологий, методологии.

Допустим, наша система имеет БВ (блок1) на POL и БВ(блок2) на CHL.

2) Далее экспертом проводится экспертиза на валидность теста. Каждый вопрос из БВ оценивается от 0 до 1. Тест считается валидным, если его вопросы соответствуют содержанию учебной программы и средняя оценка валидности теста ≥ 0,8.

После экспертизы теста составляется диаграмма Кивиата, которая позволяет наглядно увидеть содержательную валидность базы вопросов (рис.3, рис.4).

Рис.3. Валидность БВ по POL

Рис.4. Валидность БВ по CHL

3) Вопросы, которые прошли экспертизу на валидность, оцениваются по сложности от 0 до 1.

4) Эксперт определяет время выполнения теста студентом. Допустим, тест решается за 15 мин/ работы эксперта, то для студента это значение увеличивается в 3 раза.

5) После того, как составляются базы вопросов, которые проходят экспертизу на валидность и сложность, тест готов к применению. Из БВ (блок 1) случайным образом выбирается 10 вопросов одной сложности. Допустим, студент ответил на 8 вопросов правильно. Качество ответов на полноту усвоенных знаний оценивается на 0,8 ед., т.е. POL = 0,8 ед.

6) Из БВ (блок 2) случайным образом выбирается 10 вопросов одной сложности. Допустим, студент ответил правильно на 9 вопросов. Качество ответов на целостность усвоенных знаний оценивается на 0,9 ед., т.е. CHL = 0,9 ед.

7) После завершения теста должен выводится результат. Для оценки качества знаний в полноте и целостности вводится метрическая характеристика GLZ — глубина усвоенных знаний студента [5]. Глубина усвоенных знаний вычисляется как числовое произведение значений POL и CHL, т.е. GLZ = POL × CHL. в целом глубина усвоенных знаний студента оценивается на 0,72 ед., т.е. GLZ = 0,72 ед.

Как показывает опыт, значения величин GLZ «сильно» коррелированы с умениями студента разрешать учебные проблемы из требуемой компетенции. Возникает вопрос, как, исходя из результатов итогового теста на наличие знаний, оценить качество владения студентом определенной компетенцией?

Допустим, в течение семестра студент показал свои способности по следующим критериям (рис.5).

X	Z=CLB	Kxz
A	POL × CHL	0,83
	POL × CHL	0,87
C	POL × CHL	0,82

Рис.5. корреляции показателя глубины усвоенных знаний с показателями качества владения компетенций (АВС – способности)

Для оценки качества владения студентом определенной компетенцией вычисляется значение показателя надёжности, которое является средним значением корреляции показателя глубины усвоенных знаний с показателями качества владения компетенций (АВС – способности), [5].

Так, в рассматриваемом случае можно сказать, что студент овладел компетенцией с конкретными значениями показателя GLZ=0,72 и с надежностью Кср = (0,83 + 0,87 + 0,82) / 3 = 0,84.

Таким образом, такую систему электронного теста на основе показателя глубины усвоенных знаний для оценки качества владения можно успешно использовать на практике.

Список литературы:

1) Нуриев Н. К., Старыгина С. Д., Гибадуллина Э. А. Дидактическая инженерия: проектирование систем обучения нового поколения // Интеграция образования. 2016. Т. 20, № 3. С. 393–406. DOI: 10.15507/1991-9468.084.020.201603.393-406

2) Нуриев Н.К., Старыгина С.Д., Гибадуллина Э.А. Дидактическая инженерия: теоретические основы// Educational Technology & Society – 2016 (http://ifets.ieee.org/russian/periodical/journal.html) - V.19. - N 4. – С. 397 – 411 c. – ISSN 1436-4522.

3) Нуриев Н.К. Дидактические системы нового поколения // Высшее образование в России. — 2010. — № 8—9. —С. 128–137.

4) Нуриев Н.К., Старыгина С.Д., Ахметшин Д.А. Алгоритм оценки качества владения компетенцией на основе показателя глубины усвоенных знаний / Н.К.Нуриев, С.Д. Старыгина, Д.А. Ахметшин// Alma mater (Вестник высшей школы). - 2015. № 11. С. 64-66.

5) Нуриев Н.К., Старыгина С.Д. Дидактическая инженерия: подготовка инженеров в техногенной образовательной среде/ Н.К.Нуриев, С.Д. Старыгина/ Образование и наука. – 2016.№9(138) С. 61-79

Код для цитирования: Скопировать