Загальне
Тосенко О.М.
Новокаховський гуманітарний інститут ВНЗ ВМУРоЛ «Україна»
Визначення дискримінативності тестових завдань за допомогою середовища електронного навчання MOODLE
В даний час практично вся увага в навчальних планах закладів освіти покладається на самостійну роботу студентів причому рівень компетенцій студентів повинен бути збережений достатньо високим. Тому навчальний процес в закладах освіти супроводжується за допомогою спеціалізованого програмного забезпечення та засобів інформаційно-комунікаційного зв’язку, у тому числі ресурсів, розміщених з мережі Інтернету.
При реалізації такої моделі навчання перед викладачем може встати завдання оцінки ефективності матеріалів для навчання студентів. Для отримання комплексної оцінки такої ефективності можуть бути використані різні методики, зокрема моніторинг діяльності студента в середовищі електронних ресурсів.
Середовище електронного навчання MOODLE надає викладачеві засоби моніторингу навчальної діяльності студентів. Інструменти системи MOODLE дозволяють одержати об'єктивну інформацію про рівень і динаміку освітнього процесу. Використання електронного моніторингу дає викладачеві наступні можливості:
1. Підвищити якість ресурсів і елементів курсу:
- оперативне виправлення помилок в тестових завданнях;
- проведення аналізу результатів (визначення індексу дискримінативності тестових питань, якості кожного завдання або тесту, облік всіх відповідей і часу рішення, вибудовування рейтингу студентів.
2. Підвищити якість навчання:
- оцінити активність групи студентів в окремому елементі курсу;
- оцінити активність конкретного студента в електронному курсі, що можна врахувати при прийомі індивідуальних завдань або домашніх робіт.
Аналіз завдань за наслідками тестування має на своїй меті відбір якнайкращих завдань і включає визначення частки тих, що відповіли правильно (відповідно до ключа) і дискримінативності кожного тестового завдання. Дискримінативність – це здатність тестових завдань диференціювати (розділити) студентів за ознакою максимального чи мінімального результату. Це поняття введене для того, щоб унеможливити створення неякісних тестових завдань.
В середовищі MOODLE є можливість одержати середній бал по курсу окремої групи і збудувати рейтинг успішності групи (рисунок 1).
Рисунок 1 – Вікно «Звіт по оцінках» в середовищі MOODLE
Одержати інформацію про діяльність в курсі окремого студента також можливо, використовуючи звіт про діяльність студента (як один з варіантів - відкрити його із «Звіту про оцінки», пройшовши по посиланню на ім’я студента).
Система MOODLE відстежує активність студентів і складає звіти про їх участь у вивченні курсу. Для викладача існує можливість переглянути з якою результативністю використовувалися студентами контрольно-діагностичні матеріали дисципліни [1]. У журналі оцінок курсу зібрані оцінки всіх студентів за всі оцінювані матеріали.
Назви оцінюваних елементів представлені у вигляді гіперпосилань, які відкривають редагування цих елементів. У журналі передбачено підсумкове поле, що містить сумарний бал. Для перегляду оцінок тільки одного студента необхідно натиснути на кнопку «Оцінки для користувача...» (праворуч від імені студента) або вибрати «Звіт по користувачу» (вказати необхідного студента).
Для визначення дискримінативності тестових завдань необхідно виконати декілька кроків.
Перший крок полягає в тому, щоб скласти таблицю аналізу завдань (див. таблицю 1), в якій кожна колонка (А, Б, В і т. д.) представляє завдання, а кожен рядок - ідентифікацію студента.
Таблиця 1 – Матриця для аналізу завдань тесту
Студент
Тест
Сума
Код
Призвище, ім’я
А
Б
В
Г
Д
1
Бортник Юлія
1
0
1
0
1
3
2
Варарь Христина
1
0
0
0
0
1
3
Вершняк Олександр
0
1
0
0
1
2
4
Людкевич Владислав
1
0
0
1
1
3
5
Кириченко Володимир
0
0
1
0
1
2
6
Кириченко Максим
1
1
1
1
1
5
7
Кобецький Кирило
1
0
1
1
1
4
Сума:
5
2
4
3
6
20
Індекс ефективності завдання
0,71
0,29
0,57
0,43
0,86
MOODLE надає можливість експорту результатів навчальної діяльності учасників електронного курсу. Експорт може бути здійснений до файлів формату електронної таблиці з розширенням .xlsx (MS Excel).
Далі підсумовуються бали по кожній клітці для отримання загального балу по кожному ряду (студенти) і загального балу по кожній колонці (завдання тесту).
Наступним кроком буде обчислення показника, що визначає частку студентів, що відповіли відповідно до «ключа» тесту, - індексу ефективності тестового завдання. Цей показник підраховується поділу кількості студентів, що дали правильну «ключову») відповідь, на їх загальну кількість.
В ідеалі цей індекс для кожного завдання повинен розташовуватися в інтервалі від 0,25 до 0,75, наближаючись в середньому до значення 0,5 для всього тесту. Значення індексу ефективності, менше, ніж 0,25, показує, що завдання неефективно, тому що мало студентів відповідають на нього правильно. Значення індексу ефективності завдання вище 0,75 вказує на те, що на дане завдання одержано багато правильних відповідей. У таблиці 1 аналізу завдань тесту індекс ефективності для завдання «Д» дорівнює І = 0,86. З цього виходить, що це питання тесту рекомендується видалити з остаточної версії матеріалу поточного контролю.
Проглянувши результати в таблиці аналізу завдань, необхідно також упевнитися в тому, що адекватний індекс ефективності, тобто той, що знаходиться між крайніми оцінками, не просто означає вибір середніх оцінок в оцінному континуумі кожним випробовуваним, а є варіацією різних оцінок.
Для визначення дискримінативності тестових завдань використовується коефіцієнт кореляції кожного завдання із загальним балом всього тесту. Широко використовується в науці для вимірювання ступеня лінійної залежності між двома змінними коефіцієнт кореляції Пірсона показник лінійної залежності (кореляції) між двома змінними X та Y, який набуває значень від −1 до +1 включно.
Значення +1 означає, що залежність між X та Y є лінійною, і всі точки функції лежать на прямій, яка відображає зростання Y при зростанні X. Значення r = −1 означає, що всі точки лежать на прямій, яка відображає зменшення Y при зростанні X. Якщо коефіцієнт кореляції Пірсона r = 0, то саме лінійної кореляції між змінними немає (див. рисунок 2).
Рисунок 2 - Діаграми розсіву з різними значеннями коефіцієнту кореляції (r)
Коефіцієнти кореляції повинні знаходитися в діапазоні: менше +1 і більше -1. Якщо набуто значення коефіцієнта, що виходить за межі цього інтервалу, отже, допущена помилка в розрахунках. Чим вищий коефіцієнт кореляції, тим вища дискримінативність завдання, тим краще завдання. Це є одним основним критерієм ефективності тесту. Мінімальна значення кореляція завдань складає r = 0,2. Завдання з негативною або нульовою кореляцією повинні виключаються з тестового контролю.
Для розрахунку дискримінативності завдань найчастіше застосовується коефіцієнт добутків моментів Пірсона [2]. Коефіцієнт кореляції Пірсона між двома змінними дорівнює коваріації двох змінних, або сумі добутків відхилень, поділеній на добуток їх стандартних відхилень. Формула коефіцієнту добутків моментів Пірсона має вигляд:
(1) де r – коефіцієнт кореляції;
n - кількість попарних творів;
Х – результат за кожним завданням;
Y – бал (результат) по всьому тесту.
Для того, щоб підрахувати коефіцієнт кореляції добутків моментів Пірсона, необхідні наступні дані: сума балів студентів за кожним завданням тесту; сума балів студентів по всьому тесту; сума квадратів балів студентів за кожним завданням; сума квадратів балів студентів по всьому тесту; сума добутків балів за кожним завданням і за всіма завданнями.
Шляхом підстановки у формулу (1) значень перерахованих показників обчислюється коефіцієнт кореляції r. Нижченаведений приклад демонструє спосіб отримання цього коефіцієнта (див. таблицю 2).
Таблиця 2 – Розрахунок коефіцієнта кореляції r
Код студента
Бал
по завданню, X
X2
Бал
по всьому тесту, Y
Y2
XY
1
5
25
3
9
15
2
0
0
1
1
0
3
1
1
2
4
2
4
2
4
3
9
6
5
3
9
2
4
6
6
5
25
5
25
25
7
5
25
4
16
20
7
21
89
20
68
74
r = 0,21
Для даного прикладу набуто значення коефіцієнта r = 0,21, що не виходить за межі допустимого інтервалу.
Обчислення звичайно проводяться за допомогою комп'ютерної програми Excel. Кожен викладач, розробник тестів або користувач готових завдань, повинен хоч би одного разу провести такі розрахунки вручну. Це дає можливість проникнути в сенс того, що відбувається із завданнями тесту.
При рішенні питання про включення завдання в остаточну версію тесту потрібно брати до уваги деякі чинники. На додаток до вивчення ефективності дискримінативності потрібно визначити ту кількість завдань, яка буде потрібно для остаточної версії (не менше 20…30 завдань) і наскільки добре вони «вписуються» в раніше створені для тесту межі. Наприклад, можна включити завдання з низкою дисримінативністю , якщо є небагато завдань по деяких розділах дисципліни. Також іноді має сенс включення в остаточний варіант тесту завдання з недостатньо високим показником ефективності за умови, що воно володіє достатньою дисримінативністю. Також важливо забезпечити приблизно рівну кількість прямих і зворотних завдань.
Способи поліпшення завдань з'ясовуються якраз на цій стадії конструювання тесту. Наприклад, зміна формулювання відповіді в завданні з «іноді» на «завжди» може підвищити показник ефективності. Проте ці зміни у всіх питаннях (твердженнях) можуть вплинути на надійність і валідність тесту. Процедура аналізу завдань дає необхідну інформацію щодо параметрів кожного завдання. Проте, тільки викладач може винести ухвалу про те, який з критеріїв найбільш важливий для реалізації мети створюваного тесту.
Модуль діяльності MOODLE «Тест» має вбудований аналізатор, за допомогою якого на основі проведених тестувань розраховуються статистичні характеристики тестових завдань. У комплексі статистичні звіти і звіт за оцінками системи MOODLE є інструментами, що дозволяють організувати моніторинг освітнього процесу. Крім того, використання цього інструментарію дозволяє вчасно редагувати і актуалізувати ті навчальні тестуючі матеріали, що в свою чергу, поліпшать електронний ресурс.
Висновок. Контроль якості навчальної роботи є важливим засобом управління процесом навчання, особливо це стосується систем дистанційного електронного навчання, які базуються на самостійній роботі слухача курсу. Засоби дистанційної освіти дозволяють не лише організувати процес навчання, але й надають докладну статистичну інформацію про цей процес. Забезпечуючи подачу матеріалів та проходження тестів платформа MOODLE акумулює дані про усіх користувачів та їхні взаємодії з системою. Ці дані можна використовувати як для оцінювання навчальних досягнень студентів, так і для аналізу ефективності процесу викладання та корекції методик.
Список використаних джерел
1. Використання статистичних методів для створення когнітивних тестових завдань. Автор: Науковий вісник НЛТУ України, 2018, т. 28, № 8. https://nv.nltu.edu.ua/Archive/2018/28_8/26.pdf.
2. Аналіз тестових завдань на основі статистичної обробки результатів тестування. Автор: Вісник Київського університету. Серія: фізико-математичні науки, 2010, № 2.