Розділ 2. Математичні моделі в комп’ютерних системах тестування знань зі
зворотним зв’язком
В розділі розглянуто основні елементи процесу комп’ютерного тестування знань,
запропоновано та обгрунтовано концепцію зворотного зв’язку при побудові
математичних моделей тестування [10,14,77,78,80,82,86-88]. Опрацьовано підходи
до використання параметру диференціюючої здатності в математичних моделях та
алгоритмах добору і оцінки завдань. Представлено алгоритми аналізу завдань
тесту та результатів тесту в цілому, які базуються на теорії IRT.
2.1. Основні поняття та параметри процесу тестування знань
В цьому підрозділі описано базові поняття та параметри, які використовують для
опису процесів тестування знань і формування відповідних математичних моделей.
Під час комп’ютерного тестування студентам ставлять ряд завдань з певної
множини, окресленої банком завдань. Банк завдань можна представити як:
де – інформація про -те запитання,– кількість завдань в банку.
Інформацію стосовно кожного завдання можна подати за допомогою вектора:
, (2.1)
де – номер типу завдання, причому:
, якщо завдання належить до типу одиничного вибору;
, якщо завдання належить до типу багаторазового вибору;
, якщо завдання належить до доповнюючого типу;
, якщо завдання належить до мультимедійного типу;
, якщо завдання належить до типу довгої відповіді;
– означає:
у випадку – значення оцінок в балах окремих варіантів відповіді в -му завданні
(завдання типу вибору),
у випадку – значення оцінок в балах окремих варіантів відповіді в -му завданні
(завдання доповнюючого типу),
у випадку – значення оцінок в балах окремих кодів відповіді в -му завданні
(завдання мультимедійного типу);
– означає:
якщо – кількість варіантів відповіді в завданні вибору,
якщо – кількість оцінюваних варіантів відповіді,
якщо – кількість кодів відповіді, які повертає завдання мультимедійного типу,
якщо – то значення , а також не використовуються,
– номер тематичної категорії до якої належить завдання,
– коефіцієнт жеребкування завдання, від якого залежить ймовірність вибору; в
традиційних простих тестах з однаковою ймовірністю вибору окремих завдань
коефіцієнт при моделюванні пропускаємо або приймаємо, що .
Варіанти відповідей, в межах -го завдання позначаємо через , де – кількість
різних можливих варіантів відповідей на -те завдання. Наприклад, оперуючи
поняттям варіанту відповіді в завданні типу вибору, необхідно враховувати
інформацію про те, який варіант або яку комбінацію варіантів відповіді було
вибрано. В завданнях з доповненнями варіантом можна вважати одну з оцінюваних
текстових відповідей, можливих до впровадження або вибору. Для завдань
мультимедійного типу під варіантом розуміють один з можливих кодів відповіді,
які повертаються цим завданням.
Параметр вводимо наступним чином:
якщо , то , тобто дорівнює кількості варіантів відповідей для вибору, плюс один
додатковий варіант, який означає відсутність будь-якої відповіді (хоча це не
завжди можливе);
якщо , то , тобто дорівнює кількості можливих комбінацій в діапазоні окремих
варіантів відповідей, враховуючи відсутність будь-якої відповіді;
якщо , то в завданні з доповненнями кількість взірців відповіді є практично
необмеженою, за винятком випадку, коли завдання складається виключно з питань
вибору (у випадку багатобального оцінювання, для не зовсім вірних варіантів
відповідей, можна прийняти, що – кількість різних варіантів відповідей, які
надавались екзаменованими в банку попередніх результатів);
якщо , то , тобто дорівнює кількості кодів відповіді, які повертаються
завданням мультимедійного типу.
Для динамічно згенерованих завдань не визначено окремого варіанту значення ,
оскільки для користувача вони представляються як завдання з доповненнями або як
завдання одиничного чи багаторазового вибору і як такі повинні розглядатись.
В результаті оцінювання коефіцієнта жеребкування можна визначити ймовірність
вибору -го завдання з повного банку завдань:
, (2.2)
Додатково, на підставі рішення адміністратора або результатів екзаменів окремим
завданням можуть приписуватись різноманітні параметри і характеристики,
наприклад, вага, складність, диференціююча здатність, параметри моделі на базі
теорії результату завдання та ін. В подальших викладках використано такі
параметри завдань:
– коефіцієнт ваги -го завдання;
– класичний коефіцієнт легкості -го завдання;
– диференціююча здатність -го завдання;
– параметри завдання згідно моделі IRT (див. розд. 1).
Множину завдань, які отримує екзаменована особа, представляємо у вигляді:
де – інформація про -те вибране випадковим чином питання тесту і відповідь на
нього, – кількість питань тесту, які розв’язує -та екзаменована особа, .
Інформацію про надану відповідь в -му завданні можна записати у вигляді
вектора:
де – означає номер завдання в повному банку завдань , – кількість балів, яку
отримала екзаменована особа за -е завдання (обчислюють різними способами,
залежно від різних стратегій тесту); параметри залежно від типу завдання (тобто
величини ) означають наступне:
якщо , то бінарні оцінки 0/1 означають чи екзаменована особа дала визначений
варіант відповіді, причому , якщо екзаменована особа в -му завданні вказала на
-й варіант відповіді, , якщо екзаменована особа в -му завданні не вказала -го
варіанту відповіді;
якщо , то бінарні оцінки 0/1 означають, який оцінюваний варіант відповіді в
завданні з доповненнями зазначила екзаменована особа, причому , якщо
екзаменована особа в -му завданні зазначила -й оцінюваний варіант відповіді, ,
якщо екзаменована особа в -му завданні не зазначила -го оцінюваного варіанту
відповіді;
якщо , то бінарні
- Київ+380960830922