РОЗДІЛ 2
СИНТЕЗ МАТЕМАТИЧНОГО ЗАБЕЗПЕЧЕННЯ ПРОЦЕДУР КОМП'ЮТЕРНОГО ОЦІНЮВАННЯ ВІДПОВІДЕЙ СТУДЕНТІВ
2.1. Методика тестування
Переважна більшість технологій тестування, що використовується, не забезпечує необхідної достовірності та об'єктивності [53, 62, 81, 98, 100, 101]. Насамперед, це відноситься до паперового бланкового тестування з вибірковими відповідями, де кожне питання супроводжувалось декількома можливими варіантами відповідей, одна з яких - правильна, решта - у кращому випадку, тільки наближено правильні. Саме таке тестування на даний час використовують у школах і при незалежному зовнішньому тестуванні абітурієнтів.
Більшість вузів для тестування абітурієнтів застосовує удосконалений варіант системи питань з вибірковими відповідями. Таке вдосконалення полягає в наступному: по-перше, для кожного абітурієнта комп'ютер довільно вибирає бланк із питаннями з наявних у пам'яті банку питань, по-друге, бланки з відповідями абітурієнтів скануються і вводяться в комп'ютер; по-третє, комп'ютер, а не викладач, порівнює отримані відповіді з наявними в пам'яті і виставляє оцінку. Окремі вузи публікують питання з банку даних, даючи можливість абітурієнтам підготуватися. Питань може бути декілька сотень з одного предмета. У цьому сенсі тестування нагадує процедуру складання іспиту, коли доводиться "тягнути" білет. Звичайно, що невдачу на іспиті найчастіше пояснюють "важким" білетом. Але це не можна вважати аргументом, із-за якого варто було б переглянути результат, або відмінити складання іспитів з білетами.
Скласти декілька сотень питань навіть з одного предмета складно. У зв'язку з цим виник задум проводити зовнішнє тестування всіх абітурієнтів одночасно (синхронно), використовуючи тільки один стандартний варіант питань. Головний доказ прибічників задуму - поставити всіх абітурієнтів в однакові умови. Підготувати один варіант набагато легше, ніж декілька сотень. Його можна зробити практично бездоганним для критики. Однак необхідність забезпечити таємність єдиного варіанту тесту не може забезпечити об'єктивності тестування, а тим більше, створити однакові умови. Спочатку тест потрібно скласти, згодом віддрукувати в друкарні декілька тисяч примірників, а пізніше розкласти в конверти і відправити за адресами сотень пунктів тестування. У будь-якому випадку, сотні (якщо не тисячі) людей будуть знати зміст тесту ще до того, як з ним ознайомиться абітурієнт. Достатньо однієї "слабкої ланки" у цьому ланцюжку, щоб процедуру тестування позбавити будь-якого сенсу.
Всі методики тестування на паперових бланках із використанням комп'ютерів, або без них (рис.1.1а), мають суттєвий недолік: по-перше, між абітурієнтом і комп'ютером завжди є посередник, який вводить написані абітурієнтом відповіді в комп'ютер, що не виключає сумнівів у об'єктивності, по-друге, абітурієнт про результати тестування довідується не відразу, а в кращому випадку - через декілька годин [93, 99].
Комп'ютерне тестування з виведенням тестових завдань на екран дисплею (електронний бланк) (рис. 1.1б) дозволяє відразу ж проаналізувати відповіді абітурієнта і вивести на екран як оцінку за кожну відповідь, так і сумарну оцінку. Одночасно забезпечується фіксація змісту і процесу тестування кожного абітурієнта у надійно закодованій формі. Результати тестування відкриті для перегляду, але недоступні для адміністративної чи будь-якої іншої корекції. Форми тестових завдань (§ 1.5) є стандартні, і кожне з них має готову відповідь. Тому банк тестів повинен бути надійно захищений від несанкціонованого копіювання, що досить складно забезпечити.
Відповіді на питання із вибірковими відповідями допускають з високою імовірністю можливість відгадування. Як правило, на одне питання пропонується не більше п'яти можливих варіантів відповідей. Зрозуміло, що навіть, не читаючи питання, залишається один шанс із п'яти одержати максимальну оцінку. Якщо відповідь відома, то максимальна оцінка гарантована. Очевидно, якщо завчити напам'ять всі можливі питання (вони публікуються) і відповіді на них, то цього цілком достатньо для успішного тестування. Утім, можна уникнути механічного запам'ятовування. Для цього достатньо ввести в пам'ять комп'ютера питання з відповідями на них, забезпечити найпростішою програмою з відповідним інтерфейсом, тоді максимальний результат тестування гарантований.
Отже, машина може "мислити"? Комп'ютер для тестування з вибірковими відповідями може володіти не вищим інтелектом ніж звичайна паперова шпаргалка, зрештою, той, що тестується теж [95]. Високий результат тестування в такому методі свідчить про добру пам'ять, але практично нічого про вміння оперувати логічними поняттями.
Програма комп'ютера, яка аналізує бланки (паперові чи електронні) із розв'язаними задачами з вибірковими відповідями, виконує одну єдину найпростішу операцію: порівнює номер обраної абітурієнтом відповіді з номером правильної відповіді.
Останнім часом з'явилися тести, в яких потрібно ввести (чи написати на бланку) числову або символьну відповідь. При цьому весь аналіз зводиться до перевірки співпадіння з готовою відповіддю, яка є в пам'яті комп'ютера.
Комп'ютерна система для безбланкового програмованого тестування - це фактично електронний задачник, який спочатку формулює і виводить на екран текст задачі, а пізніше сам розв'язує її і, дочекавшись відповіді абітурієнта, порівнює її з власним розв'язком (рис. 2.1). Як правило, задача - це невелика унікальна програма. Вихідні дані для неї щораз формуються наново, наприклад, датчиком випадкових чисел, тому записувати відповідь не має сенсу. Можна тільки запам'ятати хід і спосіб розв'язання задачі, що і вимагається при навчанні. А при успішному тестуванні є свідченням не тільки знання предмета, але й уміння застосовувати ці знання на практиці.
Рис. 2.1. Схема з незалежним тестуванням для стаціонарної форми навчання і контролю знань
Зрозуміло, що створення електронного задачника є