РОЗДІЛ 2
ЕКСПЕРИМЕНТАЛЬНА РОЗРОБКА МЕТОДИКИ ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ АВТОМАТИЗОВАНОЇ
АТЕСТАЦІЇ
2.1. Обґрунтування умов дослідження ефективності автоматизованої атестації
Робота з підготовки та проведення експерименту базувалась на обґрунтованих
теоретичних положеннях, результатах розроблення методики визначення та
підвищення валідності нелінійної нерозгалуженої процедури атестації та закритих
тестових завдань, а також на висновках і рекомендаціях, обґрунтованих у
науковій літературі з методики психолого-педагогічних експериментів [74, 85,
163].
Метою експерименту була розробка методики оцінки ефективності автоматизованого
контролю знань у післядипломній медичній освіті і створення методики підвищення
валідності тестових завдань і процедур автоматизованої атестації для
післядипломної медичної освіти.
Основна суть експерименту полягала в перевірці припущення, що: підвищення
ефективності автоматизованого контролю знань забезпечується шляхом
впровадження в навчальний процес післядипломної медичної освіти сукупності
розроблених нами методичних прийомів та заходів, спрямованих на визначення та
підвищення валідності процедури атестації та тестових завдань.
Експеримент за структурою поділявся на констатуючий і формуючий різновиди. У
ході експерименту було розв’язано такі завдання:
А. Констатуючий експеримент
Обґрунтування вибору експериментальних та контрольних груп, вибір засобів
проведення експерименту та виміру його результатів, підготовка суб’єктів
атестації до участі в експерименті, забезпечення матеріально-технічного стану
експериментальної роботи (списки, анкети, програми для ЕОМ тощо).
Проведення, за допомогою традиційних методик, діагностичного зрізу для
визначення стану якості знань в обох групах.
Розробка методики підвищення валідності тестових завдань і процедур
автоматизованої атестації для післядипломної медичної освіти.
Б. Формуючий експеримент
Проведення послідовного експерименту з залученням розроблених методик.
Розв’язання завдання перевірки запропонованої методики визначення та
підвищення валідності автоматизованої атестації знань курсантів післядипломної
медичної освіти.
Обробка й аналіз отриманих даних, їх статистична оцінка, перевірка та
підтвердження, формулювання та перевірка висновків, розробка практичних
рекомендацій.
Розглянемо послідовно хід експериментальної роботи на кожному з її етапів.
На підготовчому етапі ми ставили завдання - визначити показники контрольних та
експериментальних груп; сформувати експертну групу, визначити її кількісний та
якісний склад; за результатами роботи експертної групи визначити показники та
критерії оцінки ефективності системи визначення та підвищення валідності
тестових питань та процедури атестації.
При проведенні досліджень в даній роботі використовувались такі матеріали (з
спеціальностей: неврологія, неонатологія, хірургія, офтальмологія):
кваліфікаційні характеристики, навчальні програми, бази даних тестових завдань
(чисельністю 5537 одиниць). В роботі були задіяні експертні оцінки (747
висновків) фахівців-викладачів щодо знань курсантів та змісту навчального і
контролюючого матеріалу.
Навчальна програма з курсу неонатологія (найчастіше застосовувалася в
дослідженнях) складалась з 13 курсів, курси складались з розділів, розділи
поділялись на теми та елементи. Семінарські заняття складали 2,5 частини від
лекційних, практичні - 3 частини від лекційних (за часом, в годинах).
Обґрунтування вибору експериментальних груп має важливе значення для наукової
вірогідності результатів експерименту. При цьому розв’язуємо, в основному, два
завдання. По-перше, визначаємо кількісний склад експериментальних і
контрольних груп. По-друге, обґрунтовуємо репрезентативність цих груп. Для
обчислення вибіркової сукупності ми проводили пілотажні дослідження. Вони
полягали в такому. На першому кроці курсанти-інтерни кількістю 60 осіб зі
спеціальності неонатологія проходили тестування за допомогою ААС. Розраховували
такі параметри: вибіркове середнє = 67,71; середнє квадратичне відхилення =
18,38; середня квадратична похибка вибіркового середнього =2,37. Розраховували
=28,14. За таблицями [85, с.263] робимо висновок, що достовірність ряду висока.
Таким чином, при пілотажному дослідженні було визначено, що похибка вибіркового
середнього для досліджуваного ряду нижче середньої, а ймовірність похибки менше
за 0,001. Якщо визначати мінімальне необхідне число спостережень, то при
мінімальній припустимій ймовірності 0,05, для вірогідності спостережень ми
можемо збільшити похибку до 4. В цьому випадку, з метою визначення мінімального
обсягу вибіркової сукупності, розрахунки склали таке [85, с.40; 162, с.51]: ,
де t=1,96 при 5% рівні значущості, e=2*. Таким чином,
Для перевірки надійності результатів тестування при мінімальному розмірі
вибірки, були проведені такі розрахунки. Після тестування курсантів n=20, через
незначний час (через 1 час), ті самі курсанти були екзаменовані ААС вдруге.
Застосовувались параметричні критерії відмінностей для двох сукупностей з метою
визначення випадковості розбіжностей між тестовими оцінками за знання курсантів
за формулою: . Середня для тестових оцінок першого тестування склала = 85,35;
другого тестування -= 78,50, стандартне відхилення для оцінок першого
тестування = 10,01; = 12,26. Далі за формулою знаходили нормоване відхилення,
яке в даному випадку склало z=1,94. За таблицями [85] для z=1,94, знаходили
Р=0,05. Оскільки величина р=1-Р=0,95 велика, то був зроблений висновок, що
розбіжності між оцінками першої і другої процедури тестування випадкові. Тобто
існує міра довіри до результатів тест
- Київ+380960830922