РАЗДЕЛ 2
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И ПРИКЛАДНЫЕ ПРОБЛЕМЫ ПОСТРОЕНИЯ ИНТЕЛЕКТУАЛЬНЫХ СИСТЕМ
УПРАВЛЕНИЯ ПРОЦЕССОМ ОБУЧЕНИЯ
2.1. Использование методов искусственного интеллекта в процессе контроля знаний
Контроль уровня усвоения знаний является одной из важнейших составляющих процесса обучения.
Традиционно контроль знаний проводиться в устной или письменной форме.
Для дистанционного обучения устный контроль знаний не применим, так как сама его суть не предусматривает личного контакта обучаемого и преподавателя [13]. В ДО как правило применяется компьютерный контроль уровня усвоения знаний.
Письменный контроль знаний может осуществляться в форме:
* обширного ответа на поставленный вопрос;
* тестирования.
В качестве аналога устного общения с преподавателем могут быть использованы интерактивные возможности коммуникаций компьютерных сетей. В этом случае нагрузка на преподавателя возрастет, и эффективность коммуникаций значительно снизится, т.к. ресурс времени, отводимый на коммуникации с каждым студентом, будет уменьшаться. При этом не реализуется преимущество применения информационных технологий, так как преподаватель не сможет уделить достаточно времени другим студентам. Таким образом, при интерактивном общении не используются возможности дистанционной системы обучения, такие как - применение интеллектуальных подсистем для индивидуализации обучения и контроля.
Тесты - наиболее приемлемый способ компьютерной диагностики учебного процесса. Они удобны для компьютерной обработки. Результат тестирования формируется незамедлительно, причем с достаточной точностью [9, 13].
Применение тестов решает сразу несколько задач:
* обработка результатов тестирования и увеличения ресурса времени;
* оценка точности и достоверности полученных результатов;
* сохранение результатов и отслеживание траектории обучения;
* формирование базы данных ответов для оценки качества тестовых заданий;
* сопровождение и коррекция модели знаний студента.
Однако остается проблема угадывания и правильного понимания студентом поставленного перед ним задания и создания дружественного интерфейса. Необходима корректность при постановке вопроса. Этого можно достичь путем привлечения к составлению тестов специалистов в данной области и психологов.
Использование методов ИИ в процессе обучения и контроля знаний является достаточным и необходимым условием для функционирования современной СО, т. к. необходимо выполнить ряд основных задач [68]:
* сбор информации;
* оценка ситуации;
* принятие решения;
* действие.
Задачами также могут быть: формулировка целей, построение моделей, выдвижение гипотез, оценка достоверности решений, упрощение, планирование и прочее. Все эти задачи решаются в условиях определения меры интеллекта.
2.2. Характеристики тестовых заданий
Согласно теории тестирования тест может быть охарактеризован как эффективный, если он отвечает следующим требованиям (рис. 2.1) [4, 6, 8]:
* валидность - комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности используемой по отношению к ней диагностической процедуры. Тест можно считать валидным, если он позволяет оценить именно то, для определения чего он предназначен (в случае СО - степень усвоения материала). Существует много различных способов доказательства валидности тестов, и каждый из них соответствует разным аспектам этого значения. Валидность бывает:
* очевидная (face validity);
* конкурентная (concurrent validity);
* прогностическая (predictive validity);
* инкрементная и дифференциальная (incremental and differential validity);
* конструктивная (construct validity);
Рис. 2.1. Характеристики эффективных тестов
* надежность - характеристика теста, которая имеет в психометрии два значения. Тест называется надежным, если он является внутренне согласованным (self-consistent). Тест также называется надежным, если он дает одни и те же показатели для каждого испытуемого (при условии, что знания испытуемого не изменились) при повторном тестировании. Надежность при повторном тестировании называется ретестовой надежностью (test-retest reliability).
* шкалирование результатов тестирования - это способ их оценивания и упорядочения в определенную числовую систему. Шкалирование результатов и группировка их по интервалам необходимы для проведения ряда статистических процедур, которые должны сопутствовать валидизации теста. Речь идет о создании шкалы достижений, в соответствии с которой за правильное решение тестового задания обучаемому начисляются баллы, которые потом суммируются. При этом вся шкала обоснованным образом разбивается на интервалы. В идеале желательно, чтобы в каждый интервал попадало одинаковое количество суммарных результатов, и в любом случае требуется, чтобы ни в один интервал не попадала большая часть результатов. Частным случаем может являться деление шкалы достижений на интервалы одинаковой длины.
* дискриминативность - характеристика способности отдельных заданий теста и теста в целом дифференцировать тестируемых относительно максимального и минимального результатов теста. Действительно, достижение удовлетворительного распределения показателей является одной из целей разработчика тестов. При помощи тщательного конструирования теста можно обеспечить соответствующий уровень дискриминативности, а это именно то, в чем тесты значительно выигрывают по сравнению с другими формами испытаний. Было обнаружено, что в оценке может быть использовано около девяти градаций, а в опросах, наиболее эффективно использовать четыре градации: начальный, средний, достаточный и углубленный. Подобно этому, шкалы ранжирования редко содержат более девяти градаций. Это означает, что испытуемые разбиваются в лучшем случае на девять групп.
Таким образом, тесты необходимо составлять в соответствии с предъявляемыми к ним требованиями. В этом заключается трудность составления тестов.
2