Когнитивный анализ опросного инструмента

СОДЕРЖАНИЕ
Введение ........................... —........... -........—......-...........-.......................................................3
Глава I. Методы и процедуры когнитивного анализа .................................. -..................................................9
Методы когнитивного интервью....................................................................................................10
Метод поведенческого кодирования.............................................................................................. 12
Метод экспертных опенок........................................................................................................ И
Метод кодирования вербального протокола........................................................................................ 16
Метод временных характеристик...................................................................................................19
Процедуры исследования .........................................................................................................20
Глава 2. Анализ стандартизированного интервью -............................................-......................................... -.24
Дклгностическая процедура -.....................................................................................................24
Анализ трансформационных переходов..............................................................................................28
Изменение анкетного вопроса.................................................................................................... 35
Изменение артикулированного вопроса........................................................................................... 39
Изменение услышанного вопроса...................................................................................................53
Глава 3. Тестирование вопросов .а...... •• .а.......а... ««..■•*....................................... ....м....а.м........ .......а......... 58
Диагностическая процедура.......................................................................................................58
Первый этап тестирования........................................................................................................61
Второй этап тестирования........................................................................................................71
Анализ случаев по трем вопросам.................................................................................................72
Глава 4. Открытые вопросы в массовых обследованиях ................................................................................ 79
Диагностическая процедура..................................................................................................... 82
Изменение артикулированного ответа............................................................................................. 85
Изменение услышанного ответа................................................................................................... 97
Изменение записанного ответа...................................................................................................108
Заключение ............................................................................ 1 Iа*
П рм ложен ия .... ••• ••.«•»•••«і »•«••.*•••••«»•«•«•••»•»•••••••••••••••• •••••••• ..•••••••••.••*•.... 131
Введение
Актуальность темы диссертационного исследования обусловлена недостаточной разрабоганкостыо теоретического и методологического описания коммуникативных и когнитивных процессов опроса, а также процедур тестирования исследовательского инструмента. Во-первых, когнитивный анализ представляет собой .методологию, позволяющую интегрировать психологические, лингвистические и статистические методы анализа данных. Основание когнитивною подхода — анализ ментальных процессов, сопровождающих формирование ответа. Проблематика когнитивного подхода непосредственно связана с эмпирическими исследованиями в различных областях гуманитарного знания и, прежде всего, с методами тестирования опросного инструмента.
Во-вторых, актуальность темы диссертационного исследования обусловлена необходимостью разработки специализированного инструментария для методической диагностики опросных методов сбора социальной информации. Изучение систематических смещений, возникающих в массовых обследованиях, является условием контроля качесгна данных, обоснованности теоретических интерпретаций и эффективности прикладных методических решений.
В-третьих, когнитивный анализ опросного инструмента позволяет контролировать систематические смешения, возникающие в массовых опросах. В отличие от традиционных подходов, направленных, как правило, на коррекцию лексического и логического компонентов анкеты, когнитивный подход лает возможность изучить мыслительные процессы, определяющие речевое поведение респондент. В данном случае опросный инструмент понимается не как спроектированная по заданным параметрам анкета, а как коммуникативная среда, в которой развсргываегся тематика опроса. Все стадии опросной процедуры ставятся в соответствие целям исследования. Изучение систематических смещений становится основной задачей построения и апробации концептуальных схем, открывает дополнительные возможности для фальсификации теоретических предположений исследователя. Когнитивный анализ опросного инструмента в значительной степени компенсирует сложившийся ь исследовательской среде рефлексивный вакуум и открывает новые перспективы эпистемологических исследований в гуманитарных науках.
В-чствсргых. актуальность диссертационного исследования обусловлена необходимостью формирования технологичной процедуры тестирования опросного инструмента Формализованные методы когнитивной диагностики позволяют преодолеть ограничения экспертных подходов, основанных на эвристических оценках качества инструмента, зачастую предлагаемых его же разработчиками. Поэтому представленный в диссертационной работе
3
Метод кодирования вербальною протокола.
Вербальный протокол — это запись прохождения интервью. Изучая проблемы, связанные с когнитивными трудностями*, возникающими у респондента, обычно анализируют сю высказывания о мотивах или причинах выбранного ответа. используя метод артикулированного суждения (ВоИоп. 1993)
Таблица 1.3
Семантическое кодирование вербального протокола
Кол Нанчет'йлнм* коля Значение
ПУЛ ПОНИ МЛН И К ВОПРОСА
11(1 вопросы Вопросы. которые чцлет респондент
120 повторения Пометите. ям говорите о. вы считаете что. это то. что пы сказали, другими словами, i не понял. я ис поии\цю~ и т. д
IX' уисктишжкть ~Одтико»ый аслрис. одинаковый «пег. такой же вопрос. »учит одинаково, то же. что и я говорю. * уже опечзл на этот вопрос. этт> повторение“ и т. х
2(Ki ПОИСК ИНФОРМАЦИИ
210 забивчиассть "Забыл, не помию. не могу вспомнить. не wny представить. я стараюсь представить“ и т. .г
230 пауты Паузы ъ вербальном протокол могут колировать:« определенными знаками. например, льостомисм
230 ист опита Никогда этого не было, никакою опыта“ и т. х
2Д0 малая частота • редко, никогда. иногда. e*xv* от времени, не так часто" и т. д.
25U болыил» частота "КСГ.Зй каждый день, ежедневно. ПОСТОЯННО“ И Т 2
300 СУЖДЕНИЯ
310 конфиденциальность •Это ивист. не уверен, что-то 8 ЛОМ раде" и т. д
32(1 трудность Трудный випрас. трудив. по не простой вопрос" и та
ЗЗи уверенность Абсолютно умрем. конечно, бетуслооио" к т.д.
3 М) проблемы ТГриб.вемы. оижбга. ошибки" и г д.
350 нет приблсм "Нет проблем, это небольшая проблема, ничего страшного, это не ошибка" и г.д
360 ожилжню * Я о*»шо. мокни предсказать, должно быть" и т д
4IMI ответ
410 не могу сказать -Не voi> сказать, ис моту определить трудно определить, невозможно измерить, трудно СКШТЬ. нс легко решить" и т а
420 не знаю •'Не знаю. нс могу знать, не имею представления'* и т д
Если Р Болтон и Т. Бронкорст определяют это г метод как основной компонент в процедуре записи верба. 1ьиого протокола [Bohon, Bronkhorst. 1996, р. 43J, то Ь. Бикарг и М Федчер — лишь как один ю приемов, позволяющих понять, как респонденты формулируют ответы [Bickart. Fetcher. 1996. р 115]. Пьыаясь формализовать вербальный протокол. Р. Болтон и Г. Бронкорст оказываются использовать нестанларгизированные приемы ког-
* Определи* место метила в кнпжти^ий ергсииии. Р Бо-ггои и Г. Броикорег пишут: “С помшсью мониторинга иигсрьыо осуществляется ircncpnfia интерпретаций «реальных нмтерлкимй для ^миндення мекзче-стаемныл аопр-ков Напротив. с гк1М«хиьк» авточатюироьаммыл методой осуществляете* кодирование вербальных отаетип и усглнделииикжя «хнмипшкис грудноегм" (Bolton. SrnnUiyrst 19% p 39]. Такое противопоставление не вполис коррскгно. нискольку метолу кодирования вербального протокола приписывается iKxui* для KOI интимного инструмент* целевая функция (выявление пооб.оем связанных с мыслительными процессами) гля демаркирующий пршипк л*миогп «стола Как «стол вербальною протокола. ri* .мониторинг мнтсриыо способствуют артикуляции кпгиитишпах аатрулиеиий ресиоилетгта. анализ которых iioido-ЛЯЛ фиксировать про&кми. свяамные С релевантностью вопросника ИЛИ ГТООСДСМКМ UHTCpBUWCpU.
16
нитивного интервью, когда интервьюер ситуационно выбирает необходимые вопросы. Напротив. предлагается задавать одни и тс же вопросы всем респондентам (Bolton, Bronkhorst. 1996, р. 43]. Система кодов строится на четырехшаговой схеме Каждому переходу присваивается определенная группа кодов (табл. 13). которые формируются в результате обработки вербального протокола. Кодам соответствуют отдельные слова, словосочетания или невербальные выражения (пауты, прерывание разговора и т. д.). Автоматизация кодирования существенно увеличивает объем переменных без снижения качества обработки информации. Однако могут возникнуть ошибки, связанные с неправильной интерпретацией слое, значения которых зависят от контекста. Поэтому лексическое наполнение кодов представляет собой трудоемкую задачу, для решения которой необходимо многократное гссгирова-мне. Например, для оценки трудностей, возникавших у респондента во время интервью, Р. Болтону и Т. Броткорсгу потребовалось приписать каждому колу подробный перечень словоформ, подобранных из ответов (табл 1 4).
Таашр I -»
Система ко. и »и для определения трудностей, иознмкакиинх у рісікиїдсігга1____________
Повторяет повторю / скажу это опять / послушайте оплть/ что это значит / объяснение /
интерпретация / определение / комментарии V вы думаете t вы говорите / спрашивает / это то что вы спрашиваете t проблемы и вопросы так сказать ' другими словами / »сак объяснить / я ко понял / я думаю вы сказали ' не понимаю
Высокая частота всегда / случается »’ каждый день I часто / повторяется / ежечасно : продолжа етсяпостоянно / непрерывновсе время I днем и ничью / обычно \ привычно Iler проблем не? проблем / нет проблемы і никогда нет проблем мало проблем / не жалу
юеь нет жалобничего плохого / ничего ошибочною/ нет ошибок Похожий одинаковый вопрос такой же вопрос ' похожий вопрос ‘ близкий вопрос f л с
вторяюшийся ответ звучит похоже ? близкий вопрос / звучит одинаково отвечал на йог вопрос і похожее я говорил / похожее * говорил перед ЭТИМ повторения
Низкая частота редко / никогда •' иногда / олшждм / время от иремени і теперь и тогда / мало
один или дна і один пример/один случай 11е может сказать я ие могу сяпдть / я ке могу определить ' я не могу оценить і % не могу россу
лить ’ ие легко оценить тяжело оценить f трудно скатать Забыл забыл ' не помню •' не могу вспомнить ‘ я сгаракк». вспомнить
Ожидает допускаю / ожидэю / предположение / предвижу / предполагаю ' предс казывам
Нет опыта нет опыта / никогда не было опыта /не обучен / ис знаком с этим / далеко о
меня / не нуждаюсь в услуге / никогда ке использовал f никогда ие делал / и использовал
Доверие возможно вероятно может быть 1 я догадываюсь ' пока не / считаю ' зависит
не уверен или сше что-нибудь Конечно я уверен точно • абсолюта
Проблемы проблема і проблемы недоюльство • ошибка / ошибки / беспокойство t коле
банил / расхождение во мнениях I рудное ти_______трудный &»чрг< трузно С УГИМ ЧГО-.ЧТІЮ ПОДС1.|-Ь чс просто л п.млч-с____
Метод зкспсргосео кодиртжания вербального протокола, предложенный Б. Бикар: и М.Фслчгр. позволяет уйш от проблемы ссылттчсского многооброоия языка. В систему колл» жестко вписываются
0 Таблица дотирована ш рабогы Ь бикарта и М Фс тчер (Bickari. Fddtcr 19%]
17