Лаак Я. тер Л01 Психодиагностика: проблемы содержания и методов
|
Скачать 4.89 Mb.
|
|
I I i матрицы оыло очень популярным и рассматривалось как метод конструктной валидизации. Магнуссон (1961, 1967) описал этот метод в своей книге по теории тестов и назвал его процедурой «полной конструктной валидизации». В истории дифференциации и интеграции концепции валидности присутствует некоторая волнообразность. Это очень старая проблема, и она была предметом размышлений у греческих философов. Концепция допускает существование обоих подходов— и холистического, и атомистического. В последнее десятилетие было добавлено еще одно новое значение понятия валидности. Так что можно говорить о дальнейшей дифференциации этого понятия. Представляется интересным, что само это понятие как бы привносит некое единство (или объяснение) в разнообразие коэффициентов прогностической валидности одного и того же теста. Это понятие представляет собой обобщение валидности. Исследование прогностической валидности одного и того же теста для различных, но связанных между собой критериев обнаруживает его разную ценность. Таким образом, по-видимому предпочтительнее подсчитывать новые коэффициенты валидности для каждого критерия. Шмидт и Хантер (1977) полагают, что существует один «истинный» коэффициент прогностической валидности и что расхождения коэффициентов валидности теста по различным, но сходным критериям представляют собой дисперсию ошибки. Они указали на 7 источников дисперсии ошибки:
Авторы попытались оценить источники этих систематических ошибок. Были проведены исследования, в которых подсчитывались коэффициенты валидности для сходных тестов и для сходных критериев. Подсчитывалась диспер- сия в распределении коэффициентов валидности. Из этой дисперсии вычитались все показатели дисперсии, связанные с перечисленными источниками ошибок. Таким образом может быть подсчитан истинный коэффициент валидности прогностического критерия. Подобные расчеты действительно проводились авторами. Например, авторы оценивали некоторые из возможных источников ошибок в предсказании успешности работы механиков службы сервиса с помощью тестов на понимание принципов механики, а также при определении возможной эффективности труда работников службы быта с помощью интеллектуальных тестов. Этот тип исследования Может быть рассмотрен как мета-исследование. В психодиагностике разработаны также статистические методы для оценки источников ошибок (Schmidt, Law, Hunter, Rothstein, Pearlman & McDaniel, 1993). Но остается вопрос о том, как могут быть использованы знания о способах оценки истинного коэффициента корреляции и представления о возможных источниках ошибок. Используется ли реально эта информация практическими психологами или же они до сих пор обречены на то, чтобы подсчитывать коэффициенты валидности для каждой группы и для каждого критерия? Подведем итоги. Итак, в истории развития представлений о валидности первым предметом рассмотрения была прогностическая валидность. Постепенно представления о валидности становились все более дифференцированными, и в качестве объединяющей их силы выступила концепция конструктной валидности. Сравнительно недавно была разработана обобщенная концепция валидности для объяснения различий между коэффициентами прогностической валидности сходных тестов по сходным критериям. 3.2.6. Статистическая оценка валидности Валидность представляет собой весьма широкое и сложное понятие. Этим и объясняется отсутствие специфических математических моделей или статистических методик для оценки валидности. Современная теория тестов вносит свой довольно скромный вклад в развитие понятия валидности (см. гл. 1) Для объяснения того, как даются ответы на отдельные задания теста или группу заданий, были разработаны одномерные модели изучаемых (латентных) харак- 112 пз  теристик. По мнению Гольдштейна и Уда (1987, р. 163— 164) в теории ответов на задания теста центральной проблемой является вероятностная природа ответов, а не то, почему люди дают правильные или неправильные ответы. По мнению авторов, часто недостатком нелинейных логистических моделей является их относительная математиче-ская сложность, поскольку она может заслонять исследуемое реальное содержание. Эта критика не умаляет вклада современной теории тестов в объяснение тестируемого поведения.Поскольку существует множество различных значений валидности, при изучении валидности в психологии используется целая гамма способов анализа данных психологии. В связи с этим при обсуждении проблемы валидности в учебниках авторы делают это несколько по-разному. Дрене и Сийтсма (1990) ограничиваются такими методами анализа данных, как регрессионные анализ и прогноз, факторный анализ (без их дальнейшей разработки). Крокер и Альджина пошли на шаг дальше. Они описывают процедуры шкалирования, модели линейного прогноза (при рассмотрении прогностической валидности) и факторный анализ (для конструктной валидности). Наннелли и Берн-штейн (1994) пошли еще дальше в использовании статистических процедур. Кроме перечисленных методик они применяют дискриминантный анализ, многомерное шкалирование и др. По мере разработки новых методов анализа данных они будут использоваться при исследовании валидности. Трудно найти специфические связи между исследованиями валидности и ограниченным набором специфических техник. Однако некоторое устойчивые связи все же сложились. Исследования прогностической валидности связаны главным образом с моделями линейного прогноза (корреляции и регрессия). В исследовании конструктной валидности общей линейной модели используются многометодная матрица свойств и факторный анализ. Кронбах и Миль еще в 1955 году составили перечень множества процедур конструктной валидизации. • Изучение различий между группами. Если существует теоретическое предположение о том, что между двумя группами имеются различия в отношении определенной поведенческой характеристики, то можно попытаться оценить различия между средними показателями. • Изучение матриц корреляции и факторного анализа. Первоначально эти методы оптимистически рассматривались как средства выявления основных параметров мышления и характеристик личности (см. Cronbach & Meehl, 1955,стр.285). • Изучение внутренней структуры тестовых заданий. Это имеет отношение к многочисленным способам анализа заданий. • Изучение изменений во времени. Интерес сконцентрирован преимущественно на том, насколько характеристики остаются стабильными с течением времени. • Изучение процесса. По мнению авторов, внимание должно быть уделено анализу поведения во время работы с тестом, необходимо точное ведение протоколов и фиксация допущенных ошибок. С 1955 г. репертуар статистических методов существенно расширился, помимо исследовательских методик стали использоваться и методы проверки гипотез. Как показано в этом разделе, при оценке валидности используются все виды линейных и нелинейных методов анализа данных. Изучение валидизации сопровождается аналитическим «насилием» над полученными данными. Мессик говорит также о необходимости качественного анализа поведения (материалов протоколов). 3.2.7. Соотношения трех уровней Житейские представления о валидности в какой-то мере согласуются с психодиагностическими концепциями. Психодиагностические концепции могут наполнять новым содержанием «житейскую психологию». Эмпирические исследования прогностической и конструктной валидности также показывают, что житейские представления не так уж «скромны». Высокие ожидания, основанные на житейских представлениях, редко получают эмпирическое подтверждение, поскольку корреляции предиктора и критерия невы- I 14 1 15  соки. Феномен внешней валидности является примером слишком большой веры в возможность непосредственно «увидеть» валидность предиктора. В итоге житейские объяснения являются объяснениями «post hoc»*, то есть объяснениями уже совершившихся фактов.,Математический уровень с помощью нелинейной модели и современной теории тестов ведет к объяснению того, как человек отвечает на задание или группу заданий. Эти модели элегантны, но ограничены. Леви (1973), Гольдш-тейн и Вуд (1989) высказывали критические замечания в адрес теории тестов, потому что связь с содержанием поведения, по мнению этих авторов, отсутствует почти полностью. Число моделей быстро возрастает, причем связи с реальным поведением рассматриваются как менее интересные по сравнению с вероятностными моделями самими по себе (Goldstain & Wood, 1989). Следует добавить по поводу моделей, что они требуют тщательной проверки. Анализ валидности может использовать все типы исследований (экспериментальные и корреляционные) и все типы методов анализа данных (линейные и нелинейные, количественные и качественные). Мессик указывает на то, что используемые методы анализа данных должны соответствовать предполагаемой структуре психологических концепций, поскольку эти методы не являются нейтральными. Велик соблазн использовать новые способы анализа данных, и они действительно будут использоваться. Отчасти это необходимо, чтобы определить области их приложения и ограничения в их использовании. Главное значение все же имеют психологические теории и концепции, а не модели. Аспектный анализ (the facet analysis) представляет собой попытку сочетания понятийного и статистического анализа. Цитируя «анархиста от методологии» Фейерабен-да (1975), можно сказать, что для исследования валидности «подходит» чуть ли не все. Важно, что в процессе опробования любых возможностей устанавливаются разумные пределы, post hos (лат.) — после-этого (прим. перев.). 3.2.8. Некоторые эпистемологические «строительные» блоки понятия валидности в психодиагностике Концепция валидности в психодиагностике находится в центре теоретических, методологических изысканий и вопросов методического обеспечения, что обусловливает комплексный характер этой концепции. В данной главе обсуждаются некоторые основные проблемы концепции валидности. За основу взята статья Мсссика (1989), в которой автор предпринимает попытку связать концепцию валидности с общими эпистемологическими принципами (личное сообщение, 26 августа, 1993), что является достаточно трудной задачей. Сам Мессик оценивает результаты своей работы скептически, считая, что это в большей степени изыскания в области философии наук"и, чем строгие научные факты, поскольку ни одно из его утверждений не подкреплено эмпирическими данными. Это замечание показывает, насколько осторожным в суждениях и требовательными к себе должен быть исследователь, обращающийся к основам проблемы валидности в психологии. С другой стороны, разработчики некоторых моделей не считают нужным рассматривать недостатки собственной модели, как, например, психометрики при представлении нелинейных моделей для ответов на задания теста. Этот пример показывает ограниченность эмпирической ориентации, которая в определенные моменты времени являлась преобладающей в психологии. В определении прогностической, содержательной и кон-структной валидности в психологии пятидесятых годов доминировал логический позитивизм. В рамках этой эпистемологии, с одной стороны, существовала ориентация на логику, синтаксис и структуру, а с другой — на значение, требующее эмпирической верификации. Первая (логическая) относится к логической структуре теорий. Эти теории должны быть сформулированы аксиоматическим, математическим или формально-логическим способом. Абстрактные теоретические термины должны быть связаны с категориями, доступными наблюдению, с помощью правил соответствия, то есть правил взаимодействия, определений или правил интерпретации, описывающих как теоретические понятия, так и соответствующие им экспериментальные процедуры. Хорошо известным примером правил I 16 117   соответствия служат операциональные определения психологических конструктов. Строгие требования подробной спецификации психологических понятий не получили полной поддержки в психологии. Наиболее приемлемыми оказались правила соответствия, которые в той или иной степени определяются теоретическими понятиями. Теоретические понятия содержат некоторое «избыточное» значение. Вторая составляющая относится к области значений. Согласно правилам проверяемости теории истины, утверждение является истинным тогда и только тогда, когда оно соответствует законам логики. Это можно интерпретировать как подчинение предписанным конструктам и правилам формулирования выводов или как эмпирическую верификацию значения. Соотношение логического и эмпирического — это старая проблема, восходящая к предложенному еще Кантом различению аналитических и синтетических суждений. Принципу верифицируемости всегда уделялось должное внимание, поскольку он призван «отделять имеющее смысл от бессмысленного» и способствовать исключению всякой метафизики.Логический позитивизм в своей исходной форме очень быстро показал себя как слишком требовательная и жесткая концепция, чтобы его положения могли оказаться плодотворными для развитии психологического знания. История науки знает примеры того, как концепции, не будучи чисто аналитическими или чисто эмпирическими, оказывались важными и значимыми. Много лет назад категории пространства и времени были названы Кантом априорными синтетическими суждениями. Эти категории, существование которых невозможно в рамках логического позитивизма, имеют форму общих законов и гипотетических конструктов, и допускают возможность проверки эмпирических заключений. Логический позитивизм предполагает возможность двух интерпретаций значения. С одной стороны, значение всецело зависит от данных эмпирического опыта (эмпиризм, позитивистская составляющая), с другой стороны, значение определяется также связью утверждения с другими утверждениями (логическая составляющая, структурализм). Структурный принцип, то есть определение абстрактных, бессодержательных конструктов с помощью набора правил, до сих пор оказывает влияние на развитие психо- диагностики. Примером может служить современная теория тестов с абстрактной нелинейной вероятностной моделью. Позитивистские принципы проявляются и в подчеркивании эмпирического и операционального определений. Эмпирическая интерпретация абстрактных бессодержательных конструктов — это не простой процесс. Гипотетические конструкты должны быть дополнены системой опытного знания, то есть система с бессодержательными элементами и абстрактными отношениями должна быть соединена с элементами, которые могут быть почерпнуты из наблюдений. Роскам (1991) формулирует это положение (цит. по Hem pel, 1970, стр. 688) следующим образом: теоретическая проблема «плавает» в океане данных и пытается установить с ними контакт, но как это сделать? Роскам считает, что связи не могут быть образованы на основе семантического содержания конструктов, для этого необходимо наличие сходства по форме и структуре. Конструкт — это не семантическая единица, но его необходимо описать как набор определенных элементов и связей. Теоретическая система называется номологической сетью. В рамках этой сети происходит формулировка выводов, прогнозов, утверждений об отношениях. Возможна эмпирическая проверка этих утверждений. Связи между абстрактной и эмпирической системами носят вероятностный характер, используемые процедуры лишь частично «покрывают» конструкты. Считается, что конструкты имеют дополнительное (избыточное) значение. Результат взаимодействия элементов и отношений номологической сети с эмпирическими данными важен для обеих сторон этого процесса, поскольку становится ясно, получают ли поддержку эмпирические конструкты, возможно ли дальнейшее существование номологической сети, являются ли данные адекватными, надежными и валидными. Следующая характеристика, влияющая на психологические и диагностические исследования и имеющая своим истоком позитивизм,— это предпочтение дедукции. Дедуктивная номологическая модель содержит логические, теоретические (гипотетические) отношения, интерпретация которых носит вероятностный характер. Объяснить какой-либо феномен — значит представить его как проявление общего закона. Если какой-либо феномен яв- |
Похожие:
 |
Решение обозначенной проблемы видится не только в оптимизации содержания,... Современные образовательные технологии как условие достижения нового качества образования |
|
Использование дыхательных и релаксационных техник в воспитании дошкольника... Понимая важность проблемы, каждому педагогическому коллективу доу необходимо осуществлять поиск средств, методов и приемов сохранения... |
 |
I. Пояснительная записка I. 1 Нормативная основа образовательной программы Развитие школы – закономерное, целесообразное, эволюционное, самоуправляемое позитивное изменение самой школы, ее целей, содержания,... |
|
I. Пояснительная записка I. 1 Нормативная основа образовательной рограммы Развитие школы – закономерное, целесообразное, эволюционное, самоуправляемое позитивное изменение самой школы, ее целей, содержания,... |
|
Компьютерная психодиагностика компьютерные психодиагностические методики и Конструирование психодиагностических тестов: тра- диционные математические модели и алгоритмы |
|
Российской Федерации Национальный исследовательский Томский государственный... «Актуальные проблемы защиты прав потребителей» и представляет собой совокупность контрольно-измерительных материалов (типовые задания,... |
|
Учебно-методический комплекс по дисциплине наименование дисциплины... Системного подхода, системной инженерии и с обширным арсеналом методов и моделей системного анализа. Это даст необходимую методологическую... |
|
Республики Хакасия Государственное бюджетное учреждение Республики... Актуальной является разработка особого содержания, новых организационных форм и методов работы, позволяющих оптимизировать пути и... |
|
Руководство по валидации скрининговых методов обнаружения остатков... Етодов. В руководстве описаны два различных этапа процесса валидации: первоначальная валидация скрининговых методов в исходной лаборатории... |
|
Технологический анализатор содержания дыма Инструкция по эксплуатации предназначены для изучения оптического анализатора содержания |
|
Исследование проблемы экономического анализа финансовых результатов... Теоретические основы сущности и логика анализа финансовых результатов деятельности предприятия |
|
Sirolaser Advance При использовании в ежедневной практике диодного лазера Вы удовлетворите потребности пациента в использовании альтернативных методов... |
|
Договор на обучение по образовательной программе подготовки к поступлению в консерваторию Л01 №0008077, рег. №1100, выданной Федеральной службой по надзору в сфере образования и науки, именуемое в дальнейшем «Консерватория»,... |
|
Договор на обучение по образовательной программе подготовки к поступлению в консерваторию Л01 №0008077 (рег.№1100), выданной Федеральной службой по надзору в сфере образования и науки, именуемое в дальнейшем «Консерватория»,... |
|
5 Решение задачи на ЭВМ 59 Для этого был произведен обзор и анализ различных методов выбора критериев, а также методов оценки. На основе проанализорованной... |
|
Использование методов арт – терапии для сохранения психологического здоровья учащихся Экономические условия нашего общества и изменения в социальной политике явились важным фактором, заметно повлиявшим на эволюцию арт... |