План работы
1 Планирование как средство повышения валидности эксперимента
1.1 Валидность и использование мысленных образцов эксперимента
1.2 Виды валидности при оценке психологического эксперимента
1.3 Конструктная валидность и концептуальные репликации
1.4 Специфика оценки валидности лабораторного эксперимента
1.5 Валидность эксперимента и валидность выводов
2 Компоненты содержательного и формального планирования
2.2 Содержательное планирование и выбор типа эксперимента
2.3 Зависимость обобщения от типа проводимого эксперимента
2.4 Статистические решения и формальное планирование
2.5 Валидность как цель экспериментального контроля
Список использованных источников
1 Планирование как средство повышения валидности эксперимента
1.1 Валидность и использование мысленных образцов эксперимента
Оценка валидности реально проводимых экспериментов совершается путем использования неких «внутренних очков», сквозь призмы которых удается увидеть направления возможных или уже сделанных ошибок при планировании и проведении эксперимента. Р. Готтсданкер использовал удобный прием представления в качестве таких направлений мысленных образцов эксперимента.
Не следует путать понятия «мысленный эксперимент» (МЭ) и «мысленный образец» эксперимента. МЭ может быть понят, во-первых, как принятый норматив размышлений психолога на всех этапах следования логике экспериментальной проверки психологической гипотезы. Во-вторых, МЭ может рассматриваться в контексте использования психологом мысленных образцов с целью оценивания контроля угроз выводу об эмпирической зависимости. В-третьих, МЭ может представлять такой эксперимент, который нереализуем из-за отсутствия средств операционализации переменных, принятия определенных этических нормативов или экономических соображений и т.д.
В первых двух случаях путь мысленного экспериментирования – это обсуждение экспериментальной модели, задающей интересующую исследователя связь между переменными, когда анализируется реально проведенный или планируемый для реального сбора данных эксперимент. В третьем случае МЭ может представлять схему заведомо ирреального, т.е. в принципе нереализуемого исследования. В нем, однако, представлен путь возможной организации выводов, если бы исследователю были доступны предполагаемые формы экспериментального контроля.
Как и реально проводимый эксперимент, мысленный эксперимент является средством проверки не любых психологических гипотез. Детерминистски сформулированные гипотезы, проверяемые в МЭ, могут быть каузальными и структурно-функциональными. Последние не являются предметом экспериментирования в узком смысле этого термина, но могут направлять построение, например, формирующих экспериментов. Методы теоретического моделирования, более отвечающие проверке структурно-функциональных гипотез, не рассматриваются в данном учебнике, построенном как введение в эксперимент в качестве метода сбора эмпирических данных.
При планировании психологического эксперимента МЭ может быть понят и как осуществляемый во внутреннем, умственном плане ход экспериментальной деятельности, внешне реально развернутой в этапах проведения эксперимента. Собственно, все этапы планирования – это варианты мысленного экспериментирования с целью определения наилучших форм экспериментального контроля, выбора лучшего из возможных экспериментальных планов.
Наряду с планированием в функции мысленного эксперимента входит обоснование или оценка валидности реально проводимых экспериментов. Мысленные образцы, по отношению к которым оцениваются свойства реально проводимого эксперимента, позволяют обсуждать основные аспекты «правильности» построения экспериментальной модели. Правильность означает в данном случае лишь степень приближения к наилучшему мысленному воплощению экспериментальных условий, соответствующих конкретной экспериментальной гипотезе. Экспериментатор может правильно или неправильно выбрать и обосновать переменные, методики как средства операционализации этих переменных. Экспериментатор может ввести смешения НП с другими переменными или удачно избежать смешений. Он может получить более или менее надежные данные, установив то или иное количество проб на каждое из условий НП; может обеспечить случайность разброса условий побочных переменных по уровням НП или не проконтролировать несистематическую изменчивость (НП, ЗП, побочных факторов).
Именно такое прочтение функций мысленных образцов представлено в использованных Р. Готтсданкером понятиях идеального и бесконечного экспериментов, экспериментов полного соответствия и безупречного. Все эти четыре термина служат для уточнения критериев, в соответствии с которыми необходимо оценивать успешность планирования, организации и проведения эксперимента, осуществляемого реально.
В контексте рассматриваемых нормативов профессиональных рассуждений психолога термин «мысленный эксперимент» – один из таких нормативов (или «внутренних очков»), используя которые психолог может ответить на многие вопросы относительно достигнутого уровня эмпирической подкрепленности проверяемой каузальной гипотезы. Однако нет рецепта, как пользоваться этими «очками» в каждом конкретном случае. Иногда от них нужно отказаться, если тип исследования не таков, чтобы применять к нему сложившиеся нормативы экспериментальной оценки гипотезы. Однако такой отказ не следует путать с неумением правильно организовать и проводить психологический эксперимент.
1.2 Виды валидности при оценке психологического эксперимента
Виды валидности – это направления сравнений реально проводимых экспериментов с мысленными образцами. Оценка валидности связана как с оценкой реализации выбранных форм экспериментального контроля, так и с оценкой системы умозаключений при организации исследования с точки зрения следования нормативам экспериментального вывода. Нормативы, связанные с возможными обобщениями из психологических экспериментов, предполагают разведение разных видов валидности.
Внутренняя и внешняя валидность – обязательно обсуждаемые аспекты правильного эксперимента, будь то эксперимент в научных или практических целях. Отличия в выводах из этих экспериментов будут касаться того, как строится обобщение: переносится ли оно на других людей, другие ситуации, виды деятельности или на теоретическую модель.
Внутренняя валидность эксперимента обеспечивает вывод только об исследуемой зависимости, т.е. об отношении между независимой и зависимой переменными, но ничего не сообщает о возможности ее распространения за пределы данной экспериментальной ситуации. Если полученные данные характеризуются ненадежностью или наличием смешений (систематических, несистематических, сопутствующих), то нельзя считать обоснованным утверждение, формулируемое в экспериментальной гипотезе, даже если получен соответствующий ей экспериментальный эффект.
Если внутренняя валидность проведенного эксперимента оценивается высоко, то из этого также еще не следует, что установленная экспериментально зависимость соответствует чему-либо в реальности. Так, в лабораторных экспериментах экспериментальная модель может представлять модель научную, репрезентирующую определенные связи между операционализированными переменными. Возможны случаи, когда для этих моделей потом не находятся те виды субъективной реальности, которые они были призваны репрезентировать в экспериментальной ситуации. Тем самым не находится той эмпирии, на которую можно было бы перенести обобщение установленной в эксперименте зависимости.
Внешняя солидность, предполагающая решение проблем соответствия (НП, ЗП, ДП), обеспечивает возможность обобщения на те виды ситуаций или виды деятельности, которым соответствуют экспериментально контролируемые переменные. Если речь идет о теоретических обобщениях, то оценка внешней валидности уступает место оценке конструктной валидности. Решение вопросов о конструктной и внешней валидности приводит исследователя к выбору типа эксперимента: естественного («дублирующего реальный мир»), искусственного (улучшающего реальный мир) или лабораторного.
Необходимо различать системы теоретических положений, предполагающих, что они имеют отношение к миру реальности (для психологических теорий это мир субъективной, или психологической, реальности), и положений, не нацеленных на соотнесение мира теории и эмпирии (как онтологической реальности, если пользоваться терминологией П. Фресса и Ж. Пиаже). Это различение может касаться авторской позиции: «если моей теории в мире реальности ничего не соответствует, то пусть ей – реальности – будет хуже». Оно может быть следствием того, что сформулированным психологическим конструктам не было найдено соответствия на уровне опытных данных. При рассмотрении особенностей экспериментального метода речь идет несколько о другом – о возможности эмпирически оценивать теоретические каузальные объяснения.
Экспериментальный метод предполагает построение исследования с целью отвержения неадекватных объяснений или «неверных» теорий как не соответствующих эмпирически установленным зависимостям. Чаще неразличение продуктивного теоретизирования и псевдотеоретизирования связано с тем, что всегда необходим существенный «прорыв» в обобщении, чтобы соотнести хотя бы посредством гипотетических конструктов закономерности, устанавливаемые при построении экспериментальных ситуаций (экспериментальных моделей) и теоретических моделей. Только содержательное обсуждение устанавливаемой в каузальной гипотезе связи между переменными, учитывающее объяснительные принципы, сложившиеся в рамках конкретных психологических школ, позволяет исследователю настаивать на реальности, т.е. «эмпирической загруженности», стоящих за переменными психологических понятий и исследуемых зависимостей. Анализ эмпирической загруженности следующих из теории гипотез выполняет при этом существенную роль «ограничителя» для утверждения псевдозакономерностей.
Понятие конструктной валидности охватывает соответствующий аспект оценки правильности построения эксперимента: насколько обоснованным был переход от представленных в теоретической гипотезе понятий – психологических конструктов к эмпирическим их репрезентациям как НП, ЗП, ДП, а также насколько объяснение установленной зависимости действительно следует из представляемой автором теории. Еще до выбора конкретных методик или уже при их обосновании экспериментатор осуществляет тот «прорыв» в обобщении (от теории к эмпирии), который связан с множественностью экспериментальных воплощений универсальных высказываний. Один и тот же конструкт (например, понятие агрессии или фрустрации) может предполагать разные модели возникновения и регуляции исследуемых феноменов, т.е. всегда возникает вопрос, какая авторская позиция стоит за используемым психологическим понятием. Эта позиция во многом определит, как будут конкретизированы переменные на уровне экспериментальной и контргипотез.
Уже рассмотренная проблема возможной множественной интерпретации одной и той же экспериментальной зависимости фиксирует другой аспект конструктной валидности, а именно: насколько обоснованным выглядит авторское введение гипотетических конструктов в каузальную зависимость как объяснение связи между НП и ЗП. Известно, что отсутствие сильных конкурирующих объяснений – это третье условие причинного вывода. В реальности конкурирующие объяснения остаются всегда, вопрос только в том, насколько более обоснованной выступает авторская интерпретация по сравнению с другими объяснениями той же установленной зависимости. Понятно, что эта оценка – содержательная, а не только формально-логическая (что тоже должно учитываться – как проявление логической компетентности автора). Само принятие той или иной позиции может характеризовать пристрастия экспериментатора, однако оценка конструктной валидности уже не может быть столь же пристрастной, поскольку она связана с отражением в гипотезе накопленных знаний об исследуемой реальности.
Проблема не в различении старых и новых гипотез, которые в разной степени подкреплены эмпирическими доводами. В. Налимов назвал эту проблему одним из парадоксов в понимании развития науки, по К. Попперу. Парадоксальным выглядит тот факт, что новая гипотеза, в пользу которой имеется меньше теоретических и эмпирических доводов, со временем вытесняет старую, обычно более хорошо подкрепленную проведенными исследованиями. Проблема в том, как автору добиться согласия предполагаемого профессионального читателя отчета об исследовании с тем, что автор эксперимента достоверно представил на уровне эмпирических реалий теоретически подразумеваемые конструкты, а не осуществил их вольную или невольную подмену другими.
Итак, оценка обоснованности перехода от уровня теоретических положений к уровню экспериментальной и контргипотезы – вопросы конструктной валидности эксперимента. Решение проблем операционализации переменных в методических процедурах их измерения (и управления) – вопросы операциональной валидности. Если обобщение зависимости включает перенос ее на «жизненные», т.е. реальные, виды ситуаций и деятельности человека – это решение проблем соответствия переменных с точки зрения внешней, или, как ее теперь иногда называют, экологической валидности.
Оценка операциональной валидности охватывает этап перехода от уже сформулированных экспериментальных и контргипотез к процедурам их методического воплощения. Одна и та же переменная может быть представлена показателями разных методик. Одна и та же мысленная модель эксперимента может быть реализована при достаточно разном «техническом» или операциональном воплощении управляемых и измеряемых переменных.
Популяционные гипотезы, имеющие целью перенос обобщений на конкретные группы людей и целые популяции, могут оцениваться с помощью использования мысленных образцов, но не могут быть проверены в умственном плане. Те дополнительные переменные, которые должны быть учтены исследователем в целях обобщения, не обеспечивают обоснования условий необходимости или достаточности в контексте представленности в реальном поведении людей или в реальных ситуациях действия именно тех механизмов, которые рассматривались в МЭ.
Факторы, угрожающие внутренней валидности эксперимента, рассматриваются в связи с обсуждением формального планирования как условия принятия решений об экспериментальном факте. Разработка межгрупповых или интраиндивидуальных планов направлена в первую очередь на обеспечение контроля внутренней валидности. Применительно к стратегиям отбора испытуемых в группы из популяций следует также обсуждать взаимосвязь внешней (популяционной) и внутренней валидности, поскольку этими стратегиями решаются одновременно две задачи: обеспечение репрезентативности выборки испытуемых, и эквивалентности сравниваемых групп.
1.3 Конструктная валидность и концептуальные репликации
Психологическая гипотеза, эксплицируемая, или выводимая, как следствие из той или иной теоретической концепции, при повторных проверках может несколько видоизменяться, если изменяются средства операционализации входящих в нее переменных. В случае когда предполагается выявление одной и той же теоретически предполагаемой зависимости, но психологические конструкты конкретизируются разными методическими средствами, это называется концептуальными репликациями. Так, при множественных измерениях зависимой переменной разными методиками повышается обоснованность утверждений о характере изучаемого базисного процесса. Изменения типов задания независимых переменных также расширяют диапазон обобщений устанавливаемой психологической закономерности. Существенно, что при этом имеется в виду однозначность интерпретации самого психологического конструкта («мотивация достижения», «функциональные состояния», «гибкость–ригидность контроля» и т.д.).
На самом деле в психологии часто при использовании одного и того же понятия изучаются разноуровневые базисные процессы, т.е. в экспериментах с терминологически сходными формулировками гипотез представлены достаточно отличающиеся друг от друга типы переменных. Рассмотрим в качестве примера конструкт «импульсивность». Существует множество теоретических расхождений в обосновании методик, претендующих на измерение переменной импульсивности как индивидуального или личностного свойства. Одни из них связывают импульсивность со снижением рациональности, функции планирования, недостаточностью самоконтроля, т.е. одной из генерализованных черт поведения человека. Другие измеряют импульсивность как когнитивный стиль. Третьи настаивают на связи импульсивности со свойствами темперамента. Допустим, что авторы находятся в рамках сходных методологических подходов к пониманию личности, например, с позиции теории черт, но и в этом случае труднодостижимым оказывается согласие в том, какова психологическая реальность, соответствующая этому свойству.
Экскурс 1
Согласно Г. Айзенку необходимо различать черты личности, понимаемые как поведенческие проявления ее в строго ограниченных областях, и типы, или измерения личности, связываемые с проявлением значимых для нее форм поведения в более общем плане. Черта импульсивности отличается тем, что занимает как бы промежуточное место между этими двумя уровнями в иерархии личностных качеств. Она включает 4 фактора: склонность к риску, снижение или отсутствие планирования, живость реагирования и «узкую импульсивность». Существенно, что структура этого «гибрида» заставляет Г. Айзенка согласиться с одним из утверждений, вытекающим из результатов исследований Р. Кеттэлла: с правомочностью взаимокорреляций между разнопорядковыми шкалами, выделяемыми в теориях черт.
В последующем в совместных работах Ганса и Сибиллы Айзенк понятие «импульсивность» претерпевало следующие изменения. Сначала «импульсивность» вместе с «общительностью» и «оживленностью» включалась как составная часть в фактор «экстраверсии». Потом в связи с выделением «психотизма» как фактора второго порядка стали различать «рискованность», относящуюся к экстраверсии, и «импульсивность» в узком смысле, более тесно связанную с «психотизмом» (импульсивность в широком смысле). Попытка выделить «склонность к риску» и «узкую импульсивность» в качестве отдельных шкал оказалась в разной степени удачной для женской и мужской выборок.
Итак, простор для конкретизации психологического конструкта «импульсивность» остается достаточным даже в пределах одной исходной концепции. Обобщение при проверке гипотез, влючающих переменную импульсивности, должно учитывать устанавливаемые для этого свойства внешние и внутренние детерминанты.
1.4 Специфика оценки валидности лабораторного эксперимента
Специальным случаем является обобщение, связанное с организацией в эксперименте «очищенных» условий для проверки так называемых точных гипотез. Обычно это функция лабораторного эксперимента: получить данные в условиях, отвечающих причинно-следственным зависимостям в специально сформулированной модели, чтобы эмпирически оценить объяснительную силу этой теоретической модели. Однако обобщения теоретического характера связаны не только с таким ходом рассуждения, как «эксперимент – модель – теория». Оценка силы тех или иных обобщений выявляется и в анализе свойств самой теории – применительно к «миру теорий» (а не к миру «психологической реальности»). Независимо от того, моделируется ли в эксперименте ситуация, отражающая теоретическую модель или модель «внешнего мира», оценивается как объяснительная сила высказывания, сформулированного в виде экспериментальной гипотезы, так и возможность перехода от той или иной теории как системы объяснений к этому эмпирически нагруженному высказыванию. ЭГ как эмпирическая гипотеза будет включать переменные, которые можно не только наблюдать, но и измерять (в той или иной шкале).
Конструктная валидность обсуждается при любых типах экспериментов с научными целями как адекватность перехода от научной гипотезы к экспериментальной или от «рабочей» к интерпретационной теоретической гипотезе. Решение вопросов операциональной валидности охватывает этап перехода от уже сформулированных экспериментальных и контргипотез к методическим процедурам их воплощения в экспериментальной модели, или экспериментальной ситуации. Р. Готтсданкер рассматривает понятие операциональной валидности только применительно к такому типу эксперимента как лабораторный. В этом случае не различаются два названных этапа разработки методических процедур, поскольку предполагается представленность психологического конструкта в самом способе его измерения. С этим можно спорить, учитывая несводимость обобщенного понятия к его эмпирическому наполнению, с одной стороны, и возможную неспецифичность показателей методики – с другой.
1.5 Валидность эксперимента и валидность выводов
В целом о валидности эксперимента говорят, подразумевая все формы экспериментального контроля, направленного на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основанием достоверного вывода, если в целом реализована логически обоснованная система умозаключений, включающая взаимопереходы между разными уровнями гипотез, проверяемых в эксперименте. Если проконтролированы все возможные или наиболее явные угрозы внутренней и внешней валидности, хорошо решены проблемы операционализации переменных и проблемы соответствия, то такой эксперимент оценивается как валидный, или «правильный». Из правильно построенного эксперимента можно сделать достоверные – валидные, или «правильные», выводы, подразумевая отсутствие в них ошибок обобщения или ошибок умозаключений, но в выводах можно ошибиться.
Ошибки выводов, или недостоверные выводы, возможны в результате как неверных обобщений, так и проведения невалидных экспериментов. При понимании экспериментирования как чувственно-предметной деятельности ученого не следует, таким образом, ограничиваться описанием и оценкой того, как операционализируются переменные или как осуществляется их регистрация. Формулирование системы гипотез, оценка валидности эксперимента и реализация выводов входят как нормативы, или нормативные регуляторы, этой деятельности.
Выбор конкретной формы эксперимента связан с разработкой того или иного экспериментального плана (как схемы сбора данных при разных условиях НП) и с другими типами контроля (выбор типа эксперимента, осуществление «первичного» контроля, «дополнительного варьирования» переменных, введение расширенной переменной и т.д.). Решение проблем планирования означает при этом «прописывание» эксперимента в системе классификаций типов экспериментов и видов экспериментальных схем. Это в свою очередь позволяет обозначить возможности и ограничения последующих выводов.
Именно предположения о возможностях последующих обобщений направляют исследователя при решении вопросов содержательного и формального планирования экспериментов. Тем самым проблема выводов и обобщений оказывается разведенной по двум достаточно отстоящим друг от друга этапам – мысленного планирования экспериментальных схем и процедур и обоснования выводов на основании результатов уже проведенного исследования. В реальных экспериментальных исследованиях этому соответствует двухэтапность обобщений: как исходных предположений о виде зависимости между НП и ЗП и как завершающих выводов о возможности обобщений как переноса установленной зависимости за пределы экспериментальной ситуации (обобщения на теоретическую модель, на другие ситуации, виды деятельности, испытуемых и т.д.).
2 Компоненты содержательного и формального планирования
2.1 Подходы к определению термина «планирование эксперимента». Выбор из возможных экспериментальных планов
Можно выделить следующие традиции в понимании того, что следует считать планированием психологического эксперимента.
1. Выбор схемы, или плана, получения данных для проверки каузальной гипотезы. Такому представлению о планировании, когда исследователь выбирает ту или иную из набора имеющихся схем, сравнивая их возможности с точки зрения решения проблем приближения эксперимента к безупречному, следует Р. Готтсданкер.
2. Определение типа переменных с точки зрения заданных гипотетических конструктов и решения вопросов об операционализации переменных, а исходя из этого – выбор методических средств, отражающих взаимосвязь аспектов содержательного и формального планирования.
3. Планирование с целью последующего использования статистических решений об экспериментальном факте, а значит, указание того минимального эффекта (в различиях ЗП), который будет принят в качестве критериального для принятия решения об экспериментальном факте.
Р. Готтсданкер предлагает анализировать возможные экспериментальные схемы по следующим основным признакам:
вид схем: предлагаются ли сравниваемые условия НП одному и тому же испытуемому или разным группам людей. В первом случае говорят об интраиндивидуальных схемах, а во втором – о межгрупповых. В качестве промежуточных схем выделяют кросс-индивидуальные, в которых предполагается предъявление всех условий НП каждому испытуемому, но их последовательности варьируют применительно к выделенным подгруппам;
тип эксперимента: достигается ли условие выделения единичной НП, что характерно для лабораторных экспериментов, или НП представляется в комплексе других условий, в разной степени претендующих на выполнение условия соответствия экспериментальной модели той внешней реальности, на которую будет осуществлено обобщение;
формы контроля угроз валидности: контролируются ли все те возможные источники возникновения угроз внутренней валидности со стороны побочных переменных (ПП), которые могут обеспечивать систематические, несистематические, сопутствующие смешения (НП с ПП) или ненадежность данных;
число управляемых факторов: является ли экспериментальная схема факторной или схемой с одной управляемой НП; предполагается ли при этом количественное измерение основных результатов действия переменных (и их взаимодействий при факторных схемах);
степень согласия с критериями мысленных эталонов эксперимента: достигается ли наилучшая репрезентативность реально проводимого эксперимента по сравнению с мысленными образцами, следование которым обеспечивало бы построение безупречного эксперимента.
Представление об эксперименте как гипотетико-дедуктивном методе при этом опускается, а оценка психологических гипотез рассматривается в одном основном аспекте – контроля угроз внутренней и внешней валидности. Основное внимание уделяется обоснованию преимуществ использованной стратегии подбора испытуемых в группы, их отбора из популяции, если речь идет о межгрупповых схемах, или распределения экспериментальных условий в общей их последовательности (при контроле факторов задач, времени, несистематической изменчивости), если речь идет об интраиндивидуальных схемах.
По-разному для этих схем решаются проблемы планирования для достижения приемлемой надежности данных. Оценка надежности зависит от контроля несистематической изменчивости, вариабельности использованных переменных и выбранного числа опытов для разных экспериментальных условий. С точки зрения контроля факторов ненадежности данных обсуждаются и возможности проводить усреднение показателей ЗП по разным условиям или для разных групп испытуемых и т.д. За выбранным числом проб, приходящихся на одно и то же условие НП, стоит принятый критерий количественной оценки необходимой величины экспериментального эффекта, без достижения которого экспериментальная гипотеза считается не выдержавшей опытную проверку и должна быть отвергнута.
По существу, элементы содержательного планирования присутствуют во всех проводимых экспериментах. Выбор схемы – это завершающий этап планирования. Формальное планирование начинается с этапа выбора между интраиндивидуальными и межгрупповыми способами сравнения ЗП. Учет дополнительных переменных или обсуждение общности экспериментальной выявленной тенденции для других испытуемых – это продолжение решения вопросов содержательного планирования, поскольку они прямо связаны с контролем уровня обобщений устанавливаемой зависимости.
Так, в примере с демонстрацией случайной стратегии образования экспериментальной последовательности условий НП – эксперимента на выявление предпочтений сортов томатного сока, представляемого также как пример эксперимента, дублирующего реальный мир, учитывается связь между обобщением как прогнозом для отдельного конкретного человека и необходимостью использовать интраиндивидуальные схемы. То, что эксперимент проводится в практических целях и то, каким образом в нем решены проблемы соответствия, определяет и обобщения (как рекомендации далее покупать сок определенного сорта). Чаще экспериментальная модель не так прямо определяет возможности обобщений.
Экскурс 2
В примере Р. Готтсданкера для демонстрации трудности выделения Психологической переменной (исследование «по трудовой этике») имеется в виду проверка гипотезы, относимой к среднегрупповой тенденции.
Авторы исследования Сингх и Кэри создали экспериментальную модель ситуации, в которой вознаграждение могло быть получено после приложения определенных усилий и без каких-либо усилий. Девочек-индианок предварительно обучали тому, как можно получить шарик: в одном случае для этого нужно было 10 раз нажать на специальный рычаг, а во втором – просто ждать у другого конца стола и через 15 с шарик выкатывался сам. Дети могли потом взять шарики себе или поменять их на любую понравившуюся им игрушку в лаборатории. В основной части опытов ребенку предлагалось самому выбирать, каким образом он будет получать шарик. Всего нужно было получить 5 наград – «заслуженных» или нет.
Среднегрупповая тенденция выразилась в том, что 60% испытуемых предпочли реализовывать усилия для получения вознаграждения, хотя знали, что оно будет и при бездействии. Предпочтение действия бездействию характеризовало только часть группы. Объяснение этого факта строилось как апелляция к этике в рамках протестантской морали: дети могли считать, что нехорошо получать вознаграждение без труда. Контроль этой переменной был осуществлен как выбор из популяции не белых детей.
Чтобы учесть отнесенность выявленной зависимости к конкретным популяциям, была использована вторая – дополнительная – переменная, по которой сравнивали по две этнически разные группы мальчиков и девочек (контрольными служили группы белых детей). Варьирование групп позволяло проконтролировать вклад культурного фона: конкурирующей гипотезой о причинах предпочтения действия бездействию могла выступать гипотеза о роли протестантской морали у белых детей, в соответствии с нормами которой получение награды предполагает работу, т.е. реализацию усилий для вознаграждения. Тот факт, что дети, имевшие предположительно разные культурные нормы представлений об этике получения вознаграждения, проявили примерно равные частотные предпочтения действия бездействию, позволило авторам обобщить гипотезу как верную для разных групп.
Приведенный пример демонстрирует довольно ограниченное понимание тех процессов, которые имели место в данной экспериментальной модели. Почему действие предпочитается бездействию? Нужно ли было вообще использовать ситуацию награды, чтобы показать это предпочтение? С какими базисными процессами все-таки связывать объяснение указанного предпочтения?
В европейский период работы школы К. Левина в ней было проведено исследование, знание которого, возможно, помогло бы авторам приведенного исследования определиться в более широком поле конкурирующих объяснений, чем только объяснение переменными культурного фона. Речь идет о работе А. Карстен, продемонстрировавшей феномен психического пресыщения. Было показано, что испытуемые склонны варьировать способ выполнения задания, чтобы только не оставаться в ситуации выполнения монотонной деятельности. Объяснительными конструктами выступили термины квазипотребности и психологического поля, реализующие принципы левиновской концепции. Возможно, в эксперименте Сингх и Кэри идет речь о других базисных процессах, но возможно о схожих. В любом случае в их объяснениях очевидна недостаточная охваченность имеющихся в литературе представлений о регуляции такого рода предпочтений в способах реализации действий, которые связаны с активностью испытуемого: в выходе за рамки требований ситуации, в переформулировании этих требований при построении образа задачи и т.д.
Таким образом, и валидный эксперимент может давать довольно слабые эмпирические доводы, если планирование совершалось в основном как формальное.
2.2Содержательное планирование и выбор типа эксперимента
Содержательное планирование, как указывалось, включает этапы формулирования экспериментальных гипотез и обоснования их интерпретационных компонентов, связанных с введением гипотетических конструктов.
Для проведения эксперимента как в лабораторных условиях, так и в «полевых» на этапе содержательного планирования обосновываются также его конструктная валидность, связанная с контролем путей конкретизации теоретических понятий в гипотетические конструкты, и приемлемость именно экспериментального (а не «пассивно наблюдающего») подхода к организации сбора данных для проверки психологической гипотезы. К содержательному планированию можно отнести и обсуждение используемого методического арсенала фиксации переменных, т.е. решение проблем операционализации переменных, и утверждение постулируемых или неявно присутствующих в формулировке экспериментальной гипотезы предположений о сути психологической причинности или виде психологических законов.
Рассмотрение соотношения в ожидаемых эмпирических данных закономерного и случайного – также проблема содержательного планирования, которая, однако, не всегда в достаточной степени обсуждается (или эксплицируется) исследователем. Данные, полученные для отдельного испытуемого или отдельной выборки испытуемых, могут рассматриваться как случайные в том смысле, что при большом числе испытуемых (или нескольких выборках) они окажутся нехарактерными для основного массива результатов. При использовании понятия распределения выборочных значений ЗП, включающего переход к статистическим решениям о его виде, отдельные данные являются уже составной частью ряда значений измеренной переменной. При этом случайность означает лишь вариабельность самой переменной, а не степень отличия индивидуального случая от характерных, т.е. наиболее часто встречающихся, показателей.
Понятие случайного используется также для указания на не запланированные экспериментатором факторы (например, ПП) и для подчеркивания того факта, что исследуемая каузальная связь вынуждена «пробиться» сквозь сумму других составляющих. В последнем случае предполагается, что закономерная связь может проявляться лишь при определенном стечении обстоятельств, а не всегда, только при определенных сочетаниях свойств испытуемых, а не для всех испытуемых и т.д.
К. Левин посвятил в свое время специальную работу обоснованию того положения, что психологическая закономерность может связываться именно со схемой объяснения индивидуального случая, а не с попытками установить регулярность в каких-то изменениях событий. Понятие динамического закона и введение представления о динамических понятиях (примером служило понятие квазипотребности) открывали, с его точки зрения, возможность решения основных проблем в объяснительных схемах гештальттеории и телеологических концепций. Галилеевское мышление противопоставлялось им аристотелевскому именно в аспекте рассмотрения индивидуального как случайного или закономерного. «Вместо ссылок на частоту исторических случаев и нивелирование индивидуальных различий галилеевская физика понимает индивидуальный случай так же, как закономерный, и выводит динамику события из связи конкретного индивидуума со всем конкретным окружением, в котором он находится в данный момент». Активность субъекта с точки зрения взаимодействия личностных и ситуационных составляющих мотивационной регуляции поведения человека описывалась в опытах левиновской школы в заданном русле рассмотрения законообразности индивидуального случая, т.е. детерминированности направленности действий динамической системой напряжений в психологическом поле.
Психологические исследования предполагают проверку и других типов детерминистски сформулированных гипотез. Сведение всех типов психологических законов к динамическим было бы вариантом качественного редукционизма, которым можно было бы дополнить ряд выделенных Ж. Пиаже редукционистских принципов в психологических объяснениях.
При построении эксперимента, предполагающего, что исследуемая закономерность регулируется совокупностью причинно-действующих условий или должна как бы пробиться сквозь сонм случайностей, именно принцип равновероятного получения данных (при равных шансах получить данные как в пользу, так и против экспериментальной гипотезы) направляет построение экспериментальной модели. Парадокс заключается в том, что детерминистски сформулированная гипотеза оценивается вероятностно. Закономерность понимается как нарушение случайности, репрезентированное изменениями ЗП в ту или иную сторону. С точки зрения построения ситуации – управления переменными – этот сдвиг может быть приписан только действию НП (поэтому он называется основным результатом действия). Тем самым выявление тенденций – направленных нарушений равновероятных исходов – может рассматриваться как проявление общего на уровне эмпирической закономерности, хотя по отношению к индивидуальному случаю закономерность-тенденция может не выступать в качестве детерминистской причины. Для установления проявившихся в группе испытуемых (и в этом смысле «среднегрупповых») тенденций достаточно, что зависимость проявляется для части испытуемых, которые обеспечивают сдвиг в показателях, как было в примере 2).
Сам Ж. Пиаже более важное место отводит принципу синхронной причинности при рассмотрении психологических законов. Его исследования стадий развития детского мышления показывают, в частности, что становление символической функции (функции означивания) в действиях ребенка с замещающими другой предмет объектами на стадии символического мышления влекут за собой одновременные и параллельные изменения в его познавательных возможностях. Когнитивное развитие в этом аспекте не предполагает актуализации динамических законов и рассматривается в контексте иной психологической реальности.
Например, в исследованиях продуктивного мышления взрослого человека можно выделить в качестве обоснованных и сосуществующих разные подходы к пониманию закономерного. Так, недетерминированность, или свобода, мышления подразумевается как возможность произвольной постановки познавательных целей, постановки проблем, управления со стороны самого субъекта мышления своими стратегиями при ее решении и т.д. Однако саморегуляция мышления как возможность проявлять познавательную активность не означает, что невозможны косвенные пути влияния на продуктивность мышления. Например, управление инструкциями позволяет выявить качественные и количественные сдвиги в показателях решений так называемых малых творческих задач, а управление режимом диалога в компьютеризованной процедуре образования искусственных понятий – влиять на аналогичные показатели развернутых в диалоге интеллектуальных стратегий. Законообразность, таким образом, может быть отнесена к разным реалиям саморегуляции и косвенной регуляции мыслительной деятельности.
Тип закономерностей, устанавливаемых в социально-психологических исследованиях, обычно задан формулировками популяционных гипотез, заведомо утверждающих связи последующих обобщений с анализом реальных условий жизнедеятельности людей и реальной принадлежностью испытуемых к определенным социальным группам. В таких исследованиях может подразумеваться сочетание динамических, детерминистских и собственно вероятностных закономерностей.
Путь от защищаемого теоретического понимания каузальной зависимости к эмпирически наполненным утверждениям (как экспериментальной и контргипотезам) и означает реализацию этапов содержательного планирования. Это верно, если не рассматриваются еще две проблемы: конкурирующих объяснений зависимости при тех же компонентах методического воплощения эксперимента и повышения уровня обобщения зависимости на основе проведения разных экспериментов, отличающихся именно по компонентам методического воплощения переменных.
Обе указанные проблемы могут, в свою очередь, включать решение вопросов о представленности в той или иной методической процедуре возможности измерения не только психологической переменной, но и соответствующего ей психологического конструкта. Эти решения будут также учитывать элементы формального планирования, поскольку психологические измерения всегда будут иметь приближенный характер. Ошибка измерений должна учитываться как основание установления разных зависимостей при некотором разбросе данных. Вероятностный характер оценки вида эмпирически установленной зависимости определяет ту проблему, что всегда будет оставаться открытым вопрос о возможности переинтерпретации того гипотетического конструкта, который связывался с базисным процессом, реконструируемым по значениям ЗП.
Какое бы психологическое понятие ни использовал экспериментатор при формулировке каузальной зависимости, он обязательно оказывается перед необходимостью выбора из ряда возможных методических средств, уже разработанных для эмпирической репрезентации изучаемых базисных процессов (психического отражения, психической регуляции, психических свойств и т.д.), или создания новых методик, если для представления интересующих его переменных таковые пока отсутствуют. Разработка методического арсенала, в свою очередь, предполагает возникновение и возможность проверки новых психологических гипотез. Поэтому этапы содержательного планирования могут быть представлены как обоснования тех или иных специальных методик, т.е. могут быть вынесены в другие работы, результаты которых уже будут использоваться при реализации экспериментальных планов.
Под формальным планированием также имеется в виду выбор плана исследования, или экспериментальной схемы. Однако при выделении этапа содержательного планирования выбор планов как форм экспериментального контроля нельзя представить только на уровне сравнения их преимуществ между собой и с точки зрения возможностей последующих обобщений.
Например, как показал X. Хекхаузен, реконструкция базисного процесса, стоящего за изменениями ЗП, в экспериментальных исследованиях мотивации определяет разные соотношения между понятиями «мотив» и «мотивация» в построении схем, реализующих разные предположения о причинном характере действия побудительных факторов. Если «мотив» связывается с факторами ситуации, то исследовательский план будет предполагать реализацию соответствующих воздействий для актуализации мотивационных состояний. В случае если отличия в мотивации связываются с присущими личности диспозициями, то способом планирования исследования станет подбор групп, предполагающих функциональный контроль этих скрытых (латентных) мотивационных диспозиций.
При использовании одних и тех же интраиндивидуальных схем в рамках психофизического эксперимента переход от пороговых к надпороговым диапазонам изменения стимуляции, т.е. от фехнеровских к стивенсовским методикам построения субъективных шкал ощущений, означал содержательное изменение понимания получаемых количественных зависимостей. Одновременно изменился и процедурный способ установления психофизических зависимостей. «Фехнеровский» испытуемый должен был доверяться своим ощущениям, и классические методики измерения пороговой чувствительности включали предположения об одинаковых «отрезках» прироста ощущений на субъективной шкале. Стивенсовские методики построения психологических шкал предполагали возможность опосредствования субъективного ряда прямыми оценками его величин, и «стивенсовский» испытуемый выносил количественные суждения об отношениях между ощущениями.
Аналогично в любой области психологических знаний можно проследить взаимосвязи изменений исследовательских подходов и стоящих за ними способов реконструкции психологической реальности, с одной стороны, и относительную автономность использования экспериментальных схем – с другой. Содержательное планирование не заменяет собой, а предполагает переход к этапу формального планирования. Формальное планирование обычно выносится за скобки содержательного планирования только в той его части, где методические тонкости обоснования схемы не влияют принципиально на понимание изучаемых явлений или процессов. Даже решение о том, проводить ли межгрупповой или интраиндивидуальный эксперимент, включает оценку возможности последующих обобщений представленной в гипотезе зависимости.
Для измерения порогов ощущений выбор индивидуальной схемы адекватен, поскольку речь идет о чувствительности конкретного человека. Однако уже гипотеза о возможности распределения внимания (она предполагает отсутствие снижения продуктивности выполнения первой задачи при одновременном выполнении второй) может предполагать как сугубо индивидуальную направленность обобщения, так и «среднегрупповую» закономерность, допускающую использование межгрупповых схем проведения эксперимента.
2.3 Зависимость обобщения от типа проводимого эксперимента
Итак, выбор экспериментальных планов как схем задания уровней НП связан с содержанием гипотезы и предполагаемыми возможностями обобщения исследуемой зависимости. Оценке возможностей обобщения с точки зрения достижения в эксперименте хорошей внешней или операциональной валидности (этот вид валидности рассматривается как аналог внешней валидности для лабораторного эксперимента) в этом подходе уделяется серьезное внимание. Поэтому чисто формальным такой подход к планированию назвать нельзя. Содержательные аспекты обсуждения каузальной зависимости, постулируемой в психологической гипотезе, становятся как бы неважными при проводимом анализе преимуществ и недостатков экспериментальных схем как планов контроля угроз валидности.
Полученная при использовании интраиндивидуальных схем зависимость характеризует в первую очередь конкретного испытуемого. Она может оказаться нерепрезентативной для группы испытуемых.
Экскурс 3
Так, изменение показателей продуктивности выполнения первого вида экспериментальной деятельности при использовании методики «тест Бурдона», наблюдавшееся в результате сравнения их с аналогичными показателями в ситуации распределения внимания (тот же тест выполняется при наличии второй задачи – подсчете испытуемым низких и высоких звуков), могло трактоваться как индивидуально представленная зависимость. Эта индивидуальность означает в данном случае тот факт, что существуют межиндивидуальные различия по способности к распределению внимания. Усреднение результатов для группы интраиндивидуальных экспериментов здесь возможно только в одном случае: первоначальное выделение всех тех индивидуальных результатов, которые характеризуются общей (и в этом смысле типичной) для них тенденцией. Тогда все те испытуемые, которые не ухудшили показателей по тесту Бурдона при подсчете звуков, считались бы людьми с хорошим распределением внимания, а те, кто ухудшил свои данные по тесту Бурдона при выполнении второй задачи, – людьми с менее выраженной способностью к распределению внимания.
Усреднять данные можно было бы только в отдельности для этих подгрупп испытуемых, характеризующихся в пределах подгруппы одним и тем же типом изменений ЗП.
Психология знает и другие пути обобщения на основе интраиндивидуальных экспериментов. Исследования Г. Эббингаузом закономерностей запоминания бессмысленных слогов, психофизические эксперименты Л. Фехнера или С. Стивенса и многие другие схемы индивидуальных опытов составляли основу обобщений, которые потом повторялись в качестве общих закономерностей для большинства людей, если выполнялись условия идентичности процедурных компонентов проведения опытов и сами испытуемые не отклонялись по своим индивидуальным особенностям так, чтобы их данные служили основой анализа единичного случая.
Последнее, например, имело место в известном исследовании А. Р. Лурией уникальной памяти испытуемого Ш, описанном в «Маленькой книжке о большой памяти».
Перенос полученной в интраиндивидуальном эксперименте зависимости на максимально широкую популяцию (например, на всех людей, обладающих здоровой психикой) возможен при создании таких лабораторных условий, которые предполагают репрезентацию в компонентах методик заданного теорией принципа психологического объяснения. Построение самой экспериментальной модели взаимосвязи НП и ЗП (при очищении условий и контроле ПП) осуществляется при этом таким образом, что обобщение относительно эмпирически устанавливаемого вида зависимости позволяет распространять объяснительную теоретическую модель на все другие случаи актуализации аналогичных базисных процессов. При выполнении требований к оценке внутренней и операциональной валидности соответствующего лабораторного эксперимента широта переноса постулируемой каузальной зависимости определяется предполагаемой степенью адекватности, или соответствия, теоретической модели той психологической реальности, объяснению которой она служит. Таким образом, на основе результатов интраиндивидуального лабораторного эксперимента возможен следующий путь обобщения: сначала на «мир теории», а затем на все те случаи «психологической реальности», которые имеются в виду в представленной теоретической модели.
2.4 Статистические решения и формальное планирование
Формальное планирование как выбор схем сочетается с обоснованием достоверности или значимости получаемых эмпирических результатов. Выделяют следующие задачи формального планирования исследования: обеспечение валидности эксперимента, обеспечение условий для принятия решений об экспериментальном эффекте, или эффекте действия НП, и применение схем обработки данных, адекватных метрике использованных шкал и способу сбора данных. В узком смысле к «планированию эксперимента» относятся два момента, связанные с учетом последующих статистических решений.
Во-первых, обсуждение вопроса о том, как будет оцениваться экспериментальный эффект. Решение может касаться выбора между мерами связи и мерами различий. Статистические меры связи могут быть использованы для установления ковариации между НП и ЗП, а меры различий могут свидетельствовать об отсутствии различий в значениях ЗП между разными экспериментальными условиями. Соответствующие статистические гипотезы уже не включают предположений о за-конообразном действии НП, а формируются только как гипотезы о сравнении выборочных показателей ЗП (средних, дисперсий и т.д.). При одном и том же экспериментальном плане возможно использование разных планов обработки данных. Вид экспериментальной гипотезы иногда подсказывает, какой способ установления экспериментального факта по выборочным значениям ЗП следует предпочесть. Часто одни и те же данные можно обрабатывать разными способами, чтобы убедиться в преимуществах того или иного способа представления полученных зависимостей.
Во-вторых, установление минимального эффекта, достаточного для вынесения суждения о полученных различиях в экспериментальном и контрольном условиях или наблюдаемой связи между изменениями НП и ЗП. Установление минимального эффекта включает также определение вероятности ошибок первого и второго рода (α- и β-уровень). Для β-ошибки принимается общее правило указания процента или возможной вероятности отвергнуть нуль-гипотезу как гипотезу об отсутствии различий или отсутствии связи, когда она верна. Для β-ошибки в силу ее связи с величиной устанавливаемого эффекта такого общего правила нет.
Для установления экспериментального эффекта не всегда требуются статистические решения. Есть эффекты, о которых говорят, что «они бьют в глаза». Иными словами, изменения в значениях ЗП при сравнении разных экспериментальных условий столь велики, что в силу их «очевидности» отпадает необходимость в использовании статистических критериев для оценки их значимости. Есть и другие эффекты, которые обнаруживаются как неочевидные, но статистически значимые сдвиги в значениях ЗП. Здравый смысл или теоретически обоснованные ожидания позволяют принять решение о том, какие изменения в значениях ЗП можно считать достаточными для вывода о результате действия НП.
Величина минимального эффекта связана с количеством опытных данных, т.е. с числом выборочных значений показателей ЗП. Увеличение выборки (числа испытуемых или числа опытов) может существенно снизить величину эффекта, достаточного для принятия решения о действии НП. Однако величина выборки связана и с решением задач содержательного планирования (контроль фактора времени в связи с утомляемостью испытуемых, контроль репрезентативности выборки по отношению к популяции и т.д.). Поэтому ссылка на статистические таблицы, в которых представлены связи величины минимального различия (значений ЗП) и α-уровней значимости применительно к использованию конкретных статистических критериев, не может служить достаточным основанием для определения необходимого числа проб или испытуемых.
Содержательные аспекты, связанные с выбором схем, предполагающих последовательные изменения базисных процессов (применительно к тем же самым субъектам) или возможные одновременные измерения переменных в разных группах испытуемых, определяют выбор планов «параллельного» или «последовательного» экспериментирования. Обсуждение типов распределения выходит за пределы психологических знаний, но психолог так или иначе обосновывает применимость их для установления статистических закономерностей в полученных экспериментальных данных.
Последнее касается практически всех видов использования количественной оценки психологических эффектов. Психолог, переходя на уровень проверки статистических гипотез, начинает работать с выборочными значениями переменных и вероятностными моделями для оценки статистических гипотез, обсуждая или как бы вынося за скобки вопрос о применимости соответствующих моделей с точки зрения содержания переменных.
Например, вопрос о приемлемости использования модели случайного распределения применительно к показателям измерения познавательной потребности человека, измеренной с помощью той или иной психологической методики, решается положительно только для того исследователя, который считает соответствующую базисную переменную познавательной мотивации случайно варьирующей в выборке. Если выборка испытуемых такова, что можно «подозревать» более высокий уровень выраженности познавательной мотивации у всех испытуемых, то модель случайного распределения оказывается неадекватной. Психолог может не иметь предварительных данных о виде распределения измеряемых показателей, но в рамках решения вопросов о применимости тех или иных методов статистической обработки данных он становится на определенные позиции выбора статистических критериев. Формальное планирование и здесь включает оценку содержательной интерпретации данных.
Наконец, под планированием эксперимента могут понимать математическое планирование. Оно начинается с выбора математической модели, описывающей события и взаимосвязи между ними, а также включает указанные ранее моменты определения минимальных эффектов и α-, β-ошибок при отвержении нуль-гипотез.
2.5 Валидность как цель экспериментального контроля
В самом общем случае под валидностью эксперимента подразумевают все формы экспериментального контроля, обеспечивающие валидный, или достоверный, вывод. Однако контроль за выводами осуществляется и за пределами экспериментального контроля. Результаты валидного эксперимента могут служить основанием достоверного вывода, если в целом реализована логически обоснованная система умозаключений, включающая взаимопереходы между разными уровнями гипотез, проверяемых в эксперименте, учтена проблема асимметрии вывода, обоснованы широта и уровень обобщений данных (как переноса выводов за пределы проведенного эксперимента).
Чтобы обсуждать адекватность и обоснованность обобщений, исследователь, во-первых, должен быть уверен, что полученная в проведенном эксперименте зависимость действительно представляет (репрезентирует) подразумеваемое в гипотезе отношение между независимой и зависимой переменными, что не произошло – вольной или невольной – подмены изучаемой закономерности. Любое несоответствие означает угрозу правильности, или валидности, последующих выводов.
Во-вторых, установление экспериментальной зависимости подразумевает, что были устранены все конкурирующие угрозы валидному выводу со стороны смешений НП с побочными или сопутствующими переменными. Если какое-либо условие НП неслучайным образом оказалось связанным с активным уровнем смешивающейся переменной, то неизвестным остается, какой из них – независимой или смешивающейся с ней переменной – следует приписать полученный сдвиг в значениях ЗП (случай, когда при возможности отвергнуть нуль-гипотезу, или при достоверности различий выборочных значений ЗП на выбранном уровне значимости, валидность является плохой и экспериментальный эффект может быть рассмотрен как артефакт).
Если обобщения оказались неправильными, они называются артефактными. Плохой экспериментальный контроль может выступать одним из источников неправильных выводов. Другими словами, невалидный эксперимент приводит к неправильным обобщениям.
Пока не рассматривается, в какой степени выбор конкретной формы эксперимента – экспериментального плана – связан с разработкой системы контроля всех возможных угроз выводу об устанавливаемой зависимости. Отметим только, что экспериментальный план как схема сбора данных, а именно: фиксации ЗП при разных условиях НП, включает и указание других направлений экспериментального контроля (выбор типа переменных, осуществление «первичного» контроля, устранение побочных или стабилизация дополнительных переменных, введение расширенной переменной и т.д.). Более подробное описание этих средств планирования станет возможным в связи с представлением оснований классификаций типов экспериментов и экспериментальных схем (см. далее).
Следует учесть, что формулирование системы гипотез, оценка валидности эксперимента и реализация выводов входят как составляющие общего норматива – избежать угроз валидному выводу.
Список использованных источников
Фресс П. Экспериментальный метод: Пер. с франц. Вып. I-II // Экспериментальная психология / Под ред. П. Фресса, Ж. Пиаже. – М.: Прогресс, 2007.
Налимов В.В. Логика принятия гипотез в развитии научного познания // Наука в социальных, гносеологических и ценностных аспектах. – М., 2008.
46. Общий практикум по психологии. Психологический эксперимент. Ч. 1 / Под ред. М.Б. Михалевской, Т.В. Корниловой. – М.: Изд-во МГУ, 2008.
Кэмпбелл Дж. Модели экспериментов в социальной психологии и прикладных исследованиях: Пер. с англ. – М.: Прогресс, 2007. – 390 с.