Концептуализация и измерение: общий обзор

Избрав определенный исследовательский план, социолог может сказать, что он будет рассматривать в качестве «случаев» в структурированной матрице данных (табл. 5.1) и какой будет логика сравнений между случаями на стадии анализа. Теперь ему предстоит решить, какими будут его исследовательские переменные — строки матрицы данных — и как будет осуществлен переход от теоретического понятия к измеряемому показателю. Решение этих двух взаимосвязанных проблем — концептуализации и измерения — необходимое условие перехода к разработке анкеты, плана интервью, схемы эксперимента и к сбору данных. Отметим сразу, что речь идет лишь о предварительном решении, так как многие исследовательские задачи, связанные с измерением и истолкованием теоретических конструктов, возникают позднее, на стадии анализа данных (и будут рассмотрены нами в соответствующих разделах).

Понятия социологической теории ¾ скажем, «отчуждение», «культура бедности», «социальный статус» или «коронарный тип личности»[134] — используются в качестве элементов для построения неких теоретических моделей, описывающих отношения между понятиями. Предположения о характере таких отношений — это собственно исследовательские гипотезы.

Сложная структура социологических теорий не позволяет говорить о простой и однозначной их проверяемости. Как говорилось ранее (см. гл. 1), правдоподобие гипотез оценивается не в каком-то абсолютном смысле, а лишь относительно целой совокупности других вспомогательных гипотез, явно или неявно связанных с теоретическим «ядром». По этой причине сколько-нибудь разработанные теоретические модели оказываются довольно сложными, и их предварительное описание (спецификация) — это необходимое условие любой эмпирической проверки.

Эмпирическое «истолкование» теоретических понятий в качестве переменных в матрице данных (их концептуализация) и перевод этих понятий на язык наблюдаемых признаков, т. е. измерение, могут оказаться довольно сложными процедурами, в чем-то сходными с процедурами построения теоретической модели. На первый взгляд, некоторые типы переменных не создают вовсе никаких проблем для измерения, так как они очень близки к тем способам категоризации, которые мы употребляем в повседневной жизни (например, пол, возраст). Другие же, более абстрактные теоретические конструкты — отчуждение, социально-экономический статус или расовая сегрегация, — явно требуют большего, чем формулировка одного показателя или одного вопроса анкеты. Ясно, что уточнение теоретического понятия и поиск соответствующих индикаторов в этом случае может быть только результатом специальной аналитической работы. Конечная цель такой работы — создание модели измерения, в которой будут определены (специфицированы) все предполагаемые связи между теоретическим конструктом (понятием) и теми эмпирическими показателями, которые мы намерены использовать для его измерения. В этой модели нам придется также сделать некоторые предположения о возможных ошибках измерения (их случайном или систематическом характере). Ведь в действительности даже сравнительно простые и очевидные показатели, фиксируемые с помощью одного стандартного вопроса, могут быть подвержены влиянию не только случайных ошибок, связанных с невнимательностью или погрешностями выборочной процедуры. Может быть, например, незамужние женщины склонны систематически занижать свой возраст? Если обратиться к «случаю Агнессы», описанному в главе 3, можно увидеть, что даже биологический пол в некоторых случаях трудно определить однозначно. Пример столь простого признака, как «пол», позволяет увидеть и другую сторону проблемы: прежде чем искать подходящий показатель, нужно решить, как мы намерены интерпретировать соответствующее понятие в нашей теории. Если мы, к примеру, собираемся проверить гипотезу о влиянии половой идентичности на социальные достижения, то нам недостаточно просто разбить наших респондентов на «муж.» и «жен.»: внутригрупповой разброс показателей успешности наверняка окажется очень велик и вся наша объяснительная схема «поплывет». В действительности нам лучше интерпретировать «половую идентичность» как некий континуум, плавный переход от одного жесткого полоролевого стандарта к другому, от крайней «маскулинности» к «фемининности». Используя соответствующие показатели и шкалы, мы скорее всего обнаружим, что большего социального успеха добиваются люди, не следующие жестким предписаниям традиционной половой роли.

Итак, первый шаг в поиске индикаторов для теоретических понятий — это прояснение самих понятий. Теоретические переменные, в отличие от платоновских идей, не существуют «сами по себе», ожидая когда мы наткнемся на них. Они не имеют какого-то абсолютного, раз и навсегда определенного значения. Их значение определяется контекстом употребления, концептуальной схемой, которую мы используем. Например, если мы используем «религиозность» как понятие, характеризующее роль некой конфессии в политическом укладе национального государства, наибольший интерес для нашего исследования могут представлять агрегированные (т. е. относящиеся к надындивидуальному уровню) переменные, показывающие роль церкви в поддержании нормативной системы общества, в принятии политических решений. Показателями здесь могут быть количество церковных приходов, наличие обязательных уроков закона божьего в государственных школах, участие церковных иерархов в работе законодательной власти и т. п. Если целью нашего анализа является индивидуальная «религиозность», то нас скорее заинтересует широкий спектр поведения и установок от институциональной религиозности, связанной с участием в церковных обрядах, верой в спасение души и т. п. до расплывчатой убежденности в том, что «существуют некие сверхъестественные силы», или даже до устойчивого интереса к астрологическим прогнозам.

Конечно, мы можем заключить, что отсутствие абсолютного, самоочевидного смысла в теоретических понятиях дает нам полную свободу в их определении. Но такое заключение будет ошибочным. Во-первых, теоретическое понятие, неповторимый смысл которого известен только самому теоретику, обладает всеми достоинствами, кроме одного — оно больше не может служить средством коммуникации. Дабы этого не случилось, лучше всего давать определения, понятные не только вам, но и другим: все же наука — это коллективное предприятие. Более того, нужно соотносить собственные определения понятий с теми, которые использовались вашими предшественниками, в том числе и теми, чьи теоретические взгляды противоположны вашим. Ценность теоретического понятия — в его включенности в более широкую сеть теоретических представлений, во множестве связей с другими понятиями. Попытки начать с «нулевой ступени» ни к чему хорошему не ведут. Даже если вам отвратителен марксизм как идеология тоталитаризма, невозможно сказать что-то содержательное и интересное о таких вещах, как «классы» или «отчуждение» без учета того, что сказал о них Маркс.

В работе по уточнению теоретических понятий можно выделить три стадии. На первой стадии нужно составить по возможности полный список существующих определений интересующего нас понятия. Основной путь здесь — анализ литературы. Часто приходится анализировать и те смыслы, которые придаются какому-то понятию в обыденной речи: понятия повседневного языка редко обладают достаточной степенью формальной строгости, но их многозначность иногда позволяет выразить неочевидный и нетривиальный взгляд на вещи. Например, анализ того контекста, в котором употребляются понятия «стресс» или «психологическая травма», открывает широкий диапазон жизненных событий — от развода до потери работы. Если мы изучаем влияние травмирующих жизненных событий на рост хронической заболеваемости, нам не обойтись без анализа субъективного смысла различных событий для разных людей. На этом этапе могут оказаться полезными неформальные глубинные интервью, групповая дискуссия, анализ доступных биографических материалов и т. п. В результате описанной работы по обобщению существующих определений (научных и обыденных) мы получаем возможность исходить из достаточно общего и разделяемого большинством исследователей определения. Так, в работе Дж. Хиллери[135] перечислено 94 определения понятия «сообщество» (community), большая часть которых включает три основных признака: локальная область расселения; общие связи, основанные на чувстве идентичности с группой; социальное взаимодействие.

На второй стадии мы осуществляем и обосновываем свой выбор трактовки понятия. Обоснование необходимо и в том случае, если мы решили использовать общепринятое определение, и тогда, когда нами предложено нечто абсолютно новое. Позднее, в ходе анализа данных, наша теоретическая модель скорее всего будет уточняться, но и в сборе, и в анализе данных мы будем руководствоваться принятым рабочим определением. Так, если мы решим, что социологический смысл понятия «профессия» заключается в способе регуляции рыночных условий в пользу определенной группы, ограничивающей и контролирующей доступ новых членов в свои ряды, мы скорее всего сосредоточим свое внимание на таких аспектах профессионализма, как автономия, контроль над процессом определения «внештатных» ситуаций и приписыванием ответственности, обучение новичков и управление «публичным» образом профессиональной группы. При этом мы, возможно, не уделим того же внимания таким аспектам профессионализма, как отношения с потребителями товаров или услуг, контроль над определенными ресурсами и т. п.

Большинство полученных нами определений будут многомерными, т.е. они будут включать в себя более одного аспекта или измерения. Поэтому на третьей стадии следует отчетливо очертить существующие аспекты понятия и, возможно, выбрать те из них, с которыми мы собираемся работать. Во-первых, выделение отдельных измерений в многомерном теоретическом понятии необходимо для того, чтобы найти соответствующие индикаторы для каждого из измерений. Во-вторых, в социологии мы часто используем категориальные переменные, состоящие из множества взаимосвязанных признаков, т. е. двух, трех или более качественных категорий. Примерами здесь могут служить пол, профессия, семейный статус, религиозная конфессия и т. д. Нередко признаки, составляющие категориальную переменную, могут быть упорядочены по какой-то ординальной шкале. Скажем, социальный статус может быть низким, средним или высоким. Анализ размерности теоретического понятия, представляемого с помощью такой категориальной переменной, позволяет выявить различия между упорядочениями категорий по разным измерениям. Упорядочение религиозных конфессий по престижности будет отличаться от их упорядочения по степени религиозного фундаментализма. Сделав явным это различие между смысловыми измерениями теоретического понятия, мы обезопасим себя от ошибочных выводов о характере взаимосвязей данной переменной с другими, т. е. от ошибок на стадии анализа данных.

Прояснив теоретические понятия, используемые в нашем исследовании, мы переходим к следующей важной задаче — поиску конкретных индикаторов для этих понятий. Нередко эту стадию работы называют стадией операционализации понятий (о том, почему это обозначение является не вполне точным, будет сказано чуть ниже). Если, скажем, в исследовании профессиональной мобильности ученых мы используем понятие «престижность университета», нам необходимо решить, в чем, собственно, выражается престижность: в высоком проходном балле на вступительных экзаменах, в количестве ежегодно проводимых международных конференций, в среднем индексе цитирования для профессоров и преподавателей? Возможно, полезной для определения престижности будет экспертная процедура — например, престижность американских университетов определяется в ходе регулярных опросов ведущих специалистов в разных областях знания. Под операционализацией, таким образом, понимают процесс связывания теоретического понятия с эмпирическими наблюдениями, где последние выступают индикаторами, показателями каких-то свойств, относящихся к данному понятию. Предполагается, что, скажем, результаты оценивания респондентами престижности университетов показывают высокий или низкий престиж данного рода заведений приблизительно так же, как показания стрелки манометра показывают давление. Однако аналогия здесь весьма условна. Измерение в социологии обычно носит непрямой характер: отдельный индикатор может отражать влияние более чем одной переменной, а каждая переменная может иметь множество индикаторов, т. е. операциональные определения теоретических понятий в социологии отличаются от таковых, скажем, в физике.

Многие эмпирические индикаторы могут рассматриваться как взаимозаменяемые. Идея взаимозаменяемости индикаторов была впервые проанализирована П. Ф. Лазарсфельдом. Так как измерение носит непрямой характер, ни один из существующих индикаторов не будет совершенным или безупречным. Хотя в определенной исследовательской ситуации можно указать причины, по которым один индикатор лучше другого, в сущности они взаимозаменяемы. «Истинное значение» переменной — это какая-то функция значений показателя иошибки измерения. Поэтому измерение значения переменной и проверка гипотез о связях между индикаторами требуют использования множества показателей (более детальное обсуждение этого вопроса содержится в главе 6). На практике социологи чаще всего используют несколько индикаторов для каждой существенной теоретической переменной, объединяя их на стадии анализа в некоторый суммарный показатель (индекс), или строя шкалу. То, как соотносятся индикаторы и теоретическая переменная, описывается с помощью модели измерения. В простейшем случае, когда все индикаторы (обозначаемые прописными латинскими буквами — Х ₁, Х ₂, X ₃, Х ₄ ) являются следствиями, результатами действия латентной, т. е. не наблюдаемой непосредственно переменной X, модель измерения будет выглядеть, как на рис. 3.

Обозначения a, b, с, d относятся к коэффициентам, показывающим влияние латентной переменной на конкретный индикатор (они, как мы увидим позднее, выражают надежность этого индикатора), а е. (т. е. е ₁, е ₂, е ₃ ... и т. д.) — это

Рис. 3. Модель измерения латентной переменной с четырьмя индикаторами

ошибка измерения i -гo индикатора. Для ошибок в этой модели предполагается, что они не скоррелированы друг с другом (cov (e_i e_j) = 0) и с истинным значением X, а их средняя равна 0. В модели, представленной на рис. 3, все индикаторы — это так называемые эффект-индикаторы, все они находятся под влиянием X, и сила связей a, b, с, d соответствует «силе» этого влияния.

Модели измерения с латентной переменной и эффект-индикаторами очень популярны в социальных науках. Причина этой популярности в нашей склонности объяснять явные поступки людей, в частности, ответы на вопросы анкеты или выполнение тестовых заданий, неким внутренним свойством, качеством, навыком или предрасположенностью. Латентная переменная может быть, например, интеллектом, измеряемым с помощью индикаторов-тестов. Другой пример: мы можем полагать, что участие в выборах и ежедневное чтение политических новостей в газете — это индикаторы латентной «политической активности» или «вовлеченности в политику».

Однако использование эффект-индикаторов — это не единственная возможность. Например, мы можем использовать такие индикаторы, как потеря работы, развод, болезнь для измерения латентной переменной «жизненный стресс». В этом случае мине предполагаем, что латентная переменная является причиной своих индикаторов [136], скорее травмирующие жизненные события могут быть причиной стресса. Если мы имеем дело с какой-то из распространенных моделей социально-экономического статуса, в ней тоже будут присутствовать не эффект-индикаторы, а причинные (или формативные) индикаторы, т. е. индикаторы, значения которых детерминируют, определяют значение латентной переменной. На рис. 4 изображена элементарная модель латентной переменной с причинными индикаторами (Y _l — Y ₄— это индикаторы, Y— латентная переменная).

Если Y — это социально-экономический статус (СЭС), то Y _l — Y ₄могут представлять собой доход, образование, престиж профессии данного человека и «качество» его жилья (стоимость, престижность района и т.п.).

Рис. 4. Модель измерения с латентной переменной

Ясно, что скорее доход является причиной СЭС, чем наоборот. Несмотря на кажущееся сходство моделей измерения, изображенных на рисунках 3 и 4, их «поведение» на стадии анализа будет очень разным. Разными могут оказаться и методы оценки качества индикаторов для этих моделей. Даже без специального анализа можно сказать, что в модели с эффект-индикаторами (рис. 3) всякий «хороший» индикатор должен чутко реагировать на рост или убывание латентной переменной и изменяться «в согласии» с остальными. В модели, изображенной на рис. 4, дело обстоит не так просто: если, скажем, возрастет доход — возрастет и статус, но образование или профессиональный престиж вполне могут не измениться, остаться на прежнем уровне. Другое очевидное отличие связано собственно с отбором индикаторов: для модели на рисунке 3 любой «хороший» (т. е. надежный и валидный, см. гл. 6) эффект-индикатор может заменить любой другой, и их общее число вполне можно сократить: скажем, высокие результаты выполнения одного «хорошего» теста интеллекта будут достаточно надежно предсказывать результаты бесчисленного множества других тестов. Если же мы попытаемся убрать какой-то причинный, формативный индикатор, то изменится не только объем нашей анкеты — изменится сама латентная переменная, которую эти индикаторы собственно и составляют: так, стоит «убрать» доход из числа индикаторов СЭС, как мы уже будем изучать что-то вроде социального, но уж никак не экономического статуса. Приведенные примеры позволяют понять, почему так важно явно задать модель измерения, связывающую индикаторы, которые мы собираемся отобрать, с теоретическими понятиями.

Многие реальные модели измерения еще сложнее только что описанных. Индикаторы могут быть скоррелированы между собой и, что хуже, с ошибками измерения, в число индикаторов могут одновременно входить и эффект-индикаторы, и индикаторы-причины. Часто разработка модели измерения ведет к радикальному прояснению теоретических гипотез и понятий, которые на предыдущих стадиях исследования носили чрезмерно абстрактный и общий характер. Так, социолог, стремящийся найти индикаторы, скажем, «межэтнической напряженности», попытается по меньшей мере разделить «причины» и «эффекты» среди таких показателей напряженности, как поселенческая сегрегация (склонность представителей этнических групп к компактному и раздельному поселению) отсутствие семейных и дружеских связей с представителями «чужого» этноса, число столкновений и вооруженных конфликтов, недоброжелательное освещение «чужаков» в местной прессе и т. п. В ходе такой работы он наверняка сделает более ясными и отчетливо сформулированными свои представления о механизмах возникновения межэтнической напряженности и ее последствиях.

В целом при поиске и отборе индикаторов полезно руководствоваться некоторыми общепринятыми правилами:

I. Используйте индикаторы, применявшиеся в более ранних исследованиях. Существует множество устоявшихся и проверенных индексов (т. е. суммарных показателей) и шкал, свойства которых достаточно известны. При возможности проверьте, насколько хорошо «работают» эти показатели в вашем случае, проведя небольшое разведочное (пилотажное) исследование. Сориентироваться в многообразии существующих показателей и шкал помогают соответствующие справочные издания и тематические обзоры[137].

2. Если общепринятого способа измерения для какого-то понятия не существует, попытайтесь разработать множество индикаторов для различных определений понятия и проверьте, как различия индикаторов будут влиять на различия в интерпретации результатов. Имея дело с многомерным понятием, стоит подумать, какие именно измерения, аспекты понятия существенны в рамках вашей исследовательской гипотезы.

3. Обычно установки и мнения имеют более сложную структуру и требуют использования большего количества индикаторов, чем, например, поведенческие события. Конечно, решающее слово в определении количества индикаторов (количества вопросов в анкете) принадлежит практическим соображениям. Пилотажные исследования, интервьюирование «фокусных» групп могут оказаться полезными в отборе индикаторов и исключении лишних вопросов. Они также важны для оценки надежности и валидности показателей (см. гл. 6).

Прежде чем перейти к практическим проблемам конструирования вопросов для анкет и интервью, мы коротко рассмотрим уровни измерения, так как общее представление об уровнях измерения понадобится нам при обсуждении логики построения вопросов и ответов и использования шкал.

Существует несколько концепций измерения, по-разному определяющих, что может быть названо операцией измерения. В гуманитарных науках — и социология не является исключением — наибольшее влияние имеет репрезентационная концепция измерения, впервые детально обоснованная психофизиком С. С. Стивенсом. В этой концепции всякая операция измерения в конечном счете определяется как приписывание чисел вещам (свойствам, событиям) в соответствии с определенными правилами, так что отношения между числами отражают (или представляют, репрезентируют) отношения между вещами. Таким образом, измерение представляет определенные свойства в виде чисел, поддающихся суммированию, сравнению и т. п. Однако наша возможность измерить какие-то эмпирически наблюдаемые свойства, представить отношения между вещами в виде чисел редко носит абсолютный характер. О некоторых эмпирических свойствах мы можем сказать, что они выражены «больше» или «меньше» для каждого конкретного наблюдения, но не можем указать случаи, когда это свойство абсолютно отсутствует: так, даже если испытуемый не решил ни одной задачи, мы едва ли осмелимся утверждать, что он полностью лишен «интеллекта». Иногда наша способность измерять ограничена лишь возможностью отнести какую-то вещь (наблюдение) к определенному классу, причем между разными классами нельзя задать отношение порядка (больше — меньше). Иными словами, при измерении отношения между числами как-то зависят от отношений между вещами, и, следовательно, существуют ограничения для возможных преобразований чисел: игнорируя эти ограничения, мы теряем право утверждать, что наши числа что-то представляют, репрезентируют. Правила приписывания чисел вещам, используемые нами в каждом конкретном случае, воплощают в себе эти ограничения и определяют достигнутый уровень измерения (номинальный, порядковый, интервальный, абсолютный).

Номинальным измерением называют процесс отнесения объектов в классы. Все, что мы можем сказать об объектах, сгруппированных в один класс, — это то, что они идентичны в отношении некоторого свойства или признака, т. е. фактическое отношение между объектами — это отношение тождества (или различия). Для обозначения полученных классов могут использоваться и названия свойств, и числовые символы. Скажем, мы можем обозначать символом «0» мужчин, а символом «1» — женщин. Однако нельзя сказать, что признак «является мужчиной» в каком-то отношении меньше признака «является женщиной», или что «сумма одного мужчины и одной женщины равна единице». Хотя номинальные измерения довольно примитивны, они отнюдь не бесполезны, в чем мы убедимся при обсуждении методов анализа данных. Другими примерами номинального измерения могут служить национальность или место жительства.

Измерение на порядковом (ординальном) уровне предполагает, что мы способны упорядочить объекты по степени выраженности свойства или признака, т. е. определить для них отношение «больше-меньше». Например, мы можем говорить о низком, среднем или высоком социальном статусе или низкой, умеренной или высокой коммуникабельности. Однако в случае порядкового измерения мы не можем определить точно, насколько велико расстояние между соседними категориями. Иными словами, мы не можем утверждать, что человек, получивший оценку «3» по шкале популярности, в три раза более популярен, чем получивший оценку «1», или что расстояние между категориями «48» и «45» по порядковой (ординальной) шкале равно расстоянию между категориями «22» и «19». Иными словами, ординальное измерение задает отношение порядка между категориями какого-то свойства, но не позволяет говорить о том, «на сколько» или «во сколько раз» одна категория больше другой, т. е. ни точка отсчета (абсолютный ноль), ни единица измерения здесь не могут быть определены.

Об интервальном уровне измерения можно говорить тогда, когда мы способны не только определить количество интересующего нас свойства в эмпирических наблюдениях, но также определить равные расстояния между категориями, т. е. ввести единицу измерения. Соответственно числовое приписывание становится здесь менее произвольным: объекту (наблюдению) присваивается число, соответствующее количеству измеряемого свойства, т. е. мы можем установить отношения равенства уже не между самими объектами, а между интервалами числовой шкалы: равные разности чисел соответствуют равным разностям значений измеряемого свойства или признака. Классический пример интервального измерения в физических науках — это измерение температуры по шкале Цельсия (или Фаренгейта). Единицы измерения — градусы — равны, однако «0» — это произвольная точка. При 0°С вода замерзает, однако свойство «иметь температуру» отнюдь не исчезает. Если нулевая точка неабсолютна, то бессмысленноутверждать, что 30°С предполагают в три раза больше свойства «температура», чем 10°С.

Шкала температуры Кельвина, как известно, начинается с абсолютного нуля, и этот абсолютный нуль имеет определенный физический смысл (вспомните термодинамику), так что можно даже сказать, что здесь «температура кончается». Шкала Кельвина — это шкала отношений. То же можно сказать и о физическом измерении расстояний, в частности, об измерении роста. Человек, имеющий рост в 2 метра, в два раза выше ребенка, чей рост 1 метр. Возраст человека, доход — другие примеры шкалы отношений.

Во-первых, отметим, что наше изложение существующих представлений об уровнях измерения — пусть оно и было далеко не полным[138], позволило заметить, что хотя приписывание чисел объектам возможно практически всегда, далеко не все операции над полученными числами будут иметь какой-то смысл. Соответственно далеко не все методы группировки и статистического анализа данных уместны для номинального или, скажем, интервального уровня измерения (с ними социологам чаще всего приходится иметь дело). Существуют различные техники анализа для разных уровней измерения переменных. Специальные методы построения социологических шкал, о которых будет говориться далее, также основаны на определенных представлениях о метрике переменных, т.е. об уровне их измерения. Все эти соображения должны быть приняты во внимание и при конструировании инструмента сбора данных, например, вопросника. Если мы хотим анализировать переменную «образование» по крайней мере на интервальном уровне, нам, вероятно, лучше использовать показатель «количество лет, затраченных на получение образования» и включить в анкету соответствующие вопросы. Однако если наша цель ¾ всего лишь показать, что лица с высшим образованием или ученой степенью чаще выписывают научно-популярные журналы, достаточно будет использовать привычные «ординальные» категории ¾ неполное среднее, среднее, высшее и т.п. (кстати, при анализе они, возможно, будут рассматриваться как номинальные).

Важно помнить, что каждая переменная может быть измерена на разных уровнях. Выбор определяется практическими соображениями, требованиями к качеству измерения (как правило, существует обратная зависимость между уровнем и качеством измерения, о чем еще будет говориться дальше), предполагаемой стратегией анализа данных. Практически всегда данные, позволяющие получить высокий уровень измерения, могут быть перегруппированы так, что уровень измерения станет ниже (обратное утверждение, к сожалению, неверно). Например, при анализе мы можем разбить наших респондентов на три возрастные категории, хотя в опросе использовали семь. Важно, однако, и то обстоятельство, что исследователь, использующий наши данные для вторичного или сравнительного анализа (возможно, мы и сами захотим к ним вернуться) сможет пользоваться «сырыми» более дробными категориями.

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: