Типы вероятностных выборок и их реализация

Во-вторых, следует определить предполагаемый объем выборки, т. е. ожидае­мое число опрошенных.

В-третьих, нужно извлечь из таблицы случайных чисел (см. табл. 7.1) столько чисел, сколько нам требуется выборочных единиц. Если в выборке должно ока­заться 100 человек, из таблицы берут 100 случайных чисел.

В-четвертых, нужно выбрать из списка-основы (см. выше) те наблюдения, но­мера которых соответствуют выписанным случайным числам[173].

Прежде чем мы перейдем к обсуждению возникающих на этом пути практи­ческих затруднений, рассмотрим упрощенный пример реализации описанной процедуры.

Пусть нам предстоит построить случайную выборку объемом в 12 человек из совокупности, содержащей 60 членов. Можно предположить, что мы хотим оценить калорийность ежедневного рациона питания 60 студентов-социологов, обучающихся на втором курсе университета, чтобы исследовать возможное вли­яние энергетической ценности рациона на академическую успеваемость. Для этого можно пронаблюдать за питанием небольшой выборки, состоящей из две­надцати студентов. В качестве основы выборки мы используем список всех 60студентов. Присвоим всем студентам в списке двузначные номера — от «01» до «60» (если бы максимальный номер в списке был трехзначным, мы бы при­сваивали трехзначные номера, используя нули в отсутствующих разрядах — например, «067», «003»). Далее нам предстоит последовательно выписать две­надцать двузначных чисел из таблицы случайных чисел (см. табл. 7.1). Отме­тим, что таблицы случайных чисел фактически состоят из случайных цифр, которые обычно сгруппированы для удобства в блоки, состоящие из двузнач­ных либо пятизначных чисел. Объединение цифр в последовательности и бло­ки условно и не имеет особого статистического смысла. Поэтому в случаях, когда нужны, например трехзначные числа, а таблица состоит из пятизначных, пользуются каким-то несложным правилом, скажем, используют только три первые цифры каждого пятизначного числа, а оставшиеся две игнорируют. Со­ответственно двузначные числа можно объединять.

Чтобы решить, с какого места в таблице начинать отсчет номеров, достаточно задаться произвольными номерами строки и столбца. В нашем примере мы нач­нем с пересечения второй строки и третьего столбца. Первым номером в нашем списке окажется 51. Далее можно двигаться по любому правилу: подряд, через строку, через два столбца и т. п. Мы будем выписывать нужные нам двенадцать двузначных номеров подряд по строке, двигаясь по горизонтали и переходя при необходимости на следующую строку.

Если при этом будут попадаться числа, превосходящие по величине самый боль­шой номер в нашем списке (60), мы будем их пропускать. То же относится и к повторяющимся числам. В результате мы получим последовательность:

51, 32, 41, 15, 09, 49, 10, 04, 06, 38, 27, 07.

Нам остается выписать из списка-основы фамилии, стоящие под этими номера­ми. Если вы располагаете персональным компьютером, то вместо таблицы можно воспользоваться «генератором случайных чисел», имеющимся в большинстве статистических программ.

Простая случайная выборка — это не только наглядное воплощение идеи слу­чайного отбора, но и своего рода эталон, с которым сравниваются другие веро­ятностные процедуры. Здесь необходимо заметить, что вопреки часто высказы­ваемому и неверному мнению простую случайную выборку не следует рассмат­ривать как самую примитивную форму вероятностного отбора. Напротив, более сложные модели случайных выборок используют в тех случаях, когда простую нельзя применить из-за практических или финансовых ограничений. О каче­стве этих более сложных процедур отбора также судят посредством сравнения с простой случайной выборкой.

Самые очевидные ограничения для использования простой выборки воз­никают в случае большого объема генеральной совокупности. Прежде всего исследователь сталкивается с проблемами поиска полной и несмещенной основы выборки. При обследованиях небольших групп и первичных коллективов эти проблемы обычно легко решаются: достаточно воспользоваться членскими списками, списками личного состава и т. п., внеся в них необходимые уточнения. В широкомасштабных опросах общественного мнения и социологических обследованиях чаще применя­ют другие основы: переписные листы, списки избирателей, домовые книги, карточки паспортных столов милиции (а также картотеки РЭУ, ДЭЗ и т. п.), нехозяйственные книги сельских советов. Все эти «гото­вые» основы выборки обладают определенными преимуществами и недостатками[174]. Решая практическую задачу планирования выборочного исследования, социолог обычно оценивает возможные основы по нескольким параметрам.

Во-первых, списки, пригодные для составления основы выборки, могут хра­ниться либо централизованно, либо децентрализованно, «вразброс», в различ­ных территориальных органах власти, статистических учреждениях и т.п. Ес­тественно, что в первом случае затраты на получение доступа к основе будут значительно ниже, чем во втором. Фактически при децентрализованном хране­нии исследователь должен самостоятельно составить единый список-основу, собрав необходимые данные в результате обхода (или объезда) всех соответ­ствующих институций.

Во-вторых, используемые в качестве основы выборки списки могут обладать различной степенью точности. Точность списка, в свою очередь, зависит от его полноты, частоты его обновления. Эти качества (полнота списка и высокая ча­стота его пересмотра) редко встречаются одновременно. Как правило, самыми полными оказываются именно те основы, которые реже всего обновляются. Таковы, конечно, данные переписей или эпизодически составляемые именные распределительные списки (типа списков на получение приватизационных че­ков). К сожалению, чем больше времени отделяет планируемое вами исследо­вание от последней переписи, тем больше вероятность возникновения ошибок и смещений в основе выборки.

Очень существенными достоинствами обладают списки паспортных столов милиции, жилищно-эксплуатационных контор и других местных администра­тивных органов.

Качество основы выборки оценивают уже на стадии планирования исследова­ния. Особое внимание уделяют таким потенциальным угрозам валидности, как неполнота выборочной основы, «склеивание» единиц отбора, «пустые» эле­менты в списке. О неполноте говорят в тех случаях, когда список, используе­мый для построения выборки, не содержит в себе некоторые единицы, безус­ловно относящиеся к целевой совокупности. Например, списки жильцов могут не содержать сведений о тех жильцах, которые еще не зарегистрировались по новому месту жительства. В некоторых случаях проблему неполной основы можно решить за счет использования дополнительных основ. В нашем примере сосписками жильцов такой дополнительной основой могут стать «листки прибытия-убытия», которые хранятся в паспортных столах отделений милиции (с помощью последних ведется учет прописки граждан). Примером «склеивания» может служить ситуация, когда генеральная совокупность, определяемая объектом исследования, состоит из индивидов, а реальной основой отбора слу­жит список квартир или домовладений, содержащий лишь сведения об ответственных квартиросъемщиках либо о собственниках недвижимости. «Пустые» цементы в основе выборки встречаются в тех случаях, когда исходный список содержит имена или адреса, за которыми не стоят реально существующие (или практически доступные) выборочные единицы. Эта проблема часто возникает при использовании устаревших списков, содержащих информацию о временно уехавших, выбывших, умерших и т. п.[175]

Описанные выше трудности составления валидной, т.е. соответствующей объекту исследования (целевой совокупности), основы выборки носят и статистический, и «экономический» характер. Довольно часто исследователь сталкивается с ситуацией, когда временные и финансовые затраты на осуществление простой случайной выборки становятся неприемлемо высокими. Наиболее ра­зумным выходом здесь является использование других, «компромиссных», про­цедур случайного отбора.

Систематическая выборка по качеству часто приближается к простой случай­ной. Систематическая выборка, как и простая случайная, требует полного списка или заданного упорядочения совокупности (см. ниже). Техника осуществления систематического отбора элементарна: сначала случайным образом отбирается первая единица, затем отбору подлежит каждый k-й элемент. Число k в данном случае называют шагом отбора. Можно, например, отбирать каждый 25-й или каждый 200-й элемент. Чтобы определить шаг отбора, нужно поделить изве­стный объем генеральной совокупности (N) на предполагаемый объем вы­борки (n).

Пусть, например, нужно отобрать 200 человек из 20000 владельцев телефонов:

1) определим шаг отбора: N/n = 20000: 200 = 100;

2) с помощью таблицы случайных чисел найдем первую выборочную еди­ницу. Если, скажем, выпал номер «053», то из списка владельцев телефонов выпишем того, кто значится под этим номером;

3) с установленным шагом отбираем номера: 153, 253, 353, 453 и т. д. до исчерпания списка.

Иногда генеральная совокупность (и соответственно основа выборки) слиш­ком велика либо исследователю известен не полный список, а лишь правило упорядочения элементов в генеральной совокупности. Предположим, что мы хотим составить представление о весе и формате книг, содержащихся в некой библиотеке, при том, что мы не располагаем полным каталогом, а лишь видим, как книги расставлены на стеллажах. При условии, что объем библиотечного собрания нам приблизительно известен, мы можем воспользоваться процеду­рой систематического отбора и отобрать, скажем, каждую 55-ю книгу. Очень важно отобрать «стартовую» единицу сугубо случайным образом. Именно в этом пункте кроется основная слабость систематического отбора. Если в способе упорядочения единиц совокупности имеет место некая цикличность, т. е. неиз­вестная нам «система» (систематический паттерн), а случайность в выборе «старта» должным образом не обеспечена, то полученная выборка может так­же оказаться смещенной (если о систематическом паттерне мы знаем заранее, то он не представляет собой угрозы валидности и может быть учтен в ходе отбора). Если воспользоваться примером с отбором книг в библиотеке, то легко представить себе такую гипотетическую ситуацию: исследователь выбирает в качестве стартовой первую книгу на нижней полке ближайшего стеллажа и далее двигается с шагом 250 единиц. Если на каждом стеллаже размещается около 500 книг, то приблизительно половина его выборки будет взята с нижних полок. Однако известно, что на нижних полках многих библиотек нередко раз­мещают книги больших форматов — художественные альбомы, атласы и т. п. Если в нашем примере это правило упорядочения будет соблюдено хотя бы в половине случаев (т. е. половина нижних полок будет отведена под «неформат­ные» издания, под так называемые фолио), любые выборочные оценки «направ­ленности» библиотечного собрания или формата представленных в нем книг окажутся невалидными. Аналогией примеру с библиотечными книгами мо­жет служить случай систематической выборки городских квартир. Если в ре­зультате осуществляемого непосредственно «в поле» интервьюерами система­тического отбора в выборке будут сверхпредставлены квартиры, расположен­ные на первых и последних этажах, возникнет систематическая выборочная ошибка. На первых и последних этажах в российских городах часто живут люди из групп, имеющих более низкий социально-экономический статус и соответственно ограниченные финансовые ресурсы: квартиры, расположенные на «крайних» этажах и соприкасающиеся с системами коммунального водо- и теп­лоснабжения, обычно стоят дешевле, так как названные системы в России тра­диционно являются источником неприятностей и дисфункций в структуре жиз­необеспечения.

Стратифицированный отбор и соответственно стратифицированная выборка используются в тех случаях, когда из каких-то содержательных соображений важно обеспечить представительность вероятностной выборки по каким-то конкретным важным для исследовательских целей критериям. В литературе существует определенная путаница вокруг проблемы стратификации («страта» — это социальная, возрастная или иная группа, буквально «слой»).

Применительно к стратифицированному отбору часто высказывают все те не­верные и предрассудочные мнения, которые в начале XX века высказывались относительно квотной выборки (см. ниже) и ее воображаемых преимуществ перед случайным отбором. В действительности стратифицированный отбор име­ет определенные практические преимущества до тех пор, пока сохраняется его вероятностный, случайный характер. Как только стратифицированная выборка превращается в более или менее специально отобранную квотную выборку, воспроизводящую некоторые известные пропорции генеральной совокупности (например, 51% женщин, 30% горожан и т. п.), любые статистические, т. е. стро­гие, оценки параметров генеральной совокупности становятся невозможными.

Стратификацией, строго говоря, называют процедуру, при которой отбор осу­ществляют как бы из нескольких «параллельных» подсовокупностей, заданных наодной и той же генеральной совокупности. Это абстрактное определение можно прояснить с помощью примера. Пусть у нас есть генеральная совокуп­ность взрослых горожан, относительно которой мы располагаем какой-то су­щественной с точки зрения исследовательских гипотез информацией. Наличие такой предварительной информации — необходимое условие стратифициро­ванного отбора. Предположим, мы знаем, что в генеральной совокупности 60% рабочих и 40% служащих. Это соотношение может оказаться весьма суще­ственным с точки зрения наших исследовательских гипотез, если оно задает одну из независимых переменных, как, например, при изучении влияния рода занятий на частоту посещения футбольных матчей. Даже при отсутствии зна­чительной систематической погрешности небольшие смещения в реализации случайной выборочной процедуры могут привести к ситуации, когда в нашей конкретной выборке соотношение рабочих и служащих будет существенно (на 5—7%) отклоняться от ожидаемой «правильной» пропорции, имеющей место в генеральной совокупности (см. обсуждение нормальной кривой и индук­тивного статистического вывода в гл. 8). Соответственно под угрозой окажется точность наших оценок взаимосвязи между главной независимой переменной (профессиональным статусом) и интересом к футболу. Такого рода неточность может быть устранена при использовании еще одной случайной выборки из генеральной совокупности, но здесь вступают в силу экономические соображе­ния, так как исследовательский бюджет обычно ограничен. В описанной ситу­ации желательно заранее обеспечить представленность обеих интересующих нас групп, т. е. страт, сохранив вероятностный характер отбора. Этого можно добиться, если осуществить некую независимую процедуру случайного отбора для каждой социальной группы в отдельности (в нашем примере для рабочих и служащих) и затем объединить полученные случайные подвыборки в одну (за­метьте, что для нашего примера объем подвыборки рабочих, в согласии с зара­нее известной пропорцией, будет в 1,5 раза больше объема подвыборки служа­щих). Полученная в результате выборка будет и стратифицированной (по про­фессиональному статусу), и вероятностной.

На практике две случайные процедуры отбора в подвыборки-страты можно тех­нически объединить в одну, если мы располагаем априорной информацией о принадлежности каждой выборочной единицы к той или иной страте. Для это­го достаточно вести параллельный отбор из списка-основы в несколько подвыборок (по числу страт). Собственно выборочная процедура может быть и про­стой случайной, и систематической (соответственно мы получим либо про­стую, либо систематическую стратифицированную выборку).

Рассмотрим эту процедуру на примере составления систематической выборки населения, стратифицированной по этнической принадлежности. Пусть мы осуществляем выборку взрослых жителей небольшого промышленного центра, при этом полученная выборка должна отражать существу­ющую этнодемографическую ситуацию: 80% русских, 10% украинцев и 10% представителей других национальностей. Основываясь на информа­ции, хранящейся в паспортных столах милиции (или на избирательных списках), мы в идеальном случае можем составить полный список-осно­ву, включающий 100000 известных административным органам постоян­ных жителей. Если предварительно мы предполагаем включить в нашу выборку около 1000 человек, нам нужно отобрать из картотек паспортных столов (или избирательных списков) каждого сотого. То есть доля генеральной совокупности f, включенная в выборку, составит ¹/₁₀₀:

f = объем выборки (и) / объем целевой совокупности (N).

Выборка объемом в 1000 человек будет включать в себя 800 русских, 100 украинцев и 100 представителей других национальностей. Причем шаг систематического отбора (К) для всех трех подсовокупностей будет равен 100.

Определение шага отбора (К):

80000 человек в «русской» страте: 800 русских в выборке = 100;

10000 человек в «украинской» страте: 100 украинцев в выборке = 100;

10000 человек в страте «другие национальности»: 100 представителей других национальностей в выборке = 100.

Таким образом, мы будем выписывать из реальныхкартотек (списков) каж­дого сотого русского, каждого сотого украинца и т.п. (естественно, украинцы и представители других национальностей будут встречаться в спис­ках в среднем в 10 раз реже русских)[176].

Выборка в описанном нами примере является пропорциональной, так как она представляет все страты в той пропорции, в которой они содержатся в гене­ральной совокупности. Пропорциональный стратифицированный отбор особен­но важен для целей дескриптивной, описательной статистики, т. е. когда пе­ред исследователем стоит задача, основываясь на выборке, описать, как рас­пределены те или иные параметры в разных группах генеральной совокупности. Именно так обычно можно сформулировать цель предвыборного опроса, мар­кетингового исследования покупательских предпочтений и т. п. Еще одним пре­имуществом стратифицированного вероятностного отбора является уменьше­ние такого источника общей ошибки измерения, как дисперсия выборки. Не вдаваясь здесь в статистические тонкости, заметим, что стратификация умень­шает так называемую стандартную ошибку (определение и формулу для стан­дартной ошибки см. в главе 8) лишь в том случае, если интересующая иссле­дователя переменная значительно варьирует между стратами, т. е. когда зара­нее выделенные страты (например, возрастные группы) сильно отличаются по уровню измеряемой переменной (например, по частоте посещения дискотек). При этом различия внутри страт должны быть относительно невелики, т. е. межгрупповой разброс значений переменной должен значительно превос­ходить внутригрупповой.

Иногда, однако, основной задачей исследования является сравнение различных, обычно важных с точки зрения некоторой теории, групп внутри выборки с це­лью описания некоторого соотношения, имеющего место в генеральной сово­купности. Некоторые из таких «теоретически релевантных» групп могут быть весьма малочисленными. Для того чтобы сделать такие малочисленные груп­пы-субпопуляции статистически сопоставимыми с другими группами и, следо­вательно, получить статистически значимые выводы о существующих (несу­ществующих) межгрупповых различиях, можно использовать два метода.

Первый метод заключается в увеличении объема выборки. В этом случае про­порционально возрастает объем «редкой» страты, но столь же быстро (а иногда и быстрее) растут расходы на проведение исследования. Если, например, пожи­лые люди старше 85 лет составляют лишь ¹/₂₀ часть целевой совокупности горо­жан-пенсионеров, то в исследовании эффективности социальной работы с по­жилыми людьми нам понадобится выборка объемом 4000 пенсионеров, чтобы получить 200 наблюдений, относящихся к редкой подсовокупности тех, кто старше 85.

Другой, более дешевый, метод заключается в непропорциональной стратификации, т. е. в непропорциональном отборе из различных подсовокупностей. Нередко возникает необходимость сделать «распространенные» и «редкие» страты равно представленными в выборке. Если вернуться к обсуждавшемуся выше примеру исследования городского населения, можно, в частности, представит_; ситуацию, когда необходимо сравнить кулинарные предпочтения русских и ук­раинцев. Очевидно, не вполне корректно сравнивать 800 русских и 100 украин­цев. В этом случае можно прибегнуть к непропорциональному систематичес­кому отбору из названных страт: если отбирать каждого 200-го русского и каж­дого 25-го украинца, мы получим две вполне сопоставимые, равные по объему, — 400 и 400 человек — подвыборки (однако эти равные подвыборки будут непропорционально репрезентировать доли соответствующих подсовокупностей, в чем можно убедиться, самостоятельно произведя подсчеты по описанным выше формулам).

Выбор между пропорциональной и непропорциональной стратификацией ис­следователь осуществляет, исходя из содержательных и экономических сооб­ражений. Нужно, однако, иметь в виду некоторые «послевыборочные» послед­ствия непропорционального отбора, с которыми социологи сталкиваются на стадии анализа[177]. В частности, для получения более точных оценок распреде­ления исследуемых переменных иногда приходится применять так называемое взвешивание (иногда употребляют термин «перевзвешивание»). Взвешивание используют также для того, чтобы исключить влияние некоторых типов систе­матического смещения в основе выборки и других типов систематической ошибки измерения (см. гл. 6). Например, взвешивание полезно для исключения смещений, возникающих из-за дублирования в списке-основе или, наоборот, из-за наличия систематических «пропусков» для какой-то одной группы (ска­жем, если в списке пропущено много пожилых людей, постоянно проживаю­щих с детьми, но прописанных по другому адресу). Так как необходимость взвешивания чаще всего вызвана нарушением исходных соотношений, пропорций между входящими в целевую совокупность группами, мы опишем общую идею этой процедуры на примере непропорционального стратифи­цированного отбора.

Напомним, что к непропорциональной стратифицированной выборке прибега­ют в тех случаях, когда точность оценок для выборки в целом или для отдель­ных подгрупп (субпопуляций) внутри выборки оказывается недостаточной. В этом случае доли генеральной совокупности (f) будут различны для разных страт. Последнее утверждение равносильно признанию разной вероятности попадания в выборку для единиц, принадлежащих к разным стратам. Как со­вместить неравные вероятности отбора с данным нами выше определением вероятностной (случайной) выборки, в котором подчеркивалось равенство шан­сов попадания в выборку для всех входящих в генеральную совокупность единиц-«случаев»? Некоторые статистики считают предложенное нами выше оп­ределение не вполне точным и предпочитают говорить о вероятностной выбор­ке как о выборке, где каждая единица отбора имеет «известную, ненулевую вероятность быть включенной в выборку» [178], хотя шансы для различных единиц не обязательно равны. Существующее многообразие определений вероят­ностной выборки восходит к давней дискуссии о правомерности выводов, ос­нованных на априорных («до») и апостериорных («после испытания») вероятностях. Мы, однако, сохраним наше определение случайной выборки, внеся в него некоторое уточнение: когда шансы попадания в выборку неравны, как при непропорциональном отборе из страт, они могут быть выровнены при помощи взвешивания на стадии анализа, т.е. на собственно послевыборочной стадии исследования (конечно, если отбор внутри страт сохраняет свой случайный и равновероятный характер). Для этого нужно внести определенные поправки в полученные данные, а именно — приписать некоторым наблюдениям (классам наблюдений) больший «вес», компенсирующий меньшие шансы попадания в выборку (и наоборот).

Результатом приписывания веса каждому наблюдению является увеличение точности оценок для исследуемых параметров. Вес каждой единицы (респон­дента) в k-й страте равен отношению числа таких элементов в генеральной со­вокупности к объему выборки для k -й страты[179], т.е.:

При расчете среднего или других параметров (см. гл. 8) каждое наблюдавшееся значение просто умножается на весовой коэффициент «своей» страты.

В частности, среднее значение какого-то параметра совокупности (например, средний доход или среднее количество хронических заболеваний) будет рав­няться просто взвешенной сумме средних значений для отдельных страт:

Формула расчета стандартной ошибки (см. гл. 8) для стратифицированной вы­борки также включает в себя весовые коэффициенты, w:

Стандартные компьютерные программы, используемые при статистическом анализе данных, всегда содержат элементарные процедуры взвешивания.

Вернемся к нашему примеру с непропорциональным стратифицированным отбoром русского и украинского населения. Предположим, мы выяснили, что в среднем каждая украинская семья заготавливает на зиму 50 кг варенья, тогда как среднее значение для русской страты составило 40 кг. Для украинской стра­ты весовой коэффициент составит:

w _укр.= 10000: 400 = 25.

Соответственно для русского населения:

w _русск. = 80000: 400 = 200.

С учетом этих весовых коэффициентов уточненная оценка среднего запаса варенья в выборке составит:

х = 25 • 50 • 400 + 200 • 40 • 400 /100000 = 37 кг.

Если бы мы не учли в своих расчетах сверхпредставительность украинцев в нашей непропорциональной стратифицированной выборке, то оценка среднего запаса варенья для всей совокупности оказалась бы завышенной (45 кг).

Четвертый тип вероятностной выборки, используемой социологами, — это кла­стерная выборка. «Кластеры» (дословно с англ. — гроздья) — это естествен­ные группировки единиц наблюдения. Например, популяция избирателей име­ет тенденцию жить в городах и деревнях, генеральная совокупность военнос­лужащих естественным образом группируется по воинским частям и подразделениям, а совокупность студентов — по университетам, институтам и колледжам. Способность к образованию локальных группировок, которую об­наруживают генеральные совокупности, изучаемые социологами, при соблю­дении ряда условий позволяет уменьшить расходы на получение единицы ин­формации.

Цель использования кластерной выборки таким образом заключается в повы­шении эффективности затрат на проведение исследования. При фиксирован­ном бюджете и объеме выборки социолог получает возможность снизить об­щие расходы на проведение личных интервью преимущественно за счет умень­шения транспортных расходов[180].

В общем случае кластерная выборка основана на первоначальном отборе груп­пировок (кластеров) и затем — на изучении всех единиц внутри кластеров. Возможными примерами кластеров, используемых в больших общенациональ­ных опросах, являются сельские районы, городские квартиры, избирательные участки. При изучении специфических популяций используются иные клас­теры: больницы — при изучении пациентов, школы — при изучении школь­ников и т. п.

Корректное применение кластерной процедуры основано на неукоснительном соблюдении четырех необхо

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...

Конфликты в семейной жизни. Как это изменить? Редкий брак и взаимоотношения существуют без конфликтов и напряженности. Через это проходят все...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: