VI. Одновременный подсчет всех описательных статистик

Необходимость включения в параграф данного раздела вызвана следующим:

1) Чаще всего в курсовых и дипломных проектах, диссертационных исследованиях описание и интерпретация полученных результатов строятся на основе использования критериев сравнения

выборок, дисперсионном, корреляционном, факторном и других видах анализа. Описательные

статистики являются только начальным, и, зачастую, «поверхностным» анализом, дающим основание указывать лишь на тенденции.

При этом ключевыми выступают такие меры анализа значений, как Mx, σx и Cv.

2) В связи с этим включение в описание показателей Моды, Медианы, Минимума, Максимума,

Размаха, Суммы, Эксцесса, Асимметрии, Стандартной ошибки приводит к неоправданному увеличению объема работы при низкой объяснительной ценности выводов.

Поэтому необходимо быть внимательным и достаточно уверенным в том, что включение указанных

мер в описание результатов даст важный с объясняющей точки зрения результат.

3) Тем не менее, важно отметить, что все рассмотренные в параграфе описательные статистики (за исключением Cv) могут быть быстро подсчитаны за один раз в меню Частоты: Статистики.

Для этого выполните следующий порядок действий:

Шаг 1 На панели инструментов выберите меню Анализ → Описательные статистики → Частоты.

Шаг 2 В меню Частоты (рис. 11) перенесите переменную А из левого окна в окно Переменные:,

повторите это действие для всех остальных переменных, кроме переменной школа и выберите команду Статистики.

Шаг 3 В открывшемся меню Частоты: Статистики (рис. 13) установите галочки:

а) в группе команд Расположение установите галочки для команд Среднее, Медиана,

б) в группе команд Распределение установите галочки для команд Асимметрия и

в) в группе команд Разброс установите галочки для команд Стандартное отклонение, Дисперсия, Размах, Минимум, Максимум, Стандартная ошибка среднего и нажмите Продолжить.

Шаг 4 В открытом меню Частоты снимите галочку для команды Вывести частотные таблицы и нажмите ОК.

Откройте файл-пример SPSS Описания СР.sav в программе IBM SPSS Statistics 19.

В файле представлены результаты диагностики тревожности, субъективного благополучия и академической успеваемости студентов, проживающих в городской и сельской местности (n=49).

В анализе участвуют следующие переменные: дом: 1 – город, 2 – сельская местность; РеактТрев: реактивная тревожность; ЛичнТрев: личностная тревожность; СубБлаг: субъективное благополучие;

1) Подсчитайте значения мер центральной тенденции и изменчивости, характеристик диапазона и формы распределения для всех переменных, кроме переменной дом.

В файле представлены результаты, аналогичные представленным в файле SPSS Описания СР.sav

1а) Подсчитайте значение Cv для всех переменных, кроме переменной дом.

1б) Опишите и проинтерпретируйте полученный результат исходя из рассмотренных в параграфе

В файле представлены результаты, идентичные представленным в файле SPSS Описания.sav

1а) Подсчитайте значение показателя Cv для всех 16-ти черт личности, продиагностированных по методике 16 PF Кеттелла.

1б) Опишите и проинтерпретируйте полученный результат исходя из рассмотренных в параграфе

КРАТКОЕОПИСАНИЕИСПОЛЬЗУЕМЫХПРОЦЕДУРАНАЛИЗА

В большинстве случаев рассмотренные в параграфе описательные статистики используются в качестве начального этапа описания результатов эмпирического исследования. За редким

исключением все четыре группы описательных статистик используются вместе, что, тем не менее, приводит к неоправданному увеличению объема текста работы при снижении объяснительной силы формулируемых выводов.

2) В большинстве случаев при описании результатов эмпирического исследования (прежде всего в курсовой, дипломной работе, магистерской диссертации) достаточным является использование показателей Mx, σx и Cv.

3) Ограничением программы IBM SPSS Statistics 19 является отсутствие в ней функции подсчета Cv.

Для этой цели используется программа Excel пакета офисных приложений Microsoft Office.

Рассмотренные в параграфе характеристики формы распределения – Эксцесс и Асимметрия, за

редким исключением используются вместе с другими описательными статистиками.

Чаще всего они применяются для установления степени нормальности формы распределения значений и выбора на их основе критериев сравнения (см. § 5 и § 6) и коэффициентов корреляции

Афанасьев, В. В. Теория вероятностей [Текст] / В. В. Афанасьев. – М.: ВЛАДОС, 2007. – 350 с.

2. Бурлачук, Л. Ф. Словарь-справочник по психодиагностике [Текст] / Л. Ф. Бурлачук, С. М. Морозов. – СПб.: Питер, 2001. – 528 с.

3. Лакин, Г. Ф. Биометрия [Текст] / Г. Ф. Лакин; изд. 4-е, перераб. и доп. – М.: Высшая школа, 1990. -

4. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 1. – М.: Советская энциклопедия, 1977.

5. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 2. – М.: Советская

6. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 3. – М.: Советская энциклопедия, 1982.

7. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 4. – М.: Советская энциклопедия, 1982.

8. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 5. – М.: Советская

9. Наследов, А. Д. Математические методы психологического исследования. Анализ и интерпретация данных [Текст] / А. Д. Наследов. – СПб.: Речь, 2004. – 392 с.

10.Наследов, А. Д. SPSS 19. Профессиональный статистический анализ данных [Текст] / А. Д.

11.Поллард, Дж. Справочник по вычислительным методам статистики [Текст] / Дж. Поллард. – М.: Финансы и статистика, 1982. – 344 с.

12.Сидоренко, Е. В. Методы математической обработки в психологии [Текст] / Е. В. Сидоренко. -

Мера центральной тенденции. 1. Число, характеризующее выборку по уровню выраженности измеренного признака [5. С. 40]. 2. Характеристики совокупности переменных (признаков), указывающие на наиболее типичный, репрезентативный для изучаемой выборки результат [2. С. 175]. Мера изменчивости. 1. Численное выражение величины межиндивидуальной вариации признака [5. С. 44]. 2. Статистический показатель вариации (разброса) признака (переменной) относительно среднего значения, степени индивидуальных отклонений от центральной тенденции распределения [2. С. 173].

Среднее арифметическое (Mx, x¯,) 1. Сумма всех значений измеренного признака, деленная на

количество суммированных значений [5. С. 41]. 2. Центр распределения, вокруг которого

группируются все варианты статистической совокупности; сумма всех членов совокупности, деленная на их общее число [3. С. 38].

Стандартное (среднее квадратическое) отклонение (σ, σx, Sx). 1. Положительное значение квадратного корня из дисперсии [5. С. 45]. 2. Квадратный корень из суммы квадратов отклонений индивидуальных значений признака от среднего, то есть дисперсии [2. С. 174].

· оценка уровня развития морального сознания юношей и девушек, участвующих в волонтерском движении (методика исследования морального сознания Lawrence Kohlberg);

· оценка эмоционального состояния физически здоровых спортсменов и спортсменов-инвалидов, увлекающихся разными видами спорта (опросник

самооценки эмоциональных состояний Alden E. Wessman, David F. Ricks);

· оценка уровня интеллектуального развития девочек и мальчиков дошкольного возраста из полной и неполной семьи, посещающих и не посещающих детский сад (тест «Нарисуй человека» Florence L. Goodenough).

- ограничения по объему выборки соответствуют ограничениям, представленным в § 1, 2, 3;

- не обязательно должно соответствовать нормальному виду.

Откройте файл SPSS Сравнение средних.sav в программе IBM SPSS Statistics 19.

В файле представлены результаты диагностики психологических особенностей личности работников сферы социального сервиса и туризма (n=85).

стаж: 1 – до 1 года, 2 – от 1 до 3 лет, 3 – от 3 до 7 лет, 4 – от 7 до 15 лет;

должность: 1 – руководитель; 2 – исполнитель;

сфера: 1 – салон красоты; 2 – дом творчества; 3 – быстрое питание; 4 – туризм; 5 – оздоровительный центр;

аффил1: мотивация аффилиации – стремление к людям;

аффил2: мотивация аффилиации – боязнь быть отвергнутым.

I. Сравнение средних при одной номинативной переменной

Шаг 1 На панели инструментов выберите меню Анализ → Сравнение средних → Средние.

Шаг 2 В меню Средние (рис. 17) перенесите из левого окна переменную мотивдостиж в окно Список зависимых переменных, а переменную пол в окно Список независимых переменных, и нажмите ОК.

В открывшемся окне Вывод представлены результаты подсчета Мх и σx для женской и мужской выборки. Описанию и интерпретации подлежит таблица под заголовком Отчет (столбцы Среднее и Стд.Отклонение) (см. ниже):

Таким образом, отличие данной процедуры от кросстабуляции состоит в подсчете не частоты (как показателя номинативной переменной пол), а количественных показателей Мх и σx (как показателей количественной переменной мотивдостиж).

Учитывая простоту описания и интерпретации, не будем подробно останавливаться на анализе значений Мх и σx.

II. Сравнение средних при двух и более номинативных переменных

Шаг 1 На панели инструментов выберите меню Анализ → Сравнение средних → Средние.

Шаг 3 а) Для включения в анализ второй номинативной переменной (должность) в открытом меню Средние в группе команд Слой 1 из 1 выберите команду Следующий и перенесите из левого окна переменную должность в окно Список независимых переменных, нажмите ОК.

Таким образом в анализ была включена вторая номинативная переменная, что позволило построить таблицу сопряженности пол * должность для количественной переменной мотивдостиж.

б) Если в анализ необходимо включить третью номинативную переменную (например, стаж), то после перенесения переменной должность в окно Список независимых переменных выберите команду Следующий и перенесите из левого окна переменную стаж в окно Список независимых переменных и нажмите ОК.

В открывшемся окне Вывод (после выполнения Шага 3а) представлены результаты подсчета Мх и σx для руководителей и исполнителей женского и мужского пола. Описанию и интерпретации подлежит таблица под заголовком Отчет (столбцы Среднее и Стд.Отклонение) (см. ниже).

Учитывая простоту описания и интерпретации, не будем подробно останавливаться на анализе значений Мх и σx.

2) Если в задачу исследования входит подсчет таблицы сопряженности с тремя и более номинативными переменными, то после выполнения Шага 3б в открывшемся окне Вывод в столбце N таблицы Отчет видно, что мы столкнулись с рассматривавшимся в § 1. Кросстабуляция ограничением: при увеличении числа и градаций номинативных переменных количество испытуемых, входящих в каждую категорию, существенно снижается. Это, в свою очередь, ведет к снижению статистической значимости и повышению вероятности статистической ошибки.

Так, в нашем примере (см. таблицу ниже) в группе женщин руководителей со стажем работы до 1 года оказалось всего 3 испытуемых, что не дает возможности говорить даже о тенденции, не говоря уже о поиске какой-либо закономерности.

Для снижения вероятности статистической ошибки следует воспользоваться правилом, о котором мы говорили в § 1. Кросстабуляция:

при 4-х номинативных переменных ≈n≥300 и т.д.

III. Сравнение средних с включением дополнительных параметров

Формируя в первой и второй частях параграфа окно Вывод, программа автоматически включает в таблицу Отчет три показателя: Мх (столбец Среднее), количество наблюдений (столбец N) и σx (столбец Стд.Отклонение).

Возможности окна меню Средние (рис. 17) позволяют достаточно просто добавлять или исключать показатели из анализа, используя команду Параметры.

Шаг 1 На панели инструментов выберите меню Анализ → Сравнение средних → Средние.

Шаг 2 В меню Средние перенесите из левого окна переменную мотивдостиж в окно Список зависимых переменных, а переменную пол в окно Список независимых переменных и выберите в правой верхней части окна команду Параметры.

Шаг 3 В открытом меню Средние: Параметры (рис. 18) в правом окне Статистики в ячейках: по умолчанию установлены показатели Среднее (Мх), Количество наблюдений (N) и Стандартное отклонение (σx).

а) Если для описания результатов требуется только один показатель (например, Среднее), удалите из списка в окне Статистики в ячейках: остальные показатели, выделив каждый и нажав кнопку со стрелкой в середине окна; далее нажмите Продолжить и ОК.

б) Если для описания результатов требуется включить дополнительные показатели (например, Стандартная ошибка среднего), выделите в левом окне Статистики: показатель Стд. ошибка среднего и перенесите его в окно Статистики в ячейках:, нажав кнопку со стрелкой в середине окна; далее нажмите Продолжить и ОК.

Важно учитывать, что при работе с меню Средние: Параметры можно включить в анализ все показатели, имеющиеся в окне Статистики: (всего 21 показатель). Это даст возможность при соответствии задачам исследования осуществить анализ практически всех существующих описательных статистик.

В открывшемся окне Вывод (после выполнения Шага 3б) представлены результаты подсчета Мх, Стандартной ошибки среднего, N и σx для женского и мужского пола. Описанию и интерпретации подлежит таблица под заголовком Отчет (столбцы Среднее, Стд. ошибка среднего, N и Стд.Отклонение) (см. ниже):

Учитывая простоту описания и интерпретации, не будем подробно останавливаться на анализе значений Мх и σx. Напомним лишь, что включение в анализ показателя Количество наблюдений (столбец N) не обязательно.

Откройте файл SPSS Сравнение средних.sav в программе IBM SPSS Statistics 19.

1) Подсчитайте Мх и σx для переменных аффил1 (стремление к людям) и аффил2 (боязнь быть отвергнутым) при одной номинативной переменной пол. При этом исключите из анализа показатель Количество наблюдений.

2) Подсчитайте Мх, σx для переменных аффил1 (стремление к людям) и аффил2 (боязнь быть отвергнутым) при трех номинативных переменных пол, должность и сфера. При этом исключите из

анализа показатель Количество наблюдений, и включите в анализ показатели Стандартная ошибка среднего, Эксцесс, Стандартная ошибка эксцесса, Асимметрия и Стандартная ошибка асимметрии.

КРАТКОЕ ОПИСАНИЕ ИСПОЛЬЗУЕМЫХ ПРОЦЕДУР АНАЛИЗА

Отличием статистической процедуры Сравнение средних от кросстабуляции является возможность подсчета описательных статистик для количественных переменных. При этом можно использовать в качестве группирующих независимых переменных одну, две и более номинативные переменные.

В рассмотренной группе команд меню Средние имеется возможность для подсчета и сравнения не только Мх, но и большинства других описательных статистик, что облегчает работу исследователя по описанию и интерпретации результатов.

Так как чаще всего сравнением средних значений анализ результатов исследования не ограничивается, в меню Анализ → Сравнение средних представлены разновидности t -критерия и однофакторный дисперсионный анализ. Если использование t -критерия требует дополнительной проверки данных на адекватность использования именно t -критерия, то однофакторный дисперсионный анализ может быть использован сразу же при анализе средних значений. Подробную информацию об использовании t -критерия и однофакторного дисперсионного анализа можно найти в

Афанасьев, В. В. Теория вероятностей [Текст] / В. В. Афанасьев. – М.: ВЛАДОС, 2007. – 350 с.

3. Лакин, Г. Ф. Биометрия [Текст] / Г. Ф. Лакин; изд. 4-е, перераб. и доп. – М.: Высшая школа, 1990. - 352 с.

4. Математическая энциклопедия [Текст] / гл. ред. И. М. Виноградов; в 5 тт. – М.: Советская

5. Наследов, А. Д. Математические методы психологического исследования. Анализ и интерпретация данных [Текст] / А. Д. Наследов. – СПб.: Речь, 2004. – 392 с.

6. Наследов, А. Д. SPSS 19. Профессиональный статистический анализ данных [Текст] / А. Д.

7. Сидоренко, Е. В. Методы математической обработки в психологии [Текст] / Е. В. Сидоренко. -

§ 5. Параметрические критерии сравнения выборок

Цель темы: раскрыть содержание основных понятий и процедуры использования параметрических критериев при проведении психологического исследования.

Задачитемы: · знакомство с основными параметрическими критериями;

· анализ особенностей применения и процедуры подсчета параметрических критериев;

· освоение пошаговой процедуры подсчета параметрических критериев.

Параметрические критерии. 1. Методы сравнения двух выборок по признаку, измеренному в метрической шкале. Распределение признака в выборке приблизительно соответствует нормальному

виду [5. С. 163-164]. 2. Построены на основании параметров данной совокупности (например, х¯ и s2x)

и представляющие функции этих параметров; служат для проверки гипотез о параметрах

совокупностей, распределяемых по нормальному закону [3. С. 112].

Независимые выборки. 1. Выборки, которые характеризуются тем, что вероятность отбора любого испытуемого одной выборки не зависит от отбора любого из испытуемых другой выборки [5. С. 22].

2. Допущение независимости предполагает, что представители двух выборок не составляют пары коррелирующих значений признака [5. С. 165].

Зависимые выборки. 1. Выборки, характеризующиеся тем, что каждому испытуемому одной выборки поставлен в соответствие по определенному критерию испытуемый из другой выборки [5. С. 22]. 2. Допущение зависимости чаще всего означает, что признак измерен на одной и той же выборке

дважды, например, до воздействия и после него. Более слабые виды зависимости выборок: выборка 1

– мужья, выборка 2 – их жены; выборка 1 – годовалые дети, выборка 2 – близнецы детей выборки [5.

Критерий t Стьюдента (t, tst; критерий Стьюдента; Student's t-test). Критерий для определения статистической значимости различий двух средних значений [5. С. 372].

Одновыборочный критерий t Стьюдента (t, tst; критерий Стьюдента). 1. Параметрический критерий, позволяющий проверить гипотезу о том, что среднее значение изучаемого признака отличается от некоторого известного значения [5. С. 164]. 2. Критерий, предназначенных для

сравнения среднего значения распределения переменной с некоторой эталонной величиной [5. с. 373].

Критерий t Стьюдента для независимых выборок (t, tst; критерий Стьюдента). Параметрический критерий, позволяющий проверить гипотезу о том, что средние значения двух совокупностей, их которых извлечены сравниваемые независимые выборки, отличаются друг от друга [5. С. 165]. Критерий t Стьюдента для зависимых выборок (t, tst; критерий Стьюдента). Параметрический критерий, позволяющий проверить гипотезу о том, что средние значения двух совокупностей, из которых извлечены сравниваемые зависимые выборки, отличаются друг от друга [5. С. 167].

· сравнение уровня IQ у студентов 1 курса со стандартным Мх=100 (тест David Wechsler (WAIS);

· сравнение уровня экстраверсии/интроверсии у подростков со стандартным средним значением Мх=12 (тест Hans J. Eysenck).

Критерий t Стьюдента для независимых выборок:

· сравнение уровня агрессивности подростков из полной и неполной семьи

· сравнение уровня эмоционального выгорания у студентов 1 и 4 курса

· сравнение уровня эмоциональной устойчивости у педагогов со стажем

· сравнение выраженности стратегии поведения в конфликте

«соперничество» у работников торговой сферы до и после тренинга

- при использовании одновыборочного критерия t n≥30;

- при использовании t для зависимых и независимых выборок n1≥30 и n2≥30;

· распределение: должно соответствовать нормальному виду.

Файл-пример: SPSS Параметрические критерии.sav

Откройте файл SPSS Параметрические критерии.sav в программе IBM SPSS Statistics 19.

В файле представлены результаты диагностики черт личности школьников с разным уровнем успеваемости (методика 16 PF Кеттелла; n=98).

Аугруппа: 1 – неуспевающие, 2 – среднеуспевающие, 3 – успевающие;

А_до: общительность до проведения тренинга;

C_до: эмоциональная устойчивость до проведения тренинга;

А_после: общительности после проведения тренинга;

С_после: эмоциональная устойчивость после проведения тренинга;

успеваемость: академическая успеваемость.

Шаг 1 На панели инструментов выберите меню Анализ → Сравнение средних → Одновыборочный t-критерий.

Шаг 2 В меню Одновыборочный T-критерий (рис. 19) перенесите из левого окна переменную

успеваемость в окно Проверяемые переменные:.

Шаг 3 В ячейке Проверяемое значение: введите цифру 4 и нажмите ОК.

Таким образом, полученное в исследовании Мх успеваемости сравнивается с заданным стандартным значением Мх = 4 балла.

В открывшемся окне Вывод представлены результаты сравнения эмпирического уровня успеваемости с заданным стандартным уровнем.

Описанию и интерпретации подлежит таблица под заголовком Одновыборочный t-критерий (см.

- в столбце Значимость (2-сторонняя) – уровень значимости различий p.

2) Так как целью использования одновыборочного критерия t является установление значимости различий между стандартным и эмпирическим значениями, при интерпретации результатов необходимо, в первую очередь, обратиться к показателю p -уровня:

- если p -уровень ≤0,05, то различия между эмпирическим и стандартным значениями являются статистически значимыми;

- если p -уровень >0,05, то различия между эмпирическим и стандартным значениями являются статистически не значимыми.

3) После установления уровня значимости различий необходимо определить направление различий –

эмпирическое значение больше или меньше стандартного:

- если перед значением t-критерия стоит знак «-» (в нашем примере t= -2,996), то эмпирическое значение ниже уровня стандартного значения;

- если перед значением t-критерия стоит знак «+», то эмпирическое значение выше уровня стандартного значения.

4) В нашем примере результат подсчета следующий:

так как значение p -уровня ≤0,05, а значение t-критерия = -2,996, следует сделать вывод о том, что уровень успеваемости в старших классах статистически значимо ниже заданного стандартного

II. Критерий t Стьюдента для независимых выборок

Шаг 1 На панели инструментов выберите меню Анализ → Сравнение средних → T-критерий для независимых выборок.

Шаг 2 В меню T-критерий для независимых выборок (рис. 20) перенесите из левого окна переменные А_до, В и С_до в окно Проверяемые переменные:.

Шаг 3 В открытом меню T-критерий для независимых выборок перенесите из левого окна переменную пол в окно Группировать по: и выберите команду Задать группы.

Шаг 4 В открытом меню Задать группы (рис. 21) в ячейке Группа 1: установите число 1, в ячейке Группа 2 установите число 2. Нажмите Продолжить и ОК.

Таким образом в меню Задать группы была определена градация выборки по полу.

Рис. 20. Меню T-критерий для независимых выборок

В открывшемся окне Вывод представлены результаты сравнения уровня выраженности черт личности учащихся женского и мужского пола до тренинга (переменные А_до и С_до), а также уровня выраженности черты B (интеллект).

Описанию и интерпретации подлежит таблица под заголовком Критерий для независимых выборок (см. ниже):

- в столбце Значимость (2-сторонняя) – уровень значимости различий p.

2) Перед тем, как приступить к интерпретации результатов использования t-критерия, необходимо выбрать тип t-критерия. Основой для типологии выступает наличие или отсутствие равенства дисперсий двух сравниваемых распределений значений (см. строки таблицы Предполагается равенство дисперсий и Равенство дисперсий не предполагается):

- если p - уровень критерия Ливиня ≤0,05 (столбец Знч. группы столбцов Критерий равенства дисперсий Ливиня), то дисперсии сравниваемых распределений значений статистически достоверно различаются, и принимается решение о выборе второго типа t -критерия – в строке Равенство дисперсий не предполагается;

- если p - уровень критерия Ливиня >0,05 (как в нашем примере – p =0,822, то есть р >0,05), то дисперсии сравниваемых распределений значений статистически достоверно не различаются, и

принимается решение о выборе первого типа t - критерия – в строке Предполагается равенство

3) Выбрав тип t-критерия, можно сделать вывод о значимости различий между сравниваемыми выборками:

- если p -уровень ≤0,05, то различия между выборками являются статистически значимыми;

- если p -уровень >0,05, то различия между выборками являются статистически не значимыми.

4) После установления уровня значимости различий необходимо определить направление различий – уровень выраженности в какой из сравниваемых групп выше и ниже. Порядок определения направления различий идентичен тому, что был описан в отношении t-критерия Стьюдента для одной выборки.

5) В нашем примере результат подсчета следующий:

- для переменной А_до: так как p -уровень критерия Ливиня >0,05, нами был выбран тот

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: