Сдам Сам

ПОЛЕЗНОЕ


КАТЕГОРИИ







ДИСПЕРСИОННЫЙ АНАЛИЗ (А1ЧОУА)





НАЗНАЧЕНИЕ И ОБЩИЕ ПОНЯТИЯ АШУА1

Общепринятое сокращенное обозначение дисперсионного анализа — АЮУА (от англоязычного АЫа1у518 О!-УАпапсе). В соответствии с принятой классификацией, А1ЧОУА — это метод сравнения нескольких (более двух) выборок по признаку, измеренному в метрической шкале. Как и в случае срав­нения двух выборок при помощи критерия /-Стьюдента, А1ЧОУА решает зада­чу сравнения средних значений, но не двух, а нескольких. Кроме того, метод допускает сравнение выборок более чем по одному основанию — когда деле­ние на выборки производится по нескольким номинативным переменным, каждая из которых имеет 2 и более градаций.

ПРИМЕР_____________________________________________________________

Исследовалось влияние на продуктивность воспроизведения вербального матери­ала (К): а) интервала между 5 повторениями (Хх — 3 градации: 1 — 0 мин, 2 — 3 мин, 3—10 мин) и б) трудность материала (Х2 — 2 градации: 1 — легкий, 2 — трудный).

Структура данных:
№. ЛГ, (интервал) Х2 (объем) ^'(эффективность воспроизведения)
       
       
       
       
       
N      

1 В данной главе содержатся лишь самые необходимые сведения о дисперсионном анализе. Более полное изложение особенностей применения этого мощного и многогранного метода читатель может найти в других источниках, например, в кн.: Гусева А. Н. Дисперсионный ана­лиз в экспериментальной психологии. М., 2000.

 

Специфика АЫОУА проявляется в двух отношениях: во-первых, этот ме­тод использует терминологию планирования эксперимента; во-вторых, для сравнения средних значений анализируются компоненты дисперсии изучае­мого признака.

АЫОУА был разработан Р. Фишером специально для анализа результа­тов экспериментальных исследований. Соответственно, различные вари­анты АЫОУА воспроизводят наиболее типичные планы организации эксперимента.

Типичная схема эксперимента сводится к изучению влияния независимой переменной (одной или нескольких) на зависимую переменную. Независи­мая переменная (1пс1ерепс1еп1 УапаЫе) представляет собой качественно опреде­ленный (номинативный) признак, имеющий две или более градации. Каж­дой градации независимой переменной соответствует выборка объектов (испытуемых), для которых определены значения зависимой переменной. Не­зависимая переменная еще называется фактором (Рас(ог), имеющим несколь­ко градаций (уровней). Зависимая переменная (БерепйеШ УапаЫе) в экспери­ментальном исследовании рассматривается как изменяющаяся под влиянием независимых переменных. В модели АЫОУА зависимая переменная должна быть представлена в метрической шкале. В простейшем случае независимая переменная имеет две градации, и тогда задача сводится к сравнению двух выборок по уровню выраженности (средним значениям) зависимой пере­менной.

В зависимости от соотношения выборок, соответствующих разным града­циям (уровням) фактора, различают два типа независимых переменных (фак­торов). Градациям (уровням) межгруппового фактора соответствуют незави­симые выборки объектов. Градациям (уровням) внутригруппового фактора соответствуют зависимые выборки, чаще всего повторные измерения зави­симой переменной на одной и той же выборке.

В зависимости от типа экспериментального плана выделяют четыре основ­ных варианта АЫОУА: однофакторный, многофакторный, АМОУА с повтор­ными измерениями и многомерный АЫОУА. Каждый из этих вариантов дис­персионного анализа будет подробно рассмотрен далее в этой главе, а сейчас ограничимся их краткой характеристикой.

Однофакторный АЫОУА (Опе-УУауАЫОУА) используется при изучении вли­яния одного фактора на зависимую переменную. При этом проверяется одна гипотеза о влиянии фактора на зависимую переменную.

Многофакторный (двух-, трех-,... -факторный) АЫОУА (2-\Уау, З-Шу... АЫОУА) используется при изучении влияния двух и более независимых пере­менных (факторов) на зависимую переменную. Многофакторный АЫОУА позволяет проверять гипотезы не только о влиянии каждого фактора в от­дельности, но и о взаимодействии факторов. Так, для двухфакторного АЫОУА проверяются три гипотезы: а) о влиянии одного фактора; б) о влиянии друго­го фактора; в) о взаимодействии факторов (о зависимости степени влияния одного фактора от градаций другого фактора).

ПРИМЕР_________________________________________________________________________

Предположим, изучается влияние на зрительскую оценку различных фильмов (за­висимая переменная) двух факторов: жанра фильма (мелодрама, комедия, боевик) и пола зрителя. Вполне вероятно, что в результате такого исследования будут обна­ружены не главные эффекты изучаемых факторов (влияние каждого из них в от­дельности), а их взаимодействие. Взаимодействие факторов «жанр фильма» и «пол зрителя» будет означать, что мужчины и женщины по-разному оцениваютфильмы в зависимости от их жанра (фильмы разных жанров оцениваются по-разному, в за­висимости от пола зрителя).

АМОУА с повторными измерениями (Кереа1ей Меазигез АМОУА) применяет­ся, когда по крайней мере один из факторов изменяется по внутригрупповому плану, то есть различным градациям этого фактора соответствует одна и та же выборка объектов (испытуемых). Соответственно, в модели АМОУА с повтор­ными измерениями выделяются внутригрупповые и межгрупповые факторы. Для двухфакторного АМОУА с повторными измерениями по одному из фак­торов проверяются три гипотезы: а) о влиянии внутригруппового фактора; б) о влиянии межгруппового фактора; в) о взаимодействии внутригруппово­го и межгруппового факторов.

Многомерный АМОУА (МиШчапа1е АМОУА, МАЫОУА) применяется, когда зависимая переменная является многомерной, иначе говоря, представляет собой несколько (множество) измерений изучаемого явления (свойства).

Дополнительно выделяют модели АЫОУА с постоянными (фиксированными) и случайными эффектами — различаются способами задания уровней (града­ций) фактора. В модели с постоянными эффектами (Пхес1 РасШз) уровни ос­таются фиксированными (одними и теми же) и при проведении данного вы­борочного исследования: как при обобщении результата на генеральную совокупность, так и при повторном проведении исследования. В модели со случайными эффектами (Капйот Рас1огз) уровни фактора представляют собой более или менее случайную выборку из множества других возможных уров­ней данного фактора. Конечно, интерпретация (обобщение) результатов бу­дет зависеть от используемой модели. При обработке данных различие между моделями в однофакторном АМОУА может не учитываться, но должно учи­тываться в двух- (и более) факторном АМОУА. В последнем случае результаты обработки для разных моделей будут различными. Допускается сочетание фиксированных и случайных факторов в одном исследовании.

ПРИМЕР________________________________________________________________________

Сравнивалась эффективность двух учебных программ. Для этого из нескольких сотен школ города было выбрано 5, а в них — по два параллельных класса, ученики которых обучались по разным программам. Исследование представляло собой ре­ализацию двухфакторного плана с одним фиксированным (учебная программа: две градации) и одним случайным факторами (школа: пять градаций). Такое исследо­вание позволяет проверить гипотезу не только об эффективности учебных программ, но и о том, будет ли различаться их эффективность в разных школах города.


В случае, если фактор имеет более двух градаций, то подтверждение гипо­тезы о его влиянии позволяет сделать лишь неопределенный вывод о том, что по крайней мере две градации фактора различаются. Для более конкретного вывода о том, какие именно градации фактора различаются, в АЫОУА пре­дусмотрена процедура множественных сравнений (Роз(Нос тиШр1е сотратоп

Во всех вариантах АЫОУА наряду с изучением влияния факторов допуска­ется изучение влияния метрической независимой переменной. Метрическая независимая переменная в этом случае называется ковариатой (Соуапа1е), и дисперсионный анализ включает в себя ковариационный анализ.

Математическая идея АЫОУА основана на соотнесении межгрупповой и внутригрупповой частей дисперсии (изменчивости) изучаемой зависимой переменной. Известно, что при объединении двух (или более) выборок с при­мерно одинаковой дисперсией, но с разными средними значениями диспер­сия увеличивается пропорционально различиям средних значений этих вы­борок. Это связано с тем, что к внутригрупповой дисперсии добавляется дисперсия, обусловленная различиями между группами. В модели АЫОУА внутригрупповая изменчивость рассматривается как обусловленная случай­ными причинами, а межгрупповая — как обусловленная действием изучаемого фактора на зависимую переменную. Соответственно, в общей изменчивости (дисперсии) зависимой переменной выделяются две компоненты: внутригруп­повая (случайная) и межгрупповая (факторная) изменчивость. Чем больше отношение межгрупповой изменчивости к внутригрупповой, тем выше фак­торный эффект — тем больше различаются средние значения, соответствую­щие разным градациям фактора.

Нулевая гипотеза в АЫОУА содержит утверждение о равенстве межгруппо­вой и внутригрупповой составляющих изменчивости и подразумевает направ­ленную альтернативу — о том, что межгрупповая составляющая изменчивости превышает внутригрупповую изменчивость. Нулевой гипотезе соответствует равенство средних значений зависимой переменной на всех уровнях фактора. Принятие альтернативной гипотезы означает, что по крайней мере два сред­них значения различаются (без уточнения, какие именно градации фактора различаются).

Основные допущения АЫОУА. а) распределения зависимой переменной для каждой градации фактора соответствуют нормальному закону; б) дисперсии выборок, соответствующих разным градациям фактора, равны между собой; в) выборки, соответствующие градациям фактора, должны быть независимы (для межгруппового фактора). Выполнение допущения о независимости вы­борок является обязательным в любом случае. Последствия нарушений ос­тальных двух допущений требуют специального рассмотрения.

Нарушение предположения о нормальности распределения, как показали мно­гочисленные исследования, не оказывает существенного влияния на резуль­таты АЫОУА (Шеффе, 1980; Гласс, Стэнли, 1977 и др.). Следовательно, перед проведением АЫОУА нет необходимости в проверке соответствия выбороч­ных распределений нормальному закону.

Нарушение предположения о равенстве (однородности, гомогенности) дис­персий имеет существенное значение для АЫОУА в том случае, если сравнива­емые выборки отличаются по численности. Таким образом, если выборки, со­ответствующие разным градациям фактора, отличаются по численности, то необходима предварительная проверка гомогенности (однородности) диспер­сий. В компьютерных программах это осуществляется при помощи критерия Ливена (Ьеуепе'з Тез! оГ Ното§епеИ:у оГУапапсез). Если выборки заметно раз­личаются по численности и дисперсии по критерию Ливена различаются ста­тистически достоверно, то АЫОУА к таким данным не применим, следует вос­пользоваться непараметрической альтернативой.

В основе современных программных реализаций дисперсионного анализа ле­жит представление о родственности дисперсионного и множественного регрес­сионного анализа: оба метода исходят из одной и той же линейной модели. В связи с этим, а также в связи с применением в дисперсионном анализе процедур и по­казателей, характерных для множественной регрессии, в последнее время все варианты дисперсионного анализа объединяются (например, в программе 5Р88) под названием: Общая линейная модель (ОЬМ — Сепега1 Ыпеаг Мос1е1).

Параметрическими аналогами АМОУА являются такие многомерные мето­ды, как множественный регрессионный анализ (глава 15) и дискриминант- ный анализ (глава 17). Отличие модели множественного регрессионного ана­лиза заключается в том, что все переменные в ней, в том числе и независимые, представлены в метрической шкале. В модели дискриминантного анализа, в отличие отАЫОУА, зависимая переменная является классифицирующей (но­минативной), а независимые переменные — метрическими.

Непараметрическими аналогами АЫОУА, как отмечалось, являются крите­рии Я-Краскала-Уоллеса (для независимых выборок) и х2-Фридмана (для по­вторных измерений).

Вычислительные сложности, связанные с проведением А1ЧОУА, представ­ляли проблему до появления компьютеров и специальных статистических программ. Современные статистические программы (8Р88, 8ТАТ18Т1СА) из­бавляют пользователя от утомительных расчетов. Однако понимание и пра­вильная интерпретация получаемых показателей обязательно требуют нали­чия общего представления о том, как они вычисляются. Поэтому изложение основных методов АЫОУА будет сопровождаться демонстрацией расчетов на упрощенных примерах, которые будущему пользователю компьютерных про­грамм желательно внимательно изучить.

ОДНОФАКТОРНЫЙ АГЧОУА

Однофакторный (Опе-Шау) АМОУА позволяет проверить гипотезу о том, что изучаемый фактор оказывает влияние на зависимую переменную (сред­ние значения, соответствующие разным градациям фактора, различаются).

Математическая модель однофакторного АЫОУА предполагает выделение в общей изменчивости зависимой переменной двух ее составляющих. Межгруп­повая (факторная) составляющая изменчивости обусловлена различием сред­них значений под влиянием фактора. Внутригрупповая (случайная) составля­ющая изменчивости обусловлена влиянием неучтенных причин. Соотношение первой и второй из указанных составляющих изменчивости и есть основной показатель, определяющий статистическую значимость влияния фактора (раз­личия средних значений групп, соответствующих уровням фактора).

Нулевая статистическая гипотеза содержит утверждение о равенстве сред­них значений. При ее отклонении принимается альтернативная гипотеза о том, что по крайней мере два средних значения различаются.

Исходные предположения: распределение зависимой переменной в сравни­ваемых генеральных совокупностях характеризуется нормальным законом и одинаковыми дисперсиями. Выборки являются случайными и независимы­ми. Проверка исходных предположений сводится к проверке однородности дисперсии в сравниваемых выборках в случае, если они заметно различаются по численности.

Структура исходных данных, изучаемый признак измерен у объектов (ис­пытуемых), каждый из которых принадлежит к одной из нескольких сравни­ваемых выборок.

ПРИМЕР________________________________________________________________________

Структура данных:

Исследовалось влияние на продуктивность воспроизведения (У) вербального ма­териала интервала между 5 повторениями {Х\ — 3 градации: 1 — 0 мин, 2 — 3 мин, 3—10 мин).

X, (интервал) /(эффективность воспроизведения)
     
     
     
     
     
N    

 

Ограничения: если дисперсии выборок различаются статистически досто­верно, то метод неприменим. Для проверки однородности дисперсии приме­няется критерий Ливена (Ьеуепе'з Тек! оГНото§епеку оГУапапсез). Формаль­но численность выборок не должна быть менее 2 объектов (фактически необходимо иметь не менее 5 объектов в каждой выборке).

Альтернатива методу: сравнение независимых выборок по критерию Н- Краскала-Уоллеса.

Основной результат: принятие или отклонение нулевой статистической гипотезы о равенстве средних значений, соответствующих разным уровням фактора. Основной показатель для принятия решения — /^-уровень значимо­сти критерия /^-Фишера.

Дополнительно возможны множественные сравнения средних значений, позволяющие сделать вывод о том, как различаются друг от друга средние зна­чения для разных градаций фактора.

Рассмотрим общие принципы и последовательность вычислений для од- нофакторного АЫОУА в случае равной численности сравниваемых выборок.

Исходная идея АТЧОУА заключается в возможности разложения показателя изменчивости признака на две составляющие: изменчивость внутри групп и изменчивость между группами. В качестве показателя изменчивости исполь­зуется сумма квадратов отклонения значений признака от среднего, которая обозначается ^(Бит оГЗяиагек).

Общая (То1а\) сумма квадратов (5510Ш1) является показателем общей измен­чивости зависимой переменной и представляет собой числитель дисперсии:

/ = 1

Соответственно, общая сумма квадратов равна сумме межгрупповой и внут- ригрупповой сумм квадратов:

З^юш! = +

Межгрупповая (ВеМееп-Огоир) сумма квадратов (85ь$) — показатель измен­чивости между к группами (каждая численностью п объектов):

1=\

где М) — среднее значение для группы/

Отношение межгрупповой и общей суммы квадратов показывает долю об­щей дисперсии зависимой переменной, обусловленную влиянием фактора. Этот показатель идентичен по смыслу квадрату коэффициента корреляции в ре­грессионном анализе, поэтому тоже называется коэффициентом детермина­ции (К2)\

К2= ^Ьц

Коэффициент детерминации может принимать значения от 0 до 1. Чем больше этот показатель, тем больше влияние изучаемого фактора на диспер­сию зависимой переменной. Помноженный на 100, он выражает процент уч­тенной дисперсии.

Внутригрупповая (ШШт-Сгоир) сумма квадратов — показатель слу­чайной изменчивости (внутри групп):

я?,* = Е5>,-Щ)2.

У=1/=1

На величину сумм квадратов влияет численность и количество сравнивае­мых групп. Поэтому для сопоставления межгрупповой и внутригрупповой изменчивости используются средние квадраты (обозначается М5 — от анг­лийского Меап оГЗяиагек). Средний квадрат — это частное отделения суммы квадратов на соответствующее число степеней свободы.

Каждая сумма квадратов характеризуется своим числом степеней свободы (ф. Так, общее число степеней свободы соответствует общей сумме квадратов и равно:

Заметим, что частное от деления общей суммы квадратов на общее число степеней свободы — общий средний квадрат — это общая дисперсия.

Число степеней свободы для межгрупповой суммы квадратов равно числу сла­гаемых минус один (число групп минус 1):

= 1.

Число степеней свободы для внутригрупповой суммы квадратов:

= ~ 4/ьх = М- к.

После определения числа степеней свободы вычисляются средние квад­раты.

55

М5к =____ — — межгрупповой средний квадрат;

* 4Г*

= —— — внутригрупповой средний квадрат.

Следует отметить, что тот и другой средние квадраты представляют собой различные выборочные оценки одной и той же генеральной дисперсии — для случая, когда сравниваемые средние не различаются. Однако это не так в слу­чае, если хотя бы два из всех сравниваемых средних различаются: тогда меж­групповой средний квадрат превысит внутригрупповой средний квадрат. И чем больше величина отношения межгруппового к внутригрупповому среднему квадрату, тем больше оснований считать, что сравниваемые средние значе­ния различаются. Соответственно, основным показателем АЫОУА является Р-отношение — эмпирическое значение критерия /'-Фишера:

М5Ь

Процедура проверки Н0 подразумевает направленную альтернативу, так как ее отклонению соответствует только большее значение Рэ (М5Ьш > М5КЯ). По­этому для определения/?-уровня значимости при вычислениях «вручную» при­меняются таблицы критических значений /^-распределения для направлен­ных альтернатив (односторонний критерий). Для одних и тех же ё?уровень значимости возрастает (р-уровень убывает) при возрастании Рэ.


Последовательность выполнения АЫОУА является общей для любого числа факторов. Вначале в общей изменчивости зависи­мой переменной выделяются основные ее составляющие. (В од- нофакторном АЫОУАих две: внутригрупповая (случайная) и меж­групповая (факторная) изменчивость.) После этого вычисляются соответствующие показатели в следующей последовательности:

□ суммы квадратов (^.5);

□ числа степеней свободы (ф-,

□ средние квадраты (Л/Л);

□ /^-отношения;

□ р-уровни значимости.


 

 


ПРИМЕР 13.1


 

 


Предположим, изучалось различие в продуктивности воспроизведения од­ного и того же материала трех групп испытуемых (по 5 человек), различа­ющихся условиями предъявления это­го материала для запоминания. Зави­симая переменная (У) — количество воспроизведенных единиц материала, независимая переменная (фактор) — условия предъявления (три градации). Проверим на уровне а = 0,01 гипотезу о том, что продуктивность воспроиз­ведения материала зависит от условий его предъявления.


 

Условие121 Условие 122

Так зависит л и запоминание материала от условий его предъявления?


 

 


Условие 1 Условие 2 Условие 3
У У У
           
           
           
           
           

 

Общее среднее: М= 7.

Среднее для разных условий: Мх = 5; М2 = 7; Л/3 = 9.

Ш а г 1. Вычислим внутригрупповые суммы квадратов:

= Х(*, - М)1 = (5 ■- 7)2 + (4 - 7)2 +... + (8 -7)2 = 70; /-1

55* = 1 -Л/)2 =5[(5-7)2 +(7-7)2 +(9-7)2] =40;

0-40 = 30.

Ш а г 2. Определим числа степеней свободы:

=к- 1 = 3 - 1 = 2; =М-к = 15 - 3 = 12. Ш а г 3. Вычислим средние квадраты:

40 зо

М5Ь = —= — = 20; МУ =—^- = — = 2,5.

* <0* 2 4 С, 12

Ш а г 4. Вычислим /"-отношение:

М5к _ 20 _0

Р = -

2,5

1>Х

Шаг 5. Определим /ьуровень значимости. По таблице критических значений /^-распределения (для направленных альтернатив) (приложение 3) для р = 0,01; ^/числ =2; с1/3нам = 12 критическое значение равно Р= 6,927. Следовательно, р< 0,01. Дополнительно вычислим коэффициент детерминации:

* = =0,571.

Оформим результат в виде таблицы:
Источник изменчивости Сумма квадратов (Я5) с1/ Средний квадрат ХМ5) Р р-уровень
Межгрупповой   2     <0,01
Внутригрупповой     2,5
Обший    

К2 = 0,571.

 

Ш а г 6. Принимаем статистическое решение и формулируем содержательный вы­вод. Отклоняем Н0 и принимаем альтернативную гипотезу о том, что межгрупповая изменчивость выше внутригрупповой. Содержательный вывод: обнаружено статис­тически достоверное влияние условий предъявления материала на продуктивность его воспроизведения (р < 0,01). Или: средние значения продуктивности воспроизве­дения материала статистически достоверно различаются в зависимости от условий его предъявления (р < 0,01).

В АЫОУА с выборками неравной численности вычисления несколько услож­няются. Изменения касаются формулы для вычисления межгрупповой сум­мы квадратов:

где и,- — численность группы/

Кроме того, если группы различаются по численности, необходима про­верка гомогенности дисперсии с использованием критерия Ливена.

Обработка на компьютере

Рассмотрим применение однофакторного А1ЧОУА к данным примера 13.1. Исходные данные для анализа введены в таблицу (Ба(а ЕйКог) в следую­щем виде:

  уозрг ±1
    1
    1
    1
    1
    1
     
     
     
     
     
     
     
     
     
     

 

1. Выбираем Апа1уге > Сотраге теап«> Опе \\'ау АМ)УА...

2. В открывшемся окне диалога выделяем и переносим из левого окна пе­ременные при помощи кнопки >: зависимую переменную ^озрг) в правое верхнее окно (Берепйеп! Ыв*), переменную, соответствующую фактору (1:1), — в правое нижнее окно (Гас(ог). Нажимаем Орйопх... В открывшемся окнедиа- лога отмечаем флажком: Бевспрйуе (Описательные статистики), Ното§епеКу оГ уапапсе (е«1 (Тест однородности дисперсии), Меапх р1о1 (График средних значений). Нажимаем СопИпие (Продолжить). Нажимаем ОК.

3. Получаем результаты.

А) Описательные статистики:

ОезсггрЬд^ез

УОЗРК

  N Меап ЗЬй. Оеу^аЫоп ЗЬй. Еггог
1. 00   5.0000 1.58114 .70711
2.00   7.0000 1. 58114 .70711
3.0 0   9.0000 1.58114 .70711
ТоЬа!   7.0000 2.23607 .57735

 

Первая колонка — номера градаций фактора, вторая колонка (К) — чис­ленность выборок, Меап — средние значения, 8гс1. Оеу1аГюп — стандартное отклонение, 51с1. Еггог — ошибка среднего.

В) Проверка однородности дисперсии:

ТезЬ оС НотодепехЬу оС Уаг1апсез УОЗРК
Ьеуепе 5ЬаЬ1з1:1с в.а <Н2 51д.
.000     1.000

 

Тест Ливена показывает, что статистически достоверных различий между дисперсиями не обнаружено > 0,05). Следовательно, допустимо приме­нение АЫОУА.

С) Результаты АЫОУА:

А1\ЮУА

УОЗРК

  Зиш оЕ Здиагез   Меап Здиаге Р 51д.
ВеЬмееп Сгоирз 40.000   20. 000 8. 000 .006
И11:Ып Сгоирз 30.000   2.500    
ТоЬа! 70.000        

 

Результаты соответствуют тем, которые были получены при обработке этих данных «вручную»: условия предъявления слов статистически достоверно вли­яют на продуктивность их воспроизведения. Б) График средних значений:

 

 

Р1

График средних значений облегчает интерпретацию факторного эффекта: продуктивность воспроизведения монотонно возрастает от первого к третье­му условию предъявления.








Система охраняемых территорий в США Изучение особо охраняемых природных территорий(ООПТ) США представляет особый интерес по многим причинам...

Конфликты в семейной жизни. Как это изменить? Редкий брак и взаимоотношения существуют без конфликтов и напряженности. Через это проходят все...

Что будет с Землей, если ось ее сместится на 6666 км? Что будет с Землей? - задался я вопросом...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...





Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:


©2015- 2024 zdamsam.ru Размещенные материалы защищены законодательством РФ.