|
VI. Одновременный подсчет всех описательных статистик
Необходимость включения в параграф данного раздела вызвана следующим: 1) Чаще всего в курсовых и дипломных проектах, диссертационных исследованиях описание и интерпретация полученных результатов строятся на основе использования критериев сравнения выборок, дисперсионном, корреляционном, факторном и других видах анализа. Описательные статистики являются только начальным, и, зачастую, «поверхностным» анализом, дающим основание указывать лишь на тенденции. При этом ключевыми выступают такие меры анализа значений, как Mx, σx и Cv. 2) В связи с этим включение в описание показателей Моды, Медианы, Минимума, Максимума, Размаха, Суммы, Эксцесса, Асимметрии, Стандартной ошибки приводит к неоправданному увеличению объема работы при низкой объяснительной ценности выводов. Поэтому необходимо быть внимательным и достаточно уверенным в том, что включение указанных мер в описание результатов даст важный с объясняющей точки зрения результат. 3) Тем не менее, важно отметить, что все рассмотренные в параграфе описательные статистики (за исключением Cv) могут быть быстро подсчитаны за один раз в меню Частоты: Статистики.
Для этого выполните следующий порядок действий:
Шаг 2 В меню Частоты (рис. 11) перенесите переменную А из левого окна в окно Переменные:,
Шаг 3 В открывшемся меню Частоты: Статистики (рис. 13) установите галочки: а) в группе команд Расположение установите галочки для команд Среднее, Медиана, Мода, Сумма; б) в группе команд Распределение установите галочки для команд Асимметрия и Эксцесс; в) в группе команд Разброс установите галочки для команд Стандартное отклонение, Дисперсия, Размах, Минимум, Максимум, Стандартная ошибка среднего и нажмите Продолжить.
Шаг 4 В открытом меню Частоты снимите галочку для команды Вывести частотные таблицы и нажмите ОК.
ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ
Файл-пример: SPSS Описания СР.sav Откройте файл-пример SPSS Описания СР.sav в программе IBM SPSS Statistics 19.
В файле представлены результаты диагностики тревожности, субъективного благополучия и академической успеваемости студентов, проживающих в городской и сельской местности (n=49).
В анализе участвуют следующие переменные: дом: 1 – город, 2 – сельская местность; РеактТрев: реактивная тревожность; ЛичнТрев: личностная тревожность; СубБлаг: субъективное благополучие; АУ: академическая успеваемость.
1) Подсчитайте значения мер центральной тенденции и изменчивости, характеристик диапазона и формы распределения для всех переменных, кроме переменной дом.
Задание 2. Файл-пример: Excel Описания СР.xls Откройте файл-пример Excel Описания СР.xls
В файле представлены результаты, аналогичные представленным в файле SPSS Описания СР.sav
1а) Подсчитайте значение Cv для всех переменных, кроме переменной дом. 1б) Опишите и проинтерпретируйте полученный результат исходя из рассмотренных в параграфе уровней вариативности.
Задание 3. Файл-пример: Excel Описания.xls Откройте файл-пример Excel Описания.xls
В файле представлены результаты, идентичные представленным в файле SPSS Описания.sav
1а) Подсчитайте значение показателя Cv для всех 16-ти черт личности, продиагностированных по методике 16 PF Кеттелла. 1б) Опишите и проинтерпретируйте полученный результат исходя из рассмотренных в параграфе уровней вариативности.
КРАТКОЕОПИСАНИЕИСПОЛЬЗУЕМЫХПРОЦЕДУРАНАЛИЗА 1) В большинстве случаев рассмотренные в параграфе описательные статистики используются в качестве начального этапа описания результатов эмпирического исследования. За редким исключением все четыре группы описательных статистик используются вместе, что, тем не менее, приводит к неоправданному увеличению объема текста работы при снижении объяснительной силы формулируемых выводов.
2) В большинстве случаев при описании результатов эмпирического исследования (прежде всего в курсовой, дипломной работе, магистерской диссертации) достаточным является использование показателей Mx, σx и Cv.
3) Ограничением программы IBM SPSS Statistics 19 является отсутствие в ней функции подсчета Cv. Для этой цели используется программа Excel пакета офисных приложений Microsoft Office.
4) Характеристики формы распределения. Рассмотренные в параграфе характеристики формы распределения – Эксцесс и Асимметрия, за редким исключением используются вместе с другими описательными статистиками. Чаще всего они применяются для установления степени нормальности формы распределения значений и выбора на их основе критериев сравнения (см. § 5 и § 6) и коэффициентов корреляции (см. § 8 и § 9).
ЛИТЕРАТУРА ДЛЯ ДОПОЛНИТЕЛЬНОЙ ПОДГОТОВКИ
1. 2. Бурлачук, Л. Ф. Словарь-справочник по психодиагностике [Текст] / Л. Ф. Бурлачук, С. М. Морозов. – СПб.: Питер, 2001. – 528 с. 3. Лакин, Г. Ф. Биометрия [Текст] / Г. Ф. Лакин; изд. 4-е, перераб. и доп. – М.: Высшая школа, 1990. - 352 с. 4. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 1. – М.: Советская энциклопедия, 1977. 5. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 2. – М.: Советская энциклопедия, 1979. 6. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 3. – М.: Советская энциклопедия, 1982. 7. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 4. – М.: Советская энциклопедия, 1982. 8. Математическая энциклопедия [Текст] / под рук. И.М. Виноградова; в 5 тт. – Т. 5. – М.: Советская энциклопедия, 1985. 9. Наследов, А. Д. Математические методы психологического исследования. Анализ и интерпретация данных [Текст] / А. Д. Наследов. – СПб.: Речь, 2004. – 392 с. 10.Наследов, А. Д. SPSS 19. Профессиональный статистический анализ данных [Текст] / А. Д. Наследов. – СПб.: Питер, 2011. – 400 с. 11.Поллард, Дж. Справочник по вычислительным методам статистики [Текст] / Дж. Поллард. – М.: Финансы и статистика, 1982. – 344 с. 12.Сидоренко, Е. В. Методы математической обработки в психологии [Текст] / Е. В. Сидоренко. - СПб.: Речь, 2007. – 350 с. § 4. Сравнение средних
Теоретическое описание
Среднее арифметическое (Mx, x¯,) 1. Сумма всех значений измеренного признака, деленная на количество суммированных значений [5. С. 41]. 2. Центр распределения, вокруг которого группируются все варианты статистической совокупности; сумма всех членов совокупности, деленная на их общее число [3. С. 38]. Стандартное (среднее квадратическое) отклонение (σ, σx, Sx). 1. Положительное значение квадратного корня из дисперсии [5. С. 45]. 2. Квадратный корень из суммы квадратов отклонений индивидуальных значений признака от среднего, то есть дисперсии [2. С. 174].
Исследовательские задачи: · оценка уровня развития морального сознания юношей и девушек, участвующих в волонтерском движении (методика исследования морального сознания Lawrence Kohlberg); · оценка эмоционального состояния физически здоровых спортсменов и спортсменов-инвалидов, увлекающихся разными видами спорта (опросник самооценки эмоциональных состояний Alden E. Wessman, David F. Ricks); · оценка уровня интеллектуального развития девочек и мальчиков дошкольного возраста из полной и неполной семьи, посещающих и не посещающих детский сад (тест «Нарисуй человека» Florence L. Goodenough).
· объем выборки исследования: - ограничения по объему выборки соответствуют ограничениям, представленным в § 1, 2, 3; · распределение: - не обязательно должно соответствовать нормальному виду.
Откройте файл SPSS Сравнение средних.sav в программе IBM SPSS Statistics 19.
В файле представлены результаты диагностики психологических особенностей личности работников сферы социального сервиса и туризма (n=85). В анализе участвуют следующие переменные:
пол: 1 – женский, 2 – мужской; стаж: 1 – до 1 года, 2 – от 1 до 3 лет, 3 – от 3 до 7 лет, 4 – от 7 до 15 лет; должность: 1 – руководитель; 2 – исполнитель; сфера: 1 – салон красоты; 2 – дом творчества; 3 – быстрое питание; 4 – туризм; 5 – оздоровительный центр; мотивдостиж: мотивация достижения; аффил1: мотивация аффилиации – стремление к людям;
I. Сравнение средних при одной номинативной переменной
Выполните следующий порядок действий:
Шаг 2 В меню Средние (рис. 17) перенесите из левого окна переменную мотивдостиж в окно Список зависимых переменных, а переменную пол в окно Список независимых переменных, и нажмите ОК.
Рис. 17. Меню Средние
ОПИСАНИЕ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ
Таким образом, отличие данной процедуры от кросстабуляции состоит в подсчете не частоты (как показателя номинативной переменной пол), а количественных показателей Мх и σx (как показателей количественной переменной мотивдостиж).
II. Сравнение средних при двух и более номинативных переменных
Выполните следующий порядок действий:
Шаг 2 В меню Средние (рис. 17) перенесите из левого окна переменную мотивдостиж в окно Список зависимых переменных, а переменную пол в окно Список независимых переменных.
Шаг 3 а) Для включения в анализ второй номинативной переменной (должность) в открытом меню Средние в группе команд Слой 1 из 1 выберите команду Следующий и перенесите из левого окна переменную должность в окно Список независимых переменных, нажмите ОК.
Таким образом в анализ была включена вторая номинативная переменная, что позволило построить таблицу сопряженности пол * должность для количественной переменной мотивдостиж.
б) Если в анализ необходимо включить третью номинативную переменную (например, стаж), то после перенесения переменной должность в окно Список независимых переменных выберите команду Следующий и перенесите из левого окна переменную стаж в окно Список независимых переменных и нажмите ОК.
ОПИСАНИЕ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ
1)
Учитывая простоту описания и интерпретации, не будем подробно останавливаться на анализе значений Мх и σx.
2) Если в задачу исследования входит подсчет таблицы сопряженности с тремя и более номинативными переменными, то после выполнения Шага 3б в открывшемся окне Вывод в столбце N таблицы Отчет видно, что мы столкнулись с рассматривавшимся в § 1. Кросстабуляция ограничением: при увеличении числа и градаций номинативных переменных количество испытуемых, входящих в каждую категорию, существенно снижается. Это, в свою очередь, ведет к снижению статистической значимости и повышению вероятности статистической ошибки.
Так, в нашем примере (см. таблицу ниже) в группе женщин руководителей со стажем работы до 1 года оказалось всего 3 испытуемых, что не дает возможности говорить даже о тенденции, не говоря уже о поиске какой-либо закономерности.
Для снижения вероятности статистической ошибки следует воспользоваться правилом, о котором мы говорили в § 1. Кросстабуляция: - при 2-х номинативных переменных ≈n≥50; - при 3-х номинативных переменных ≈n≥150; -
III. Сравнение средних с включением дополнительных параметров
Формируя в первой и второй частях параграфа окно Вывод, программа автоматически включает в таблицу Отчет три показателя: Мх (столбец Среднее), количество наблюдений (столбец N) и σx (столбец Стд.Отклонение). Возможности окна меню Средние (рис. 17) позволяют достаточно просто добавлять или исключать показатели из анализа, используя команду Параметры.
Выполните следующий порядок действий:
Шаг 2 В меню Средние перенесите из левого окна переменную мотивдостиж в окно Список зависимых переменных, а переменную пол в окно Список независимых переменных и выберите в правой верхней части окна команду Параметры.
Шаг 3 В открытом меню Средние: Параметры (рис. 18) в правом окне Статистики в ячейках: по умолчанию установлены показатели Среднее (Мх), Количество наблюдений (N) и Стандартное отклонение (σx).
а) Если для описания результатов требуется только один показатель (например, Среднее), удалите из списка в окне Статистики в ячейках: остальные показатели, выделив каждый и нажав кнопку со стрелкой в середине окна; далее нажмите Продолжить и ОК.
б) Если для описания результатов требуется включить дополнительные показатели (например, Стандартная ошибка среднего), выделите в левом окне Статистики: показатель Стд. ошибка среднего и перенесите его в окно Статистики в ячейках:, нажав кнопку со стрелкой в середине окна; далее нажмите Продолжить и ОК.
Важно учитывать, что при работе с меню Средние: Параметры можно включить в анализ все показатели, имеющиеся в окне Статистики: (всего 21 показатель). Это даст возможность при соответствии задачам исследования осуществить анализ практически всех существующих описательных статистик. Рис. 18. Меню Средние: Параметры
ОПИСАНИЕ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ
Учитывая простоту описания и интерпретации, не будем подробно останавливаться на анализе значений Мх и σx. Напомним лишь, что включение в анализ показателя Количество наблюдений (столбец N) не обязательно.
ЗАДАНИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ
Файл-пример: SPSS Сравнение средних.sav Откройте файл SPSS Сравнение средних.sav в программе IBM SPSS Statistics 19.
1) Подсчитайте Мх и σx для переменных аффил1 (стремление к людям) и аффил2 (боязнь быть отвергнутым) при одной номинативной переменной пол. При этом исключите из анализа показатель Количество наблюдений. 2) Подсчитайте Мх, σx для переменных аффил1 (стремление к людям) и аффил2 (боязнь быть отвергнутым) при трех номинативных переменных пол, должность и сфера. При этом исключите из анализа показатель Количество наблюдений, и включите в анализ показатели Стандартная ошибка среднего, Эксцесс, Стандартная ошибка эксцесса, Асимметрия и Стандартная ошибка асимметрии.
КРАТКОЕ ОПИСАНИЕ ИСПОЛЬЗУЕМЫХ ПРОЦЕДУР АНАЛИЗА
1) Отличием статистической процедуры Сравнение средних от кросстабуляции является возможность подсчета описательных статистик для количественных переменных. При этом можно использовать в качестве группирующих независимых переменных одну, две и более номинативные переменные.
2) Меню Средние. В рассмотренной группе команд меню Средние имеется возможность для подсчета и сравнения не только Мх, но и большинства других описательных статистик, что облегчает работу исследователя по описанию и интерпретации результатов.
3) Однофакторный дисперсионный анализ. Так как чаще всего сравнением средних значений анализ результатов исследования не ограничивается, в меню Анализ → Сравнение средних представлены разновидности t -критерия и однофакторный дисперсионный анализ. Если использование t -критерия требует дополнительной проверки данных на адекватность использования именно t -критерия, то однофакторный дисперсионный анализ может быть использован сразу же при анализе средних значений. Подробную информацию об использовании t -критерия и однофакторного дисперсионного анализа можно найти в § 5 и § 7.
ЛИТЕРАТУРА ДЛЯ ДОПОЛНИТЕЛЬНОЙ ПОДГОТОВКИ
1. 2. Бурлачук, Л. Ф. Словарь-справочник по психодиагностике [Текст] / Л. Ф. Бурлачук, С. М. Морозов. – СПб.: Питер, 2001. – 528 с. 3. Лакин, Г. Ф. Биометрия [Текст] / Г. Ф. Лакин; изд. 4-е, перераб. и доп. – М.: Высшая школа, 1990. - 352 с. 4. Математическая энциклопедия [Текст] / гл. ред. И. М. Виноградов; в 5 тт. – М.: Советская энциклопедия, 1977-1985. 5. Наследов, А. Д. Математические методы психологического исследования. Анализ и интерпретация данных [Текст] / А. Д. Наследов. – СПб.: Речь, 2004. – 392 с. 6. Наследов, А. Д. SPSS 19. Профессиональный статистический анализ данных [Текст] / А. Д. Наследов. – СПб.: Питер, 2011. – 400 с. 7. Сидоренко, Е. В. Методы математической обработки в психологии [Текст] / Е. В. Сидоренко. - СПб.: Речь, 2007. – 350 с. § 5. Параметрические критерии сравнения выборок
· анализ особенностей применения и процедуры подсчета параметрических критериев; · освоение пошаговой процедуры подсчета параметрических критериев.
Теоретическое описание
виду [5. С. 163-164]. 2. Построены на основании параметров данной совокупности (например, х¯ и s2x) и представляющие функции этих параметров; служат для проверки гипотез о параметрах совокупностей, распределяемых по нормальному закону [3. С. 112]. Независимые выборки. 1. Выборки, которые характеризуются тем, что вероятность отбора любого испытуемого одной выборки не зависит от отбора любого из испытуемых другой выборки [5. С. 22]. 2. Допущение независимости предполагает, что представители двух выборок не составляют пары коррелирующих значений признака [5. С. 165]. Зависимые выборки. 1. Выборки, характеризующиеся тем, что каждому испытуемому одной выборки поставлен в соответствие по определенному критерию испытуемый из другой выборки [5. С. 22]. 2. Допущение зависимости чаще всего означает, что признак измерен на одной и той же выборке дважды, например, до воздействия и после него. Более слабые виды зависимости выборок: выборка 1 – мужья, выборка 2 – их жены; выборка 1 – годовалые дети, выборка 2 – близнецы детей выборки [5. С. 167]. Критерий t Стьюдента (t, tst; критерий Стьюдента; Student's t-test). Критерий для определения статистической значимости различий двух средних значений [5. С. 372]. Одновыборочный критерий t Стьюдента (t, tst; критерий Стьюдента). 1. Параметрический критерий, позволяющий проверить гипотезу о том, что среднее значение изучаемого признака отличается от некоторого известного значения [5. С. 164]. 2. Критерий, предназначенных для сравнения среднего значения распределения переменной с некоторой эталонной величиной [5. с. 373].
Исследовательские задачи: Одновыборочный критерий t Стьюдента: · сравнение уровня IQ у студентов 1 курса со стандартным Мх=100 (тест David Wechsler (WAIS); · сравнение уровня экстраверсии/интроверсии у подростков со стандартным средним значением Мх=12 (тест Hans J. Eysenck). Критерий t Стьюдента для независимых выборок: · сравнение уровня агрессивности подростков из полной и неполной семьи (опросник Arnold H. Buss, Ann Durkee); · сравнение уровня эмоционального выгорания у студентов 1 и 4 курса (опросник В.В. Бойко).
· сравнение уровня эмоциональной устойчивости у педагогов со стажем <5 и >15 лет (тест Hans J. Eysenck); · сравнение выраженности стратегии поведения в конфликте «соперничество» у работников торговой сферы до и после тренинга (опросник K. Thomas).
Требования к выборке: · объем выборки исследования: - при использовании одновыборочного критерия t n≥30; - при использовании t для зависимых и независимых выборок n1≥30 и n2≥30; · распределение: должно соответствовать нормальному виду.
Откройте файл SPSS Параметрические критерии.sav в программе IBM SPSS Statistics 19.
В файле представлены результаты диагностики черт личности школьников с разным уровнем успеваемости (методика 16 PF Кеттелла; n=98).
В анализе участвуют следующие переменные:
пол: 1 – женский, 2 – мужской; класс: 1 – 9 класс, 2 – 10 класс, 3 – 11 класс; Аугруппа: 1 – неуспевающие, 2 – среднеуспевающие, 3 – успевающие; А_до: общительность до проведения тренинга; B: интеллект; C_до: эмоциональная устойчивость до проведения тренинга; А_после: общительности после проведения тренинга; С_после: эмоциональная устойчивость после проведения тренинга;
I. Критерий t Стьюдента для одной выборки
Выполните следующий порядок действий:
Шаг 2 В меню Одновыборочный T-критерий (рис. 19) перенесите из левого окна переменную успеваемость в окно Проверяемые переменные:.
Шаг 3 В ячейке Проверяемое значение: введите цифру 4 и нажмите ОК.
Таким образом, полученное в исследовании Мх успеваемости сравнивается с заданным стандартным значением Мх = 4 балла. Рис. 19. Меню Одновыборочный T-критерий
ОПИСАНИЕ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ
1) Описанию и интерпретации подлежит таблица под заголовком Одновыборочный t-критерий (см. ниже): - в столбце t – значение критерия t, - в столбце Значимость (2-сторонняя) – уровень значимости различий p.
Одновыборочный t-критерий
2) Так как целью использования одновыборочного критерия t является установление значимости различий между стандартным и эмпирическим значениями, при интерпретации результатов необходимо, в первую очередь, обратиться к показателю p -уровня: - если p -уровень ≤0,05, то различия между эмпирическим и стандартным значениями являются статистически значимыми; - если p -уровень >0,05, то различия между эмпирическим и стандартным значениями являются статистически не значимыми.
3) После установления уровня значимости различий необходимо определить направление различий – эмпирическое значение больше или меньше стандартного: - если перед значением t-критерия стоит знак «-» (в нашем примере t= -2,996), то эмпирическое значение ниже уровня стандартного значения; - если перед значением t-критерия стоит знак «+», то эмпирическое значение выше уровня стандартного значения.
4) В нашем примере результат подсчета следующий: так как значение p -уровня ≤0,05, а значение t-критерия = -2,996, следует сделать вывод о том, что уровень успеваемости в старших классах статистически значимо ниже заданного стандартного уровня в 4 балла. II. Критерий t Стьюдента для независимых выборок
Выполните следующий порядок действий:
Шаг 2 В меню T-критерий для независимых выборок (рис. 20) перенесите из левого окна переменные А_до, В и С_до в окно Проверяемые переменные:.
Шаг 3 В открытом меню T-критерий для независимых выборок перенесите из левого окна переменную пол в окно Группировать по: и выберите команду Задать группы.
Шаг 4 В открытом меню Задать группы (рис. 21) в ячейке Группа 1: установите число 1, в ячейке Группа 2 установите число 2. Нажмите Продолжить и ОК.
Таким образом в меню Задать группы была определена градация выборки по полу.
Рис. 20. Меню T-критерий для независимых выборок
Рис. 21. Меню Задать группы
ОПИСАНИЕ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ
1) Описанию и интерпретации подлежит таблица под заголовком Критерий для независимых выборок (см. ниже): - в столбце t – значение критерия t, - в столбце Значимость (2-сторонняя) – уровень значимости различий p.
2) Перед тем, как приступить к интерпретации результатов использования t-критерия, необходимо выбрать тип t-критерия. Основой для типологии выступает наличие или отсутствие равенства дисперсий двух сравниваемых распределений значений (см. строки таблицы Предполагается равенство дисперсий и Равенство дисперсий не предполагается): - если p - уровень критерия Ливиня ≤0,05 (столбец Знч. группы столбцов Критерий равенства дисперсий Ливиня), то дисперсии сравниваемых распределений значений статистически достоверно различаются, и принимается решение о выборе второго типа t -критерия – в строке Равенство дисперсий не предполагается; - если p - уровень критерия Ливиня >0,05 (как в нашем примере – p =0,822, то есть р >0,05), то дисперсии сравниваемых распределений значений статистически достоверно не различаются, и принимается решение о выборе первого типа t - критерия – в строке Предполагается равенство дисперсий.
3) Выбрав тип t-критерия, можно сделать вывод о значимости различий между сравниваемыми выборками: - если p -уровень ≤0,05, то различия между выборками являются статистически значимыми; - если p -уровень >0,05, то различия между выборками являются статистически не значимыми.
4) После установления уровня значимости различий необходимо определить направление различий – уровень выраженности в какой из сравниваемых групп выше и ниже. Порядок определения направления различий идентичен тому, что был описан в отношении t-критерия Стьюдента для одной выборки.
5) В нашем примере результат подсчета следующий: - для переменной А_до: так как p -уровень критерия Ливиня >0,05, нами был выбран тот ![]() ![]() ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между... ![]() Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор... ![]() Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем... ![]() ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования... Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:
|