Сдам Сам

ПОЛЕЗНОЕ


КАТЕГОРИИ







Конструирование индексов и шкал





Использование нескольких индикаторов, как было показано выше, увеличивает валидность и надежность измерения переменных. Здесь, однако, возникает новая проблема: как использовать полученные значения индикаторов для того, чтобы охарактеризовать каждый «случай» (каждого респондента, группу, стра­ну и т. п.) одним числовым значением, однозначно определяющим его положе­ние на одномерном континууме переменной-признака, для измерения которой мы использовали данный набор индикаторов. Иными словами, нужно осуще­ствить обратный переход от набора значений эмпирических индикаторов, опи­сывающих каждую конкретную единицу анализа, к упорядочению всех единиц анализа по оси интересующей нас переменной. Такое упорядочение и называ­ется собственно шкалой, мерой выраженности переменной-признака, а логика перехода от набора наблюдаемых значений к шкальным значениям называется моделью шкалирования. Заметим сразу, что некий набор индикаторов — напри­мер, набор оценочных шкал (см. гл. 5) — может использоваться для измерения более чем одной переменной, и, следовательно, данные о наблюдаемых значе­ниях этих индикаторов в принципе позволяют упорядочить «случай» по несколь­ким переменным, т.е. по нескольким шкалам. Однако это уже задача многомерного шкалирования, мы же пока ограничимся обсуждением одномерных шкал и индексов.

Если вернуться к структурированной матрице данных «переменная х случай», то можно увидеть, что процедура конструирования шкалы может быть описана и как процедура «сжатия» матрицы данных, уменьшения ее раз­мерности. Предположим, три строки нашей матрицы соответствуют перемен­ным-индикаторам «доход», «род занятий» и «образование». Мы включили эти индикаторы в наше исследование ради того, чтобы охарактеризовать социаль­но-экономический статус каждого респондента, т.е. расположить их от низкого статуса к высокому. Если мы вместо трех строк, соответствующих доходу, об­разованию и профессии, введем в нашу матрицу данных одну строку, отражаю­щую положение каждого респондента на сконструированной нами шкале СЭС, размерность матрицы уменьшится. Однако сначала нам нужно решить, как объе­динить три значения — три строки матрицы — в одно, т. е. нам нужно избрать модель шкалирования.

Пусть, скажем, три строки нашей матрицы данных — это полученные каким-то образом (тестирование, опрос экспертов и т. п.) оценки «жизнерадостности», «энергичности» и «независимости». Исследователь предполагает, что эти три индикатора могут быть использованы для измерения важной для его теории переменной «сила Я». Все, что ему нужно сделать — это решить, как перевести оценки в строках 1—3 в оценки «силы Я» (см. рис. 12).

 

Переменные- индикаторы Субъект («случай»)
Л.М. Ф.Ж. К.Р.
1. жизнерадостность      
2. энергичность      
3. независимость      

 
 
«Сила Я»?

 

 


Рис. 12. Фрагмент матрицы данных «переменные х субъекты»

 

Самый простой и очевидный способ — это суммировать для каждого индивида оценки по каждому индикатору. Получившийся суммарный балл будет отра­жать индивидуальные различия в «силе Я», так как позволит упорядочить всех респондентов от минимального к максимальному значению этой переменной (в нашем примере — от 0 до 6 баллов). Еще одно преимущество суммирования — увеличение разброса индивидуальных значений. Действительно, максимально возможное различие по первичным индикаторам составляло 2 балла (от 0 до 2). В суммарном показателе разница между индивидуальными значениями может составить 6 баллов. Следовательно, суммарный балл — это более «чуткий» и надежный инструмент для упорядочения и может быть назван шкалой в смысле определения, данного нами выше. Однако в социологии суммарные показатели чаще называют индексами, чтобы подчеркнуть их единственное важное отличие от «больших» шкал. Индекс позволяет эффективно «свернуть» инфор­мацию, содержавшуюся в исходных индикаторах (вопросах, пунктах, тестах), однако от суммарного балла нельзя вернуться к исходной матрице, точнее, к тому паттерну ответов, который стоит за данным значением индекса. Если сформулировать это корректнее, индекс не позволяет учитывать различия в структуре ответов респондентов. Если снова обратиться к рисунку 12, то мож­но заметить, что субъекты Л. М. и Ф.Ж. имеют одинаковый суммарный балл, равный 4 (достаточно высокое значение!). Но можно ли считать несуществен­ным то обстоятельство, что у Л. М. нулевой уровень независимости, а Ф. Ж. получил тот же суммарный балл из-за недостатка оптимизма? Предпо­ложим, даже довольно мрачный человек может обладать значительной «силой Я», но следует ли считать столь же «сильным» того, кто легко поддается давле­нию окружения?

В принципе индексы безусловно применимы в тех случаях, когда модель изме­рения (см. выше) предполагает, что некая латентная, т. е. не измеряемая непос­редственно переменная, может быть измерена с помощью совокупности каче­ственно однородных показателей. Во многих случаях различия в значимости, важности отдельных индикаторов можно учесть с помощью «взвешивания», пересчета значений с учетом «веса» каждого индикатора в латентной перемен­ной. Так в примере с «силой Я» можно домножить все индивидуальные значе­ния в строке «независимость» на 2, если принять предположение о том, что независимость влияет на латентную переменную с двукратным эффектом.

Экономисты часто используют индексы розничных цен, отражающие динами­ку стоимости жизни. При этом разные товарные группы, например, имеющие неодинаковое значение в потребительском бюджете, — как, скажем, хлеб и де­ликатесы — учитываются с разными весовыми коэффициентами. Но и в этом случае индекс остается несовершенным типом шкалы: эмпирическая информа­ция здесь используется лишь для шкалирования различий между субъектами (или другими единицами анализа), но не для шкалирования различий между пунктами-ответами {эмпирическими индикаторами). Используя «взвешива­ние», мы вводим априорные ограничения на упорядочение входящих в индекс индикаторов, не зависящие от данных наблюдения.

Своеобразным переходом между моделью суммарного балла (индекса) и ос­новными моделями шкалирования является шкала Р. Ликерта (Лайкерта). Ис­ходным материалом для ее построения служат оценочные шкалы согласия-не­согласия с суждениями, которые выражают более или менее «благожелатель­ную» установку (см. раздел «Выбор формата для ответов» в гл. 5). Количество категорий ответа — «согласен», «совершенно согласен» и т. п. — обычно варьи­рует от двух до семи. Респондент получает балл по каждому суждению в зави­симости от избранного им ответа. Присуждаемый данному ответу балл в свою очередь определяется «благожелательностью» ответа по отношению к измеря­емой установке (интенсивностью согласия с суждением), т. е. ответы также упорядочены на одномерном континууме (от крайне негативной установки к крайне позитивной). Баллы, полученные за каждый ответ, суммируются. Суммарный балл, полученный индивидуумом, характеризует уже его собственное положение на установочном континууме (например, «консерватор», «умерен­ный консерватор», «умеренный либерал», «либерал»). Отметим сразу, что эта же модель шкалирования может использоваться и для измерения мотивации или осведомленности (соответственно респондента просят оценить степень важности какого-то объекта или сказать, верно или неверно определенное ут­верждение). Для отбора списка суждений, составляющих шкалу Ликерта, ис­ходный список высказываний предъявляют репрезентативной выборке респон­дентов (так называемой выборке стандартизации). В окончательный список попадают те высказывания, для которых были получены высокие оценки на­дежности — согласованности и валидности. Обычно используют описанные нами ранее методы оценки надежности и валидности (коррелирование с суммарным баллом, сравнение «крайних групп» и т. п.).

Приведем в качестве примера некоторые высказывания «Теста для измерения художественно-эстетической потребности молодежи»[158] (в скобках дан ключ к каждому высказыванию, показывающий, за какой ответ присуждается балл):

1. Думаю, что вполне можно обойтись без общения с произведениями искусства (неверно).

2. Я не люблю стихов (неверно).

3. Я коллекционирую записи классической музыки (верно).

4.................................................................................................

Шкалирование по описанной модели дает ординальный уровень измерения.

Шкалы социальной дистанции Э. Богардуса — старейшая модель социологи­ческого шкалирования, не утратившая, однако, своей популярности. Исследо­ватель разрабатывает совокупность вопросов, отражающих различную степень близости отношений с определенной социальной или этнической группой, на­пример:

1. Согласны ли Вы, чтобы хорваты жили с Вами в одном городе?

2. Согласны ли Вы жить по соседству с хорватами?

3. Согласны ли Вы работать в одном отделе (учреждении) с хорватом?

4. Позволите ли Вы своей дочери выйти замуж за хорвата?

Предполагается, что согласие с каждым последующим утверждением отражает переход к очередной градации ординальной шкалы установок — от меньшей близости к большей. Существенным требованием к избранной совокупности вопросов является их содержательная валидность, иными словами, здесь необ­ходимы экспертные процедуры, описанные выше. Важно также убедиться в обоснованности предположения об одномерности шкалируемой пе­ременной. Если в данных, полученных при использовании шкал социальной дистанции, встречаются «нелогичные» (так называемые нешкалируемые) ин­дивидуальные паттерны ответов, причиной чаще всего бывает влияние другой переменной. Примером нешкалируемого паттерна ответов может служить си­туация, когда респондент, отрицательно ответивший на «слабые» вопросы, нео­жиданно соглашается с более «сильными», предполагающими высокую сте­пень близости (среди специалистов по социологическим методам имеет хожде­ние соответствующая шутка: если человек, не желающий жить в одном городе с черными, согласен выдать свою дочь замуж за черного, это не ошибка измере­ния: просто он одинаково ненавидит негров и собственную дочь).

Шкала равнокажущихся интервалов Л. Терстоуна позволяет достичь более высокого уровня измерения установок, чем ординальный. Она представляет собой целый класс методов интервального шкалирования и будет рассмотрена здесь в качестве наиболее простого примера[159].

Первая шкала равнокажущихся интервалов была описана в работе 1929 года и предназначалась для измерения остановок по отношению к церкви как соци­альному институту[160]. Этой работой мы воспользуемся для того, чтобы проил­люстрировать основные этапы предложенной Терстоуном процедуры.

Шкала Терстоуна позволяет расположить и суждения, и индивидов вдоль одно­мерного континуума установки, полюсам которого соответствует крайне благо­желательное и крайне негативное отношение к объекту установки (церкви, партии, прогрессивному налогообложению или чему-либо еще). Шкальный балл суждения или индивида отражает степень этой благожелательности или не­благожелательности.

На первом этапе исследователь составляет максимально широкий список суждений (высказываний), выражающих интересующую его установку. Так, Терстоун собирал мнения коллег, студентов, высказывания из публикаций, касаю­щихся церкви. Здесь уместны также интервьюирование, использование откры­тых вопросов («Что Вы думаете о...?»), групповая дискуссия и т. п. Собранные суждения были подвергнуты первичному отбору. Исследователи отсеяли те выс­казывания, которые не удовлетворяли обычным требованиям к конструированию вопросов — двусмысленные, слишком длинные, содержащие специальные термины и т.п. (см. гл. 5). При первичном отборе суждений для шкалы Терстоуна используют и некоторые специальные критерии:

1. Исключаются суждения, относящиеся скорее к прошлому, чем к насто­ящему (например, «В средневековье церковь играла важную роль в обще­ственной жизни»).

2. Исключаются суждения, описывающие факты, а не мнения и отноше­ния. Конечно, далеко не всегда можно отделить высказывания, описыва­ющие фактическое положение дел, от прочих. Скажем, слова «Бог любит нас всех» — факт для верующего, хотя другие люди могут усмотреть в них определенное отношение к религии. В практических целях вполне достаточно руководствоваться следующим критерием для выявления фактических суждений, подлежащих устранению из шкалы Терстоуна: фактом является любое высказывание, для установления истинности которого могут быть использованы какие-то «посюсторонние» процедуры вери­фикации.

3. Исключаются также суждения, содержащие слова «все», «всегда», «ник­то», «никогда», так как этим словам люди обычно придают различный смысл, что затрудняет интерпретацию.

В результате исходный список из 350—400 суждений сокращается до 100—120. Следующим этапом является «судейская» процедура, позволяющая определить шкальное значение для каждого суждения и провести среди них окончатель­ный отбор. Терстоун предложил разделить гипотетический континуум благо­желательного-неблагожелательного отношения к церкви на 11 категорий (от «А» до «К»), разделенных субъективно равными интервалами. Требование субъек­тивного равенства интервалов между градациями весьма существенно для по­строения шкалы Терстоуна и обычно его специально подчеркивают в инструк­ции для «судей» (например, «Представьте, что карточки с буквами от „А" до “К" представляют расположенные на равном расстоянии градации шкалы, так что градации „А" соответствует максимально благожелательное отношение к Х (объекту установки), а „К" — максимально неблагожелательное, негативное от­ношение»). Каждое из утверждений списка печатается на отдельной карточке, которые и раздаются «судьям» (в конструировании шкалы установок по отно­шению к церкви участвовало 300 таких экспертов). Задача «судей» заключается в том, чтобы разложить все 100—120 суждений по 11 рубрикам соответствен­но степени выраженного в них благожелательного или неблагожелательного отношения к объекту остановки.

Подчеркнем, что «судей» не просят высказать их собственное мнение, они дол­жны лишь рассортировать высказывания.

Шкальное значение (балл) каждого из высказываний определяется распределе­нием оценок «судей», поэтому началом следующего этапа (собственно постро­ения шкалы) является подсчет процента экспертов, положивших высказывание в определенную стопку. Далее подсчитывается суммарный (кумулятивный) про­цент «судей», отнесших суждение к данной градации и предшествующим гра­дациям. Терстоун присваивал использовавшимся градациям числовые значе­ния от 1 (градация «А», максимально благожелательное отношение к церкви) до 11 (градация «К»). Проиллюстрируем дальнейшее на примере гипотетичес­кого суждения N, данные для которого представлены в таблице 6.1.

Таблица 6.1

Распределение «судейских» оценок для суждения N

 

Градация (числовое значение) «А» (1) «В» (2) «С» (3) «D» (4) «Е» (5) «F» (6) «G» (7) «Н» (8) «I» (9) «J» (10) «K» (11)
Процент судей, отнесших суждение к данной градации                      
Кумулятивный процент                      

 

Распределение кумулятивных (накопленных) процентов позволяет вычислить значения медианы и междуквартильного размаха. Медиана, или процентиль 50 в распределении накопленных частот, — это такое значение на шкале «А» — «К», относительно которого половина судей дала большие, а другая половина — меньшие оценки данного утверждения[161]. Медиана, таким образом, делит попо­лам упорядоченное множество значений признака. Вычислить медиану мы мо­жем по следующей формуле:

В методе Терстоуна ширина интервала между соседними численными градаци­ями по определению равна 1 (равнокажущиеся интервалы). В используемом нами примере границами интервала, где расположена медиана (процентиль 50), являются градации «F» и «G» (см. табл. 6.1). Фактической нижней границей интервала медианы будет значение 6,5[162], отсюда:

 

Значение медианы и принимается за шкальный балл («цену») суждения. Для гипотетического суждения N в нашем примере он оказался равен 6,7. (В прин­ципе более простым является графический метод нахождения медианы. Для этогона миллиметровой бумаге строится кривая накопленных процентов — оги­ва, позволяющая легко найти числовое значение, соответствующее процентилю 50.)

Ясно, однако, что не все суждения, получившие оценку «судей», в равной мере пригодны для шкалы: некоторые из суждений получат весьма согласованные и единодушные оценки экспертов, тогда как другие вызовут разнобой во мнени­ях. Для оценки внутренней согласованности отдельных высказываний шкалы Терстоун применил меру разброса судейских оценок — междуквартильный раз­мах. (Здесь снова вместо распределения абсолютных частот экспертных оце­нок используется распределение процентилей, т. е. накопленные частоты выра­жают в кумулятивных процентах, что позволяет сравнивать выборки разного объема.) Междуквартильный размах — это расстояние между первым и треть­им квартилем распределения. Первый квартиль (Q 1) задается точкой на оси, до которой лежит 25% полученных оценок суждения, а третий ((Q 3) — точкой, выше которой лежит 25% оценок. (Легко видеть, что второму квартилю соответству­ет медиана.) Для вычисления междуквартильного размаха (Q 3 ¾ Q 1)сначала уста­навливаются значения, соответствующие первому и третьему квартилям распреде­ления. Для этого используются формулы, аналогичные формуле для медианы, с соответствующими поправками: берется фактическая нижняя граница интервала соответствующего квартиля, кумулятивный процент для нижней границы интерва­ла данного квартиля и т. д. Так, для первого квартиля формула подсчета такова:

Для нашего примера с суждением N:

 

 

Читатель может самостоятельно выписать аналогичную формулу для третьего квартиля (75 процентиль), произвести необходимые подсчеты и убедиться, что для вымышленного суждения N междуквартильный размах (Q 3 ¾ Q 1) составит 1,7. Те суждения, для которых разброс оценок, измеренный через междуквартильный размах, оказывается слишком велик, исключаются из шкалы Терстоуна. Предполагается, что высказывание, получившее столь разные оценки, воспри­нимается слишком неоднозначно. Так, Терстоун исключил из первоначально предъявленного «судьям» списка 90 высказываний из 130. В результирующей шкале оставляют одно-два высказывания для каждого деления шкалы, чтобы все градации предполагаемого установочного континуума оказались в равной мере представлены.

Если получившуюся шкалу предъявить теперь группе респондентов, то инди­видуальным баллом каждого субъекта, выражающим меру «благожелательность» его установки, можно считать медиану (или средний балл) всех суждений, с которыми он согласился.

Многие критики шкалы Терстоуна указывали на возможность влияния на полу­чаемые результаты характеристик «судейской» группы и широты диапазона предлагаемых суждений[163]. Все же существуют веские основания считать, что такая шкала обладает вполне удовлетворительной воспроизводимостью и в среднем диапазоне дает уровень измерения, превосходящий ординальный (является так называемой шкалой разностей). Удаление или прибавление пункта шкалы не меняет шкальных значений других пунктов-высказываний. Приведем некоторые примеры высказываний, включенных Терстоуном в окончательный вариант шкалы установок по отношению к церкви (в скобках указан шкальный балл суждения):

· «Я думаю, что церковь – это наиважнейший социальный институт в современной Америке» (0,2);

· «Когда я нахожусь в храме, мне доставляет удовольствие наблюдать за службой, особенно если при этом звучит хорошая музыка» (4,0);

· «Я ощущаю потребность в какой-то религии, но не нахожу того, что мне нужно, ни в одной из существующих церквей» (6,1);

· «С моей точки зрения, церковь безнадежно устарела» (9,1).

В основе шкалы Гутмана также лежит идея кумулятивности: одни высказвания-пункты имеют большую «нагрузку» на одномерном континууме шкалируемой переменно-признака, другие – меньшую. Модель шкалирования, предложенная Гутманом, подразумевает, что в идеальном случае респондент, согласившийся с более «нагруженным» пунктом, согласится и со всеми менее «нагруженными». Таким образом, знание максимального шкального балла респондента позволяет полностью воссоздать паттерн его ответов. Шкалируемая переменная-признак не обязательно является установкой, она может характеризовать поведение: одна из первых гутмановских шкал, например, содержала пункты, описывающиен симптомы реактивного невроза, расстройства сна, тошнота, страх и т.п.[164] В предложенной Гутманом процедуре обычно используется совокупность дихотомических вопросов, т.е. вопросов, на которые могут быть даны лишь два ответа: “да” или “нет”, “согласен” или “не согласен”. Совокупность вопросов или утверждений, составляющих гутмановскую шкалу, должна обладать одним существенным свойством: вероятность положительного ответа монотонно возрастает с ростом значения шкалируемой (латентной) переменной. Отсюда следует, что субъекты, имеющие больший шкальный балл, т.е. большее значение латентной переменной, с большей вероятностью дают положительный ответ на каждый отдельный вопрос[165]. Это условие легко проиллюстрировать на примере следующих вопросов о росте (для простоты изложения предположим, что ошибка измерения отсутствует, т.е. все респонденты знают и точно сообщают свой истинный рост):

1. Верно ли, что Ваш рост превышает 1,50 м?

2. Верно ли, что Ваш рост превышает 1,60 м?

3. Верно ли, что Ваш рост превышает 1,70 м?

Эти вопросы образуют идеальную гутмановскую шкалу: если ошибка измерения отсутствует, любой респондент, ответивший положительно на вопрос 3, дает положительный ответ и на вопросы 2 и 1. Вообще, зная максимальный балл респондента, мы можем полностью воссоздать его паттерн ответов. Для вопросов о росте все возможные паттерны ответов (шкальные типы) приведены в табл. 6.2.

Таблица 6.2

Ответы на вопросы о росте для четырех гипотетических респондентов

Вопрос, № п/п Респондент      
А + + +
Б + + ¾
В + ¾ ¾
Г ¾ ¾ ¾

Если респондентов и вопросы расположить на одной шкале латентной переменной (в данном случае, «роста»), то станет очевидным, что респонденты реагируют на вопросы в зависимости от своего ранга (положения) на этой же шкале: респондент данного роста, позитивно прореагировавший на некий вопрос-пункт, будет также позитивно реагировать на все пункты, имеющие более низкий ранг (в нашем примере, на все более «низкорослые» вопросы-пункты). Скажем, для примера с ростом совместное упорядочение вопросов и респондентов на гутмановской шкале могло бы выглядеть, как на рисунке 13.

                       
 
Вопрос 1
 
Вопрос 2
 
Вопрос 3
 
       

 

 


Низкий рост Высокий рост

                   
   
 
 
Респондент Г
 
Респондент В
 
Респондент Б
 
Респондент А

 


Рис. 13. Шкала Гутмана для трех вопросов о росте

И четырех респондентов

 

Легко видеть, что в нашем примере самыми «популярными» (имеющими наибольшую частоту положительных ответов) будут менее «нагруженные» по шкалируемой переменной вопросы. С другой стороны, большее число положительных ответов будет у тех респондентов, для которых значение шкалируемой переменной выше.

Для того чтобы определить, является ли данная совокупность вопросов шкалируемой, т.е. дает ли она хорошее приближение к идеальной модели шкалирования по Гутману, нужно, во-первых, убедиться, что вопросы по своему смыслу могут соответствовать вышеописанному условию монотонного возрастания вероятности положительного ответа. Так, например, рассмотренные выше вопросы шкалы социальной дистанции Богардуса теоретически могут составить гутмановскую шкалу. Однако так называемые точечные вопросы ¾ например: «Верно ли, что Ваш рост равен 1,65 м?» ¾ наверняка не могут быть использованы в рамках рассматриваемой шкальной модели. Дальнейшая процедура построения гутмановской шкалы заключается в проверке соответствия реальных данных модели совершенной шкалы Гутмана и ее лучше рассмотреть на конкретном примере.

Допустим, некий социолог пытается измерить переменную «благопристой­ность», которую он почему-то связывает со стремлением следовать норматив­ным предписаниям, регулирующим публичное (т. е. безличное) социальное общение. Среди использованных им вопросов есть три следующих:

1. Вы обычно стучите в дверь кабинета или комнаты, прежде чем войти (верно, неверно).

2. В публичных обсуждениях или дискуссиях Вы высказываете свое мне­ние лишь тогда, когда Вас прямо об этом попросят (верно, неверно).

3. Вы предпочтете промолчать, если Вам покажется, что Ваше справедливое и существенное замечание может вызвать раздражение у окружаю­щих (верно, неверно).

Конечно, можно предположить, что некоторые из изобретенных исследовате­лем вопросов отражают скорее «социальную тревожность» или «конформизм», но в данном случае мы будем руководствоваться тем, что идеальных индикато­ров не бывает: бывают индикаторы, дающие лучшее или худшее приближение к идеальной шкале для реальных данных.

Итак, социологу предстоит проверить, насколько полученное им эмпирическое распределение ответов соответствует тем теоретически возможным паттернам ответов на три вопроса, которые в таблице 6.2 образуют безупречный «парал­лелограмм», характерный для идеальной гутмановской шкалы. Для случая трех вопросов возможны четыре «правильных» паттерна ответов, обозначаемых обычно как школьные типы ответов:

1. + + +

2. + + ¾

3. + ¾ ¾

4. ¾ — —

Предположим, что наш социолог получил следующую картину распределения шкальных типов (см. табл. 6.3).

Таблица 6.3







Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычис­лить, когда этот...

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Система охраняемых территорий в США Изучение особо охраняемых природных территорий(ООПТ) США представляет особый интерес по многим причинам...

Живите по правилу: МАЛО ЛИ ЧТО НА СВЕТЕ СУЩЕСТВУЕТ? Я неслучайно подчеркиваю, что место в голове ограничено, а информации вокруг много, и что ваше право...





Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:


©2015- 2024 zdamsam.ru Размещенные материалы защищены законодательством РФ.