Метаанализ и генераторы случайных чисел

Самые отдаленные галактики невидимы для невооруженного глаза. Однако их можно обнаружить при помощи согласованных групп мощных телескопов, способных делать тысячи снимков в неделю. Суммирование громадного числа фотографий позволяет астрономам собрать достаточно фотонов — пакетов световой энергии — для регистрации самых слабых звездных объектов. Точно так же некоторые субатомные силы настолько малы, что гигантским ускорителями приходится проводить миллионы испытаний, чтобы зафиксировать их действие. Возможно, пси — звезда или сила настолько слабая, что надежные свидетельства ее существования можно добыть, лишь проверив громадное число людей. Добиться этого можно при помощи метаанализа. Метаанализ — относительно новый статистический метод, при котором результаты множества экспериментов можно рассматривать как один масштабный эксперимент. При совместном рассмотрении слабые эффекты, распределенные по множеству проектов, можно выделить и усилить. По пси-явлениям было проведено по крайней мере четырнадцать метаанализов, еще четыре было посвящено телекинезу (Bosch, Steinkamp & Boiler, 2006).

Первые серьезные эксперименты по телекинезу провел в 1930-х гг. Дж. Райн. Он попытался определить, могут ли испытуемые силой мысли влиять на результат бросания игральных костей. (Интересно, что первым эту идею предложил в 1627 г. Фрэнсис Бэкон, один из основателей научного метода; Radin, Nelson, Dobyns 8t Houtkooper, 2006). Радин и Феррари (Radin 8t Ferrari, 1991) провели метаанализ этих и более чем сотни других экспериментов, включавших суммарно 4600 человек (и 3,6 млн бросков). Первые результаты казались перспективными, но окончательное однозначное заключение сделать не удалось из-за нескольких неопределенностей. Игральная кость падает не совсем случайно; самый вероятный бросок — «б», тогда как «1», напротив, наименее вероятный результат. Поскольку точки на поверхности граней, как правило, высверливаются, сторона с максимальным количеством отверстий («б») будет самой легкой, а с минимальным («1») — самой тяжелой и с наибольшей вероятностью ляжет на стол. Кроме того, в некоторых экспериментах исследователи применяли произвольную точку останова, т. е. прекращали бросать кости ровно тогда, когда получали желаемый результат. Какая уж тут случайность! Если вы бросите кость 56 раз, вы можете получить, к примеру, такую последовательность:

Обратите внимание: эта случайная последовательность не гладкая, иногда в ней попадается несколько одинаковых результатов подряд (глава б). В самом деле, на десятом броске вы получаете не меньше чем четвертую шестерку.

Если вы произвольно остановитесь на десятом броске, получится, что 40 % бросков — шестерки; очевидно, это необычайное событие. Однако на самом деле надо смотреть на общую картину, а не останавливаться тогда, когда захочется.

В середине XX в. исследователи отказались от бросания костей в пользу компьютеризованных процедур генерации случайных чисел. К примеру, Белофф и Эванс (Beloff 8t Evans, 1961) использовали в качестве источника случайности скорость распада радиоактивного элемента. Участники пси-исследования пытались замедлить распад. Другие исследователи пользовались различными компьютерными генераторами случайных чисел (ГСЧ); их еще иногда называют генераторами случайных событий (ГСС). Выход такого генератора переводится в набор щелчков или чисел (нулей и единиц). Использование ГСЧ предполагает регистрацию проявлений микротелекинеза, мысленного влияния на события на атомном или субатомном уровне. Преимущества методики в том, что она позволяет проводить очень большое количество испытаний и ограничивает возможность человеческого вмешательства — обмана или ошибки. Однако исследователи по-прежнему могут выбирать произвольную точку останова.

Самый, возможно, всесторонний метаанализ исследований по ГСЧ провели Бёш и др. (Bosch et al., 2006). Они собрали результаты 380 экспериментов и обнаружили очень слабый, но значимый эффект. Однако они пришли к выводу, что эффект этот, скорее всего, возник в результате работы в стол. Попросту говоря, если исследователи не склонны публиковать негативные результаты (а просто складывают в стол), а журналы тоже не склонны их печатать, то в соответствующей литературе появляется обманчиво высокий процент успешных работ. Если учесть данные всех исследований, то неопубликованные негативные результаты многократно перевесят опубликованные положительные (см. главу 3 о предвзятости при публикации). Вероятно, это проблема всех опубликованных метаанализов пси-феномена. В самом деле, как заметил один очень уважаемый эксперт в области статистики, метаанализ «возводит предубеждение при публикации в ранг искусства до такой степени, что некоторые достойные доверия специалисты по методике исследований… полностью отметают подобного рода свидетельства» (Bausell, 2007, р. 198).

Иногда исследователи возражают, что пресловутый «стол» с негативными результатами должен быть невероятно велик, чтобы перечеркнуть позитивные результаты метаанализа. К примеру, при анализе экспериментов с бросанием костей Радин и Феррари (Radin & Ferrari, 1991) вычислили: для того чтобы перевесить позитивные эффекты опубликованных исследований по телекинезу, использованных для метаанализа, «в столе» должны были бы лежать отчеты о 18000 экспериментов, давших негативные результаты. Другие исследователи при более тщательном анализе пришли к выводу, что для этого достаточно было бы всего шестидесяти неопубликованных работ (Bosch et ah, 2006). Аналогично, Радин (Radin, 1997) представил самый сильный, возможно, аргумент в пользу пси (Good, 1997) — значимый пси-эффект, полученный при метаанализе проведенных за полвека 186 экспериментов по экстрасенсорному восприятию. Более того, Радин утверждает, что для ликвидации этого эффекта «в столе» должно лежать 3300 неопубликованных работ. Гуд (Good, 1997), профессиональный статистик, отмечает, что Радин никак не обосновывает свое заявление о размерах «стола» и что на самом деле потребовалось бы всего 8-15 неопубликованных негативных исследований. Гуд заключает, что собственные данные Радина в значительной мере подрывают результаты его метаанализа в пользу ЭСВ. Надо заметить, что разногласия по поводу необходимых размеров «стола» с неопубликованными негативными результатами очень типичны для пси-исследований.

Метаанализ — очень противоречивый и сложный в использовании инструмент. Статистически возможна ситуация, когда при метаанализе 50 экспериментов, ни один из которых не дал значимых результатов, будет получен значимый общий результат — вообще говоря, иллюзорный (Alcock, 1981). Большинство ученых, занятых метаанализом, вынуждены либо исключать из рассмотрения плохо проработанные, по их мнению, эксперименты, либо придавать им меньший статистический вес. Однако те, кто пытается проводить метаанализ пси-исследований, редко соглашаются между собой в том, как следует оценивать исходные эксперименты. В итоге метаанализ одного и того же набора публикаций у двух разных исследователей почти всегда дает разные (часто противоположные) результаты.

Наконец, методика экспериментов с ГСЧ позволяет проводить сотни тысяч испытаний. Мало у кого хватит выдержки реально бросать кости столько раз. С одной стороны, такая особенность представляется полезной. С другой, статистики обычно предупреждают об том, что статистический анализ слишком больших выборок может дать иллюзорно положительный результат. При громадном числе испытаний даже мелкие источники ошибок (легкая неслучайность данных ГСЧ, температура, нагромождение случайностей) могут дать видимый эффект. Неоднократно было продемонстрировано, что при использовании очень большой случайной выборки может быть получен чрезвычайно слабый и чисто иллюзорный, но статистически значимый эффект (см. Alcock, 1981).

В заключение скажем, что влияние посредством телекинеза на работу генератора случайных чисел вызывало и вызывает жаркие споры и новые исследования. Ирвин и Уатт (Irwin & Watt, 2007) предлагают самый, наверное, разумный на данный момент вывод: пока слишком рано делать уверенный вывод об аутентичности телекинеза на основании метаанализа.

Но, может быть, паранормальные процессы работают у одних людей и не работают у других? Если так, то очень важно определить, какие характеристики личности или объекта связаны с пси-феноменом, — это помогло бы продемонстрировать пси на практике. Ирвин и Уатт (Irwin & Watt, 2007) считают, что действительно имеются «обнадеживающие» (см. «Обтекаемые выражения», глава 4) ассоциации между остротой экстрасенсорного восприятия и мировоззрением, верой, настроением, личностью, когнитивными особенностями и демографией (на самом деле по каждому из этих пунктов существуют противоречивые данные). Чаще всего, наверное, говорят о гипотезе агнцев — козлищ. Как уже отмечалось, эта гипотеза утверждает, что люди, заранее верящие в паранормальное, «агнцы», с большей вероятностью смогут продемонстрировать паранормальные эффекты, чем неверящие, «козлищи» (Schmeidler, 1945). Сторонники паранормального заявляют, что эффект агнцев — козлищ — одно из «наиболее успешно воспроизводимых соотношений в ЭСВ-исследованиях» (Irwin & Watt, 2007, p. 74). Однако единственный общий вывод, который можно сейчас сделать, сводится к тому, что существующие исследования очень противоречивы, а суммарный эффект, если он есть, чрезвычайно слаб (Lawrence, 1993). Но даже с таким выводом согласны не все (Stanford, 2003). Эксперименты, связанные с эффектом агнцев — козлищ, осложняются еще и тем, что склад ума и характера, свойственный адептам паранормального, может способствовать серьезному искажению восприятия и памяти (см. главы 7 и 8).

Наконец, для тех, кто рассказывает о пережитом паранормальном опыте, вполне может быть характерен целый ряд дополнительных особенностей, включая позитивный настрой, уровни психологической адаптации, экстравертность и склонность к фантазиям. При этом вопрос о том, точны ли рассказы этих людей, остается открытым. Ирвин и Уатт склонны согласиться с тем, что проявления пси в человеке определяются его личностными характеристиками, и, тем не менее, признают, что:

…решительный скептик может возразить, что использование в ЭСВ-исследованиях сторонних процессов (случайных сенсорных данных-подсказок, намеренного обмана и т. д.) коррелирует с различными психологическими особенностями личности и что именно эти корреляции выявляются в ходе процесс-ориентироваиных экспериментов. К примеру, показатели ЭСВ могут быть связаны с экстравертностью, потому что экстраверты более склонны искать пути для обмана, нежели интроверты (р. 81).

Это наблюдение приводит нас к окончательному выводу.

Ирвин и Уатт (Irwin &. Watt, 2007) признают критику скептиков в том, что имеющиеся свидетельства ЭСВ могут быть результатом сторонних процессов, не связанных с пси-феноменом. Однако они продолжают утверждать: «Разумеется, прежде чем принять рассуждения такого рода, следует подвергать каждое конкретное заявление дальнейшей эмпирической проверке» (р. 81). На кого при этом возлагается бремя доказательств (главы 4 и б)? Сравните это с принципом Сагана (главы 2 и 5).

Активный поиск пси-феноменов охватывает множество самых разных явлений — от эффектных сеансов и представлений медиумов до неслышного щелканья генераторов случайных чисел. Какой же вывод мы можем сделать из сотен экспериментов, проведенных за последний век сотнями страстных исследователей? Сами пси-исследователи часто говорят о том, что пси-феномен уже давно продемонстрирован со всей достоверностью (Irwin & Watt, 2007). Критики утверждают, что надежно воспроизвести в независимой лаборатории успешные будто бы эксперименты не удается (Hyman, 2008). Мне кажется, вывод прост: экстраординарные заявления требуют экстраординарных доказательств. В истории слишком много случаев, когда самые известные исследователи оказывались виновны в мошенничестве, обмане, небрежности, селективности при публикации результатов, когда они неверно рассказывали об использованных методиках и скрывали очевидные методические недостатки своих экспериментов. Конечно, подобное случается в любой области исследований. Но в паранормальных исследованиях ставки куда выше. Более того, в других областях исследований проблемы, как правило, быстро обнаруживаются и исправляются в последующих экспериментах; в пси-исследованиях до сих пор повторяются ошибки, обнаруженные десятки лет назад (хотя прогресс наблюдается).

В главе 5 я выдвинул предложение: для достоверности в паранормальных исследованиях необходимо применять стандарт МООН: тщательный контроль со стороны независимых и незаинтересованных экспертов и не менее тщательное дублирование экспериментов с целью исключить мошенничество, ошибку, обман и небрежность. Я сомневаюсь, что в ближайшее время это произойдет.

Во-первых, в большинстве своем пси-исследователи убеждены, что они уже выполнили все требования критиков и проводят теперь безупречные научные исследования (Raz, 2008). Ирвин и Уатт (Irwin & Watt, 2007) также делают вывод, что «экспериментальные свидетельства ЭСВ соответствуют критериям, которые обычно применяются к другим психологическим исследованиям» (р. 60). Более того:

Если не считать, что существуют одни правила для интуитивно приемлемых данных и другие — для парапсихологических и иных «радикальных» данных, мы вынуждены будем признать, что ЭСВ-исследования указывают на реальное явление (р. 60).

Исследователи-паранормалисты часто сердятся на критику. Утис (Utis, 1995) жаловался больше десяти лет назад: «Мало смысла продолжать эксперименты, нацеленные на получение доказательств, — ведь мы мало что можем предложить дополнительно человеку, который не принимает уже имеющейся массы данных» (р. 290). Из-за этого Алкок (Alcock, 2003), ученый, равно уважаемый и сторонниками пси, и скептиками, — заметил, что обсуждение пси-исследований очень напоминает «dialogue aux sourds — диалог глухих» (р. 203).

Действительно, скептики не колеблясь привлекают внимание общества к ошибкам и глупостям в паранормальных исследованиях, — занятие, не чуждое и этому тексту. Пси-исследователи удивительно настойчиво игнорируют разумные требования исправить ошибки, которые не позволяют их результатам попасть в лучшие научные журналы. Они жалуются на «негибкость», «лживость», «пагубность» и «низкое самоуважение» традиционной науки, на то, что она «предубеждена» против пси-феномена и даже подсознательно боится его (Irwin & Watt, 2007; Radin, 1997, 2008). Дин Радин, самый заметный, возможно, современный пси-исследователь, высказывает аналогичное мнение:

Вокруг этих тем достаточно простора для научных дебатов, и я знаю немало уважаемых мной ученых, которые пришли к иным выводам. Но я понял также, что большая часть враждебных речей на эти темы — просто блеф и те, кто их произносит, не имеют понятия, о чем говорят. Такое впечатление, что их неприятие мотивируется фундаменталистской верой научного или религиозного характера, а не рациональными и разумными аргументами (Radin, 2008).

Справедливости ради скажем: известны случаи, когда традиционные ученые неверно рассказывали о том, что сделано псиисследователями (Child, 1985). Возможно, это пример ошибки подтверждения, при которой скептики видят в пси-исследованиях то, что ожидают увидеть. Если так, то пси-исследователям следовало бы более четко рассказывать о силе полученных доказательств и применении стандарта МООН. Тем не менее проблема существует.

Позвольте мне быть откровенным. К пси-исследователям (Irwin & Watt, 2007; Radin, 2008) давно пора применить сверку с реальностью, причем в двух очень важных направлениях. Во-первых, обвинять ученых-скептиков в «негибкости», «лживости», «пагубности», «низком самоуважении», «предубеждении», «страхе перед пси» и «научном фундаментализме» — значит совершенно не понимать природу науки. Ученые обожают аномалии. Без необъясненных загадок не было бы и науки. Недавний пример — понятие темной энергии, той странной силы, которая, судя по всему, заставляет Вселенную расширяться; если эту силу удастся идентифицировать, на свалку истории, возможно, отправится преобладающая и очень популярная «стандартная модель» физики. Поначалу традиционные ученые отвергали темную энергию так же, как отвергают те загадочные энергии, которые вроде бы отвечают за пси-феномен. Однако хватило всего пяти лет астрономических наблюдений, чтобы понять, что Вселенная действительно расширяется, а удовлетворительного объяснения этому нет. Сегодня на исследование темной энергии направлено самое дорогостоящее научное оборудование на планете: многомиллиардный наследник космического телескопа им. Хаббла и многомиллиардный ускоритель — Большой адронный коллайдер. Другими словами, ученые не стесняются тратить громадные деньги на исследование аномальной энергии, которая может потребовать полного пересмотра физической науки. И подумайте о том, как ученые (часто те же самые люди, изучающие темную энергию) игнорируют гипотетические аномальные энергии пси. Почему? Мы добрались до второй сверки с реальностью, о которой шла речь: экстраординарные заявления требуют экстраординарных доказательств.

Как правило, пси-исследователи игнорируют совет Карла Сагана. Ирвин и Уатт (Irwin & Watt, 2007) не упомянули его ни разу.

Но почему мы требуем экстраординарных доказательств? Энергия пси, если таковая существует, могла бы привести к гораздо более серьезным последствиям, чем темная энергия. Опять же задумайтесь об этом. Демонстрация и обуздание энергии пси позволили бы нам (как совершенно справедливо рассуждают пси-исследователи; глава 2) спасать жизни и лечить серьезнейшие болезни одной только силой мысли; решить проблему бедности и справиться с энергетическим кризисом; следить за врагами и предотвращать террористические атаки и войны; отказаться от дорогих средств дальней связи в пользу прямой телепатии; а также спрямить ход истории и эволюции путем выборочного устранения прошлых ошибок и катастроф. Трудно представить себе что-нибудь более неэтичное, чем сознательное, ничем не оправданное утаивание ясных доказательств того, что хотя бы что-то из перечисленного реально может быть сделано. Ученые, отвергающие реальные доказательства в пользу пси-феномена, оказались бы виновны в неэтичном поведении исторических масштабов.

Но спустимся на землю. Может быть, неэтичным было бы ухватиться за великолепные перспективы, расписанные пси-исследователями, и сделать следующий логичный шаг — обратить громадную долю ограниченного мирового богатства (и урезать тем самым расходы на борьбу с глобальным потеплением, бедностью, болезнями и т. п.) на обуздание необычайных сил, которые, по их глубокому убеждению, существуют. Очевидно, этого не происходит потому, что пси-исследователи до сих пор не смогли с полной убедительностью представить свои доводы. Все, что для этого требуется, — тщательно проработанное исследование с соблюдением стандарта МООН. Опять же я очень серьезно сомневаюсь, что традиционное научное сообщество проигнорировало бы такое исследование. Для начала было бы неплохо, если бы адепты паранормального сами оплачивали свои эксперименты, пока не найдут ясного и убедительного способа продемонстрировать пси-возможности. Вопреки заявлениям некоторых защитников паранормального о том, что пси-исследования тормозятся из-за недостатка финансирования (Irwin & Watt, 2007), цена вопроса не должна быть слишком уж высокой.

Да, Ирвин и Уатт (Irwin & Watt, 2007) и Чайлд (Child, 1985), возможно правы в том, что некоторые пси-исследования соот ветствуют стандартам, традиционно применяемым к обычным психологическим исследованиям. Адепты паранормального справедливо отмечают, что и в психологии мало какие выводы подтверждаются независимыми повторными экспериментами. Однако здесь попытки повторения дают противоречивые результаты и, как правило, сводятся на нет другими исследованиями, в которых эффект вообще не удается обнаружить. Любопытно, как часто замечает Хайман (Hyman, 2008), что «суммарный размер пси в любом крупном исследовательском проекте по парапсихологии уменьшается со временем и сходится к нулю. Значительные попытки непосредственно повторить ключевые парапсихологиче-ские открытия, даже с адекватными средствами, терпят неудачу» (pp. 42–43). Сторонники возражают: пси-феномен реален, но скоротечен. Критики, глядя на те же данные, заключают, что он примерно столь же скоротечен, как случайный бросок игральных костей. Чтобы выйти из этого тупика, пси-исследователям придется «пройти лишнюю милю», даже если для этого потребуется проглотить свою гордость и принять предложенные мной «более высокие стандарты».

Позвольте высказать предложение. Пси-исследователям следует как можно скорее обратить внимание хотя бы на проблему «работы в стол» (пример буквы «Н», или «небрежности», в стандарте МООН). Бёш и др. (Bosch et al., 2006), а также Ирвин и Уатт (Irwin & Watt, 2007) предложили пси-исследователям регистрировать свои проекты заранее — фактически регистрировать намерение провести паранормальное исследование. Такое требование не было бы чрезмерным (а координировать его можно практически бесплатно через Интернет, и этим вполне могли бы заняться несколько независимых и нейтральных организаций). В самом деле, аналогичная процедура действует в настоящее время в медицинских исследованиях. С 2005 г. Международный комитет редакторов медицинских журналов требует предварительной регистрации в качестве необходимого условия при рассмотрении статьи, поданной на публикацию (DeAngelis et al., 2005).

В заключение скажем: исследования по пси будут оставаться неубедительными до тех пор, пока не появится адекватный контроль качества. Как сказал Джеймс Алкок (James Alcock, 2003), «парапсихологи н и разу не смогли представить успешный эксперимент, который смогли бы воспроизвести нейтральные ученые, обладающие достаточной квалификацией, знаниями и соответствующим оборудованием…» (р. 35). Но исследования в этой области, безусловно, будут продолжаться. Люди и дальше будут испытывать очень яркие и убедительные парапсихологические переживания; порукой тому неверно понятые странности природы и мира чисел, искажения восприятия и памяти, эффект плацебо, а также сенсорные аномалии и галлюцинации.

Исследования паранормального всегда страдают от обмана и глупых выходок. Сегодня в каждом серьезном исследовательском проекте участвует профессиональный иллюзионист, цель которого — искать возможные источники и способы мошенничества. Самый знаменитый, возможно, случай намеренного обмана — проект «Альфа» (Randi, 1983а, 1983Ь). В 1979 г. Джеймс Мак-доннелл (председатель правления McDonnell-Douglas Aircraft) предоставил Университету Вашингтона в Сент-Луисе грант в полмиллиона долларов на организацию Лаборатории психических исследований Макдоннелла. Конкретной целью лаборатории стало исследование случаев сгибания металлических предметов детьми посредством телекинеза. Иллюзионист Джеймс Рэнди (Поразительный Рэнди) увидел в этом прекрасную возможность провести давно задуманный эксперимент.

Рэнди подобрал среди иллюзионистов двух подростков, Стива Шоу (Баначека) и Майка Эдвардса (18 и 17 лет соответственно), владеющих разнообразными трюками, и направил их в лабораторию. Испытав 300 желающих, лаборатория Макдоннелла выбрала Шоу и Эдвердса. На протяжении четырех лет и более чем 160 часов экспериментов два молодых человека дурачили серьезных ученых. Они сгибали ложки и алюминиевые стержни, заделанные для надежности в пластиковые блоки, угадывали рисунки в запечатанных конвертах, останавливали силой мысли электронные часы, выбивали предохранители, вращали бумажный пропеллер под изолирующим стеклянным колпаком, создавали изображение на пленке внутри фотокамеры, сцепляли два сплошных деревянных кольца и волшебным образом рисовали загадочные символы из кучек сухой кофейной гущи на дне запертого аквариума. Все это они проделывали при помощи всего лишь обычных иллюзионистских трюков, описание и объяснение которых несложно найти в Интернете (задайте поиск по ключевым словам project alpha).

Поразительно, но Рэнди написал директору лаборатории Мак-доннелла доктору Питеру Филипсу (профессору-паранормалисту) и изложил в письме одиннадцать предостережений: чего надо опасаться и как обезопасить себя от обмана. Рэнди предложил также бесплатно выступить в роли консультанта и даже помочь в подготовке «обманобезопасных» экспериментов. Доктор Филлипс отказался, сказав, что сам вполне способен распознать обман. Однако после письма Рэнди он решил вести видеозапись многих экспериментов.

Шоу и Эдвардсу удалось обмануть, помимо исследователей из лаборатории Макдоннелла, немало других ученых. Доктор Филлипс и паранормальное сообщество были очарованы «талантливыми экстрасенсами». Сотрудники лаборатории не нашли на видеозаписях признаков обмана, хотя внешним наблюдателям трюки молодых людей показались забавно очевидными. Когда Рэнди распустил слух о том, что талантливые экстрасенсы могут оказаться подставными, Филлипс только посмеялся. Разумеется, со временем все раскрылось. Но даже и тогда некоторые исследователи отказывались этому верить. Один даже заявил, что Стив и Майкл действительно обладают экстрасенсорными способностями и лгут, когда объявляют себя иллюзионистами. Другой ученый пожаловался, что эксперимент Рэнди «отбросил парапсихологию на сто лет назад». Лаборатория Макдоннелла вскоре закрылась.

Проект «Альфа» — возможно, лучшее доказательство того, что профессиональный иллюзионист может распознать обман там, где его не увидят ни ученые, ни серьезные экстрасенсы.

Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Конфликты в семейной жизни. Как это изменить? Редкий брак и взаимоотношения существуют без конфликтов и напряженности. Через это проходят все...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: