|
|
Экспертный опрос в ПР- и рекламной деятельностиПлан 1. Место экспертного анализа в практике социологических исследований. 2. Методика проведения экспертного опроса. 3. Практика применения экспертных опросов в ПР- и рекламной деятельности, других видах профессиональной занятости. Основные понятия и термины Анализ, анкета, вопрос, гипотеза, интервью, метод Дельфи, опрос, прикладное социологическое исследование, ранжирование, респондент, связи с общественностью, технология, экспертный опрос, экспертные оценки. Литература Анурин В.Ф. Эмпирическая социология: Учебное пособие для вузов. М., 2003. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М., 2002. Боришполец К. П. Методы политических исследований: Учебное пособие для студентов вузов. М., 2005. С. 114-135. Бутенко И.А. Организация прикладного социологического исследования. М., 1998. Галицкий Е.Б. Методы маркетинговых исследований. М., 2006. С. 221-321. Горшков М.К., Шереги Ф.Э. Прикладная социология: методология и методы: Учебное пособие. М., 2009. С. 137-146. Девятко И.Ф. Методы социологического исследования. М., 2003. С. 112-232. Евланов Л.Т., Кутузов В.А. Экспертные оценки в управлении. М., 1978. Китаев Н.Н. Групповые экспертные оценки. М., 1975. Леоненко В.В. Социологические методы в рекламной деятельности. М., 1996. Мишин В.М. Исследование систем управления: Учебник для вузов. М., 2007. С. 142-162. Панина Н.В. Технология социологического исследования. Курс лекций. Киев, 1998. Пэнто Р., Гравитц М. Методы социальных наук. М., 1972. Тавокин Е.П. Основы методики социологического исследования: Учебное пособие. М., 2009. С. 107-127. Экспертные оценки в социологических исследованиях. Киев, 1990. Шарков Ф.И., Родионов А.А. Рекламный рынок: методика изучения. Курс лекций: Учебное пособие для вузов. М., 2005. С. 48-81. Ядов В.А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М., 2001.
Интернет-ресурсы www.reclamodatel.ru – Рекламодатель: теория и практика www.c-s-r.ru – Маркетинговые, имиджевые, рекламные исследования. www.researches.narod.ru – Исследования рекламы www.media-planning.ru – Медиапланирование и реклама в России. www.marketing.spb.ru – Информационный сервер «Маркетинг» www.efa.ru – Лига рекламных агентств www.socium.ur.ru/?p=narug – Мониторинг наружной рекламы (Фонд «Социум») www.dux.ru/yes! – YES! Журнал о рекламе и маркетинге www.comcon-2.com -Комкон-2. Москва www.gallup.ru -Компания Gallup Media www.romir.ru -РОМИР www.fom.ru -Фонд «Общественное мнение» www.monitoring.ru –Группа «Мониторинг.ru» www.zircon.ru -Группа ЦИРКОН www.es.ru – Российский журнал о брендинге I Известно, что массовая аудитория не всегда правильно ориентируется в постоянно изменяющейся обстановке и часто не вполне адекватно представляет себе существо текущих и будущих событий. Поэтому для изучения тех или иных характеристик рекламного рынка, общественного мнения населения (особенно в части того, что скрыто от массы или недоступно ей, а именно – мотивы поведения, системность видения проблемы и т.д.) используются опросы, которые обращены не к массе, а к индивиду. Конечно, это делается при условии компетентности опрашиваемого субъекта в том или ином вопросе. Этот индивид (эксперт, чаще – группа экспертов) дает экспертную оценку, т.е. авторитетное мнение по определенной социальной проблеме. Опрос специалистов, или экспертный опрос, является разновидностью опросного метода, в котором многие требования, предъявляемые к массовому опросу, обычно опускаются, так как неприемлемы или невыполнимы. Например, экспертный опрос носит личный, а не анонимный характер, поэтому исключает «вопросы-ловушки», ибо подобный опрос предполагает активное сотрудничество респондента в деле осмысления и вербализации проблемы. При этом «экспертный опрос нацелен на уточнение гипотез, разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки уровня уверенности, меры согласия или несогласия с уже высказанными позициями других специалистов».[95] Целью массового опроса является получение информации о знаниях, мнениях, ценностных ориентациях и установках респондентов, отражающих их отношение к определенным событиям, явлениям действительности. Цель экспертного опроса заключается в получении информации о самих событиях и явлениях действительности, отраженной в знаниях, мнениях и оценках респондентов. Подобная информация может исходить только от компетентных лиц-экспертов, имеющих глубокие знания о предмете или объекте исследования. Виды экспертного опроса: 1. В зависимости от уровня формализации процедур. 2. В зависимости от техники работы с экспертами: · бальная оценка – эксперт оценивает фактор баллами или распределяет объект по заданным критериям, а баллы позже присваивает исследователь при обработке данных. · Ранжирование. Эксперт упорядочивает объекты (суждения) с предложенного набора, присваивая каждому соответствующий ранг. · Парное сравнение. Из составленных исследователем пар суждений предлагается указать более предпочтительный из каждой пары. · Последовательное сравнение. Эксперту следует сравнить важность каждого фактора в сравнении с группой других факторов. 3. В зависимости от техники организации для коллективной работы экспертов: · Мозговая атака с подготовленной ситуацией · Метод комиссии – выделяется проблема, выдвигаются и обсуждаются предложения по ее решению. · Отнесенная оценка. Обсуждение проходит в несколько туров, в каждом следующем туре согласовываются мнения. · Стимулированное наблюдение. Поставленная задача решается на воображаемом объекте. · Метод Дельфи. Эксперты решают проблему с сохранением анонимности суждения. Опрос проводится в несколько туров. Начиная со второго тура эксперты знакомятся с результатами предыдущего тура в обработанном исследователем виде. Каждому эксперту указывается расположение его оценок от средних значений. Если оценка эксперта сильно отклоняется, то исследователь требует либо изменения, либо аргументации оценок. Программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней формулируется подлежащее исследованию явление, предусматриваются в виде гипотез возможные варианты анализа. Этапы проектирования балльной экспертной оценки: 1. Уточнение заданий по проектированию анкеты 2. Описание объекта анализа в выделенных категориях 3. Построение блока данных 4. Построение блока суждений, выделение тематических данных, соответствующих теме анализа объекта 5. Логический и семантический анализ суждений с точки зрения соответствия языку, используемому экспертами. Требования к построению суждений: · Суждения формулируются в утвердительной форме · Суждение должно быть максимально кратко · Суждение должно представлять одну идею · Нецелесообразно включение суждений по которому у большинства экспертов нет представлений · Суждения не должны быть неопределенными и двусмысленными · Анкета должна предусматривать возможность включения важных суждений с точки зрения экспертов 6. Обработка шкалы бальной оценки суждений 7. Разработка инструкций эксперту по заполнению анкеты 8. Общая компоновка анкеты, пилотаж. В целом, экспертные оценки используются, как правило, в тех случаях, когда точность информации, необходимой для принятия соответствующего решения, невелика. II При формировании группы экспертов на первом этапе обора используются два-три признака (род занятий, стаж работы, уровень квалификации по обсуждаемому вопросу). При необходимости учитываются характер образования, возраст и т.д. Центральным критерием отбора экспертов считается их компетентность, т.е. отбор респондентов на роль экспертов осуществляется, в основном, в соответствии с уровнем их компетентности. Численность группы экспертов определяется качеством, а не количеством респондентов (обычно число экспертов не превышает 10-30 человек). Главное – дать экспертам свободно и широко высказать свое мнение по обсуждаемому вопросу и соответствующие аргументы в защиту своей позиции. Весьма часто используется такая форма отбора, как самооценка экспертов в виде совокупного индекса, рассчитанного на основании оценки экспертами своих знаний, опыта и способностей (по ранговой шкале с позициями «высокий», «средний» и «низкий»). Метод коллективной оценки применяется для формирования группы экспертов в том случае, если эти эксперты имеют четкое представление друг о друге и о характере занятий друг друга. Наиболее простая и удобная форма самооценки – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего (0,5) и выше (до 1). Первой позиции приписывается числовое значение 1 (полная компетентность), второй – 0,5, третьей – 0 (полная некомтентность). В таком случае совокупный индекс (коэффициент уровня компетентности эксперта) вычисляется по формуле:[96]
k = (k1 + k2 + k3) / 3 Задача эксперта – с учетом объективной ситуации и интересующих исследователя факторов высказать по поставленным вопросам непредвзятую, всесторонне взвешенную оценку. Особенно часто экспертные оценки используются в социальном прогнозировании, при определении целей социального развития и принятии решений. «К настоящему времени описано несколько десятков вариантов применения экспертных оценок в прогнозно-аналитических разработках различного уровня. Большинство из них можно классифицировать по трем группам: индивидуальные, коллективные и универсальные. Методические варианты индивидуальных экспертных оценок: метод интервью, метод генерации идей. Методические варианты коллективных экспертных оценок: метод коллективной экспертной оценки, метод экспертных комиссий, метод Дельфи, метод коллективной генерации идей («мозговой штурм»), метод управляемой генерации идей. Универсальные методы экспертных оценок, применяемые как в индивидуальном, так и в групповом формате представления аналитических суждений: матричный метод, метод прогнозного сценария, морфологический анализ, синоптический метод».[97] Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе. В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотез возможные варианты его исхода. Весьма часто применяется в прикладной социологии также такой метод экспертного прогноза, как «дельфийская техника» (выработка согласованных мнений путем многократного повторения опроса одних и тех же экспертов). Основной инструментарий экспертных опросов – анкета или бланк-интервью, разработанные по специальной программе. Программа прогнозного опроса экспертов, в отличие от массового опроса, не столь детализована и носит преимущественно концептуальный характер. В ней однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные варианты его исхода. В тех случаях, когда однозначно сформулировать их причины сложно, в анкете эксперта лучше всего использовать открытые вопросы с полной свободой выбора формы ответа. Процедура опроса экспертов может быть очной или заочной (почтовый опрос, телефонное интервью). Одна из наиболее простых форм экспертного прогноза – обмен мнениями. Он предполагает единовременное присутствие всех экспертом за «круглым столом», где и выявляется доминирующая позиция по дискутируемому вопросу, сформулированному исследователем. Группа экспертов для дискуссии подбирается по определенному правилу. Она должна включать несколько подгрупп: «генераторов идей», активно выдвигающих всевозможные пред положения о прогнозируемом социальном явлении или процессе; «регуляторов», следящих за тем, чтобы полемики не приобретала хаотический характер, проходила в рамках объективного обсуждения; «селекторов», оценивающих и отбирающих наиболее значимые идеи, выдвигаемые «генераторами идей»; «стимуляторов», путем формулировки все новых и новых предположений стимулирующих «генераторов идей» к выработке оценок, «президента круглого стола», удерживающего внимание экспертов на центральной теме дискуссии. Оптимальное число экспертов – 10-15 человек.[98] Обсуждение проблемы может происходить в несколько туров пока не удастся выработать некоторую более или менее согласованную оценку. Эффективно может быть применен в прикладной социологии и такой метод экспертного прогноза, как «дельфийская техника». Речь идет о выработке согласованных мнений путем многократного опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, высказанную на предыдущемэтапе, либо изменяют оценку в соответствии с мнением большинства. Так повторяется 3-4 раза. В ходе подобной процедуры вырабатывается согласованная оценка. При этом исследователь не должен игнорировать мнение тех, кто после неоднократных опросов остался при своей позиции. В настоящее время широко используются методы математической обработки экспертных оценок (для проверки согласованности мнений экспертов, для классификации экспертов в случае отсутствия согласованности мнений, для усреднения мнений среди согласованной группы и др.). В силу того, что ответы экспертов чаще всего представляют собой не голые числа, а некие объекты нечисловой природы (градация качественных признаков, ранжирование, нечеткие предпочтения, результаты парных сравнений и т.д.), для анализа поступивших данных наиболее полезными оказываются методы статистики объектов нечисловой природы.[99] Так, эксперт, сравнивая социальные объекты между собой, дает такие оценки, как «хороший», «плохой», «приемлемо», «неприемлемо» и т.д. (упорядочение по привлекательности), но при этом не способен ответить на вопрос, во сколько раз один объект (организация, товар, лидер и т.п.) лучше другого. Отсюда обычная практика представления оценки эксперта не в виде действительного числа, а в виде некоторого качественного признака («очень хорошо» – «хорошо» – «удовлетворительно» – «неудовлетворительно»). III В настоящее время метод экспертных оценок широко применяется при подготовке на государственном уровне важнейших народно-хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития. В различных отраслях, ведомствах и на предприятиях действуют постоянные или временные экспертные комиссии, связанные с оценкой качества продукции и выбором перспективной техники, с проведением профессиональной аттестации кадров. В ПР-, рекламной и смежных видах деятельности данный метод исследования также находит свое широкое применение. Пример. Экспертный опрос был использован при проведении комплексного социального эксперимента по перестройке театрального дела. Группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры Российской Федерации. Цель – выяснить, что именно и каким образом они хотели бы усовершенствовать в своей деятельности. Известно, социально-культурные цели театра достигаются при определенных ограничениях, которые по совокупности позволяют выделить два вида деятельности – художественно-творческую и производственно-экономическую. Первой руководит главный режиссер, главный художник, режиссеры-постановщики, помощники главного режиссера по литературной части и по труппе, второй – директор, заместители, заведующий художественно-постановочной частью. Первая группа именовалась «художественными», а вторая – «административными» руководителями. В восемнадцати театрах Москвы было опрошено 13 главных режиссеров, 16 директоров, 9 их заместителей, 11 режиссеров-постановщиков, 12 заведующих художественно-постановочной частью, 13 помощников главного режиссера по литературной части, 5 помощников главного режиссера по труппе, 6 главных художников. В целом, группа «художественных» руководителей была представлена 48, а группа «административных» - 37 респондентами. Эксперты высказывали свое мнение относительно роли директора и главного режиссера в решении основных вопросов деятельности театров, оценивали целесообразность различных моделей внутритеатрального управления, перспективы с здания театральных объединений и др. Широкую известность получили экспертные исследования «Первый (второй, третий и т.д.) рейтинг российских PR-агентств».[100] На первом этапе исследования проводилось анкетирование руководителей ПР-агентств (в результате были отобраны 7 критериев для оценки каждого агентства: уровень известности, развитость структуры, эффективность и результативность, авторитетность руководителя, технологичность, размер агентства, соблюдение этики), на втором – опрос экспертов (в результате были даны сводные рейтинговые таблицы по разделам «Политическое консультирование и выборные технологии» и «Бизнес-PR»).[101] Приложение 1 Третий рейтинг российских PR-агентств [102] Независимый исследовательский центр «РОМИР» и редакция журнала «Советник» завершили первый этап экспертного исследования «Третий рейтинг российских PR-агентств». В ходе этого этапа уточнялись сведения об агентствах по связям с общественностью, действовавших в 2000-2001 годах на российском рынке PR-услуг. Первичная информация об агентствах формировалась на основании упоминания их в специализированных и обычных СМИ, в Интернет, в справочных изданиях. Редакция журнала «Советник» собрала и уточнила «паспортные данные» PR-агентств, попавших в это информационное поле. Кроме того, редакция выяснила, какие агентства по связям с общественностью существуют в России на данный момент, где они находятся, являются ли российскими компаниями и как можно с ними связаться. В результате был сформирован список компаний для включения в оценочный лист исследования «Третий рейтинг российских PR-агентств». На 17 июля 2001 г. он состоит из 115 московских и региональных структур. Напомним, что в ходе подготовки к прошлогоднему исследованию «Второй рейтинг российских PR-агентств», в оценочный лист были включены 78 компаний, предоставляющих PR-услуги. Здесь следует отметить, что кроме прироста российская PR-индустрия понесла и потери. Так, в ходе профилактических работ по проверке и обновлению базы данных, редакции не удалось обнаружить следов присутствия на рынке некоторых агентств, участвовавших в рейтинге в прошлый раз. Другие - изменили направление своей деятельности. В общей сложности из числа агентств, представленных в прошлом рейтинге, исключено 15. В то же время, в оценочном листе появилось 52 компании, ранее не оценивавшихся в наших рейтингах. Такой показатель роста, по мнению специалистов, свидетельствует о дальнейшем развитии российской PR-индустрии. В соответствии с полученными таким образом сведениями, сотрудники центра «РОМИР» по специально разработанной методике, учитывающей объективные показатели деятельности агентств, провели анкетирование руководителей включенных в оценочный лист PR-агентств. Задачи первого этапа исследования: Выяснить и уточнить специализацию каждого PR-агентства (политическое консультирование, бизнес-PR, то и другое) для того, чтобы верно позиционировать его в оценочном листе. Попытаться определить общую ситуацию на рынке PR-услуг России, получить информацию о том, PR-агентства представлены с точки зрения масштабности бизнеса. Для оценки этого параметра руководителям агентств задавали серию вопросов о количестве постоянных и временных сотрудников в агентствах; о годовом обороте агентств; о годовом фонде заработной платы; о размере занимаемого офиса и форме собственности на него. Интерес представляли и географическое положение агентств, их включенность в российские и международные профессиональные организации, ассоциации, сети, а также наличие собственных сайтов в сети Интернет. Отдельная серия вопросов касалась качества персонала компаний. Критерием здесь служило наличие сотрудников, обладающих научными степенями. Кроме того, отдельно задавался вопрос о том, в каких профессиональных ассоциациях и организациях состоит руководитель каждого агентства. Все эти данные предполагается использовать лишь в обобщенном виде, для характеристики общей ситуации на рынке PR-услуг. Получить от руководства каждого PR-агентства предложения по трем экспертам, из которых в дальнейшем должен быть сформирован список тех, кто и будет непосредственно оценивать различные агентства в рамках исследования «Третий рейтинг российских PR-агентств». Из этих трех кандидатов в эксперты один должен быть сотрудником какой-либо государственной структуры, один - коммерческой структуры, и один - общественной организации. Единственное ограничение, которое накладывалось на процедуру выдвижения экспертов, было следующее: они не могли быть сотрудниками PR-агентств. Исследовательский центр РОМИР разослал анкеты руководителям всех агентств, включенных в оценочный лист. На 17.07.01 вернулись 57 частично или полностью заполненных анкет. При этом некоторые агентства отказались предоставить какую-либо информацию о своей деятельности, мотивируя это тем, что запрашиваемые сведения являются закрытыми. Несколько агентств, как оказалось, еще находятся в процессе юридической регистрации. В кратком предварительном комментарии по поводу поступающей информации важно подчеркнуть, что все агентства, приславшие заполненные анкеты, отвечают на вопрос о своей специализации, о количестве и качестве сотрудников. Преобладают агентства смешанной специализации, с количеством постоянных сотрудников от 10 до 20 человек, а вот количество специалистов, привлекаемых на договорной основе, очень варьируется. В подавляющем большинстве агентств есть хотя бы 1-2 сотрудника с научными степенями. Географическое местоположение агентств: Москва, Санкт-Петербург, Нижний Новгород, Самара, Саратов, Екатеринбург, Новосибирск, Омск, Томск, Владивосток и другие города. Более половины имеют свои страницы в Интернет, причем качество этих страниц и их информативность, как правило, очень высокие. Размер офисов, занимаемых большинством агентств, колеблется в интервале от 50 до 100 кв.м. Почти все компании не являются собственниками офисов, а арендуют их. На вопросы, связанные с финансовыми показателями, отвечали не все руководители. Так, на просьбу предоставить сведения о годовом обороте ответили отказом примерно 20%, а на вопрос о годовом фонде заработной платы - порядка 80%. Наиболее часто встречаются PR-агентства с годовым оборотом в интервале 300-500 тыс. у.е. в год, однако этот показатель имеет очень большую дисперсию. Что касается членства в международных и российских организациях и ассоциациях, наиболее часто упоминаются РАСО, РАРА и АКОС; часто упоминаются также АЦПК, ESOMAR, РАСС, WAPOR, IPRA и другие. В результате анкетирования руководителей агентств на 17.07.01 удалось сформировать экспертную базу из 137 человек, выдвинутых 51 агентством. Ряд агентств выдвинули 1 или 2 экспертов вместо предложенных 3. Среди экспертов - депутаты ГД РФ, сотрудники министерств, фондов, газет и журналов, представители политических партий, известных общественных организаций, ведущих мировых и российских компаний. В то же время, те из них, кто уже обрел свой статус, приступили к работе с оценочным листом, в соответствии с предложенной для этого анкетой. Она состоит из двух частей. Первая часть посвящена политическому консультированию и выборным технологиям, вторая - бизнес-PR. Каждому разделу соответствует свой список PR-агентств. Экспертам предложено оценить каждое агентство, приведенное в списке, по 7 критериям (перечисленным ниже) с точки зрения тематики каждого раздела анкеты. Анкету предлагается заполнить следующим образом: в каждую клеточку таблицы занести соответствующий балл. Отвечая на первый вопрос, нужно заполнить колонку, обозначенную цифрой «1», на второй - колонку «2» и так далее. Для оценки были предложены следующие критерии: Насколько известны перечисленные ниже агентства в среде своих потенциальных клиентов? Оцените уровень известности по девятибалльной шкале, на которой «1» - «почти неизвестно», а «9» - «очень хорошо известно». Возможности агентства тесно связаны с его структурой - наличием в нем собственного исследовательского центра, креативных подразделений, региональных филиалов. Насколько развитой является структура каждого из названных агентств? Оцените этот признак по девятибалльной шкале, на которой «1» означает «неразвитая структура», а «9» - «максимально развитая структура с множеством подразделений». Насколько эффективны, по вашему мнению, перечисленные агентства? Под эффективностью подразумевается способность реализовывать цели, поставленные в ходе PR кампании. Отвечая, используйте девятибалльную шкалу, на которой «1» означает «редко добивается целей», а «9» - «всегда добивается целей». Насколько авторитетны руководители названных PR-агентств в своем профессиональном сообществе? Оцените уровень их авторитетности по девятибалльной шкале, на которой «1» означает «совсем не авторитетны», а «9» - «очень авторитетны». В какой степени названные агентства располагают готовыми, отработанными технологиями? Оцените технологичность PR агентств по девятибалльной шкале, на которой «1» означает «не имеет таких технологий», «9» - «располагает такими технологиями для большинства решаемых задач». Каков размер агентства - агентство, в котором работают 5-6 постоянных сотрудников, считается маленьким, а где занято более 50 сотрудников - большим. В какой степени PR агентства в своей деятельности придерживаются этических норм и правил, например принципов, заложенных в Хартии политологов и политконсультантов и Декларации этических принципов в области связи с общественностью (РАСО)? Оцените, пожалуйста, данное качество по девятибалльной шкале, где «1» означает «совсем не придерживается», а «9» - «придерживается в полной мере». Кроме того, после оценки экспертом агентств, ему предложено также высказать свое мнение относительно важности определенных качеств для успеха агентства на рынке PR-услуг как в сфере политического консультирования и выборных технологий, так и в сфере бизнес-PR. Оценить важность этих качеств следует по девятибалльной шкале, на которой «1» обозначает «совсем не важно», а «9» - «очень важно». Вот эти качества:
Далее экспертам предлагается высказаться по некоторым вопросам, относящимся к состоянию российского рынка PR-услуг.   Конфликты в семейной жизни. Как это изменить? Редкий брак и взаимоотношения существуют без конфликтов и напряженности. Через это проходят все...  Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычислить, когда этот...  Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...  ЧТО ПРОИСХОДИТ, КОГДА МЫ ССОРИМСЯ Не понимая различий, существующих между мужчинами и женщинами, очень легко довести дело до ссоры... Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:
|
