Основы обработки и анализа данных

Введение

В условиях развития информационного общества в профессиональной деятельности специалиста можно выделить два взаимосвязанных направления: применение современного программного обеспечения, а также применение и исследование математических методов и моделей объектов, систем, процессов и технологий, ибо компьютеризация и математизация являются важной приметой современной жизни.

Учитывая этот факт, а также присутствие случайностей в природных процессах, технике, экономике, социальной сфере и других отраслях человеческой деятельности, можно сделать вывод о том, что развитие производства и информационных технологий поставило перед человечеством ряд задач и проблем, решить которые под силу только специалисту, имеющему основательную стохастическую подготовку. Действительно, вероятностные идеи играют важную роль в современном научном познании, формировании научной картины мира, наиболее адекватно отражающей изменчивость, нестабильность, риски информационного общества. Благодаря развитию стохастических методов и моделей применение математики расширило свои границы от изучения простых и точных зависимостей до моделирования сложных явлений в экономике, социологии, психологии, медицине, образовании и других сферах, где действует человек, обладающий свободой воли и свободой выбора.

В связи с этим в преподавании курса теории вероятностей и математической статистики важным компонентом является компьютерный практикум. Не случайно стандарт нового поколения для ряда направлений предусматривает обязательное включение лабораторного практикума при изучении вероятностных разделов математики.

Цели компьютерного практикума по теории вероятностей и математической статистике:

- содействие пониманию вероятностной природы изучаемых объектов, более глубокое проникновение в сущность случайных явлений;

- активное осмысленное усвоение теоретических положений, вероятностных понятий и законов;

- формирование основных умений, необходимых для анализа и обработки данных с применением компьютера, освоение особенностей статистического вывода;

- приобретение навыков стохастического моделирования.

Предполагается, что наиболее эффективным является сочетание таких организационных форм, как работа с преподавателем, самостоятельная работа (с консультациями преподавателя), домашняя работа и лабораторная работа, представляющая самостоятельное исследование с последующей защитой. Лабораторные работы предусматривают как использование известных программных продуктов (Excel, Statistica и др.), так и создание студентами собственных программ с применением стохастических функций.

Необходимо отметить два принципа использования ЭВМ в учебном процессе: как средства вычисления (для расчетов значений вероятности при решении задач или для вычисления числовых характеристик выборки при анализе данных), а также как инструмента познания (в процессе стохастического компьютерного моделирования). В первом случае удается избежать рутинных вычислений. Во втором – открывается перспектива как в познавательном плане, так и для осознания связи информатики с математикой, естественными и гуманитарными науками, что способствует развитию интуиции и исследовательских навыков в ситуациях неопределенности и выбора, активизирует познавательную деятельность.

Компьютерный практикум в курсе стохастики позволяет реализовать дидактические принципы:

- наглядность (например, использование преимуществ графического анализа);

- доступность, посильность и индивидуализация обучения (возможность построения занятия и формирование заданий с учетом уровня подготовки студентов и образовательных задач, поставленных преподавателем);

- сознательность и активность (задания для самостоятельной работы, ссылки на источники информации, исследовательские задачи).

Как известно, современный вузовский учебник должен представлять собой модель учебного процесса, то есть, оставаясь средством познания, учебная книга все больше принимает на себя роль организатора и руководителя процесса обучения. В связи с этим материал в данном учебном пособии структурирован так, чтобы изучению темы было посвящено отдельное занятие. Это особенно важно для системы заочного обучения, поскольку у студентов возникают проблемы с организацией самостоятельной работы.

Занятие 1

Основы обработки и анализа данных

В настоящее время невозможно представить принятие решений без использования методов математического моделирования и анализа данных. Теоретические основы рассматривались многими авторами [4, 8, 11].

Цели занятия

Знать – определения понятий «генеральная совокупность» и «выборка», сущность выборочного метода, определения и формулы вычисления основных числовых характеристик выборки.

Уметь – производить группировку и сортировку данных, вычислять и анализировать основные числовые характеристики выборки.

Владеть – методами первичной обработки и графического анализа данных средствами Excel и STATISTICA.

Вся подлежащая исследованию совокупность объектов называется генеральной совокупность ю. Та часть объектов из генеральной совокупности, которая попала на проверку (исследование), называется выборочной совокупностью (выборкой). Число объектов в совокупности называется ее объемом.

Обработка данных начинается с их упорядочивания по возрастанию и группировки. Возможно представление выборки в несгруппированном виде т.е. в виде вариационного ряда, когда все значения признака располагаются в порядке возрастания (в этом случае значения называются вариантами), или в группированном виде (дискретная или интервальная выборка для непрерывного распределения).

Перечень вариант x _i и соответствующих им частот n _i (относительных частот ω _i= n_i / n) называется статистическим распределением выборки или статистическим рядом. Сумма всех частот равна объему выборки, а сумма относительных частот равна 1.

Статистическое распределение выборки можно задать также в виде последовательности интервалов и соответствующих им частот (количество вариант, попавших в этот интервал).

Статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых значений случайной величины.

Точечной называют оценку, которая определяется одним числом. Точечными оценками являются выборочная средняя (характеристика положения); выборочная дисперсия , выборочное среднее квадратическое отклонение (СКО) (характеристики рассеяния). К точечным оценкам относятся также выборочные мода, медиана, асимметрия и эксцесс.

Замечание 1. Вместо термина «выборочное СКО» в ряде источников применяется термин «стандартное отклонение».

Замечание 2. Выборочная средняя , вычисленная по эмпирическим данным, является случайной величиной. Оценка СКО случайной величины называется стандартной ошибкой.

Характеристики положения определяют положение центра эмпирического распределения.

1) Выборочная средняя представляет собой среднее арифметическое значение признака выборочной совокупности: = x_i – для несгруппированных данных; = x_in_i – для сгруппированных данных, где – объем выборки, а k – количество интервалов или значений признака для сгруппированных данных.

2) Выборочная мода : модой дискретного вариационного ряда является варианта, имеющая наибольшую частоту; мода интервального вариационного ряда определяется по формуле (здесь i – номер; x ₀ – начало; h – длина; n_i – частота модального интервала, т.е. интервала, имеющего наибольшую частоту).

3) Выборочная медиана _l: медиана дискретного вариационного ряда при нечетном n определяется значением серединного элемента, при четном n равна среднему арифметическому двух серединных элементов; медиана интервального вариационного ряда определяется по формуле (здесь x ₀ – начало; h – длина; n _i – частота медианного интервала, т.е. интервала, содержащего серединный элемент; T_{i -1} – сумма частот интервалов, предшествующих медианному).

Характеристики рассеяния определяют разброс значений признака вокруг среднего значения .

Выборочной дисперсией называют среднее арифметическое квадратов отклонений наблюдаемых значений признака от их среднего значения . Выборочная дисперсия – для несгруппированных данных и – для сгруппированных данных.

Замечание. Для малых выборок более точной (несмещенной) оценкой дисперсии является величина , которую называют исправленной выборочной дисперсией. Так как , с увеличением объема выборки n точечные оценки и принимают близкие значения.

Выборочный коэффициент асимметрии вычисляется по формуле , где - центральный момент 3-го порядка. Асимметрия характеризует отклонение от симметричности распределения. Если , то говорят о правосторонней асимметрии распределения (вытянутость вправо). Если , то говорят о левосторонней асимметрии распределения (вытянутость влево).

Выборочный коэффициент эксцесса вычисляется по формуле , где - центральный момент 4-го порядка. Эксцесс характеризует отступление от нормального распределения: для генерального нормального распределения значение E равно 0.

Обработка данных в Excel

Сортировка

Сортировка данных помогает быстро придавать данным удобную форму и лучше понимать их, организовывать и находить необходимую информацию и в итоге принимать более эффективные решения.

Для сортировки данных в Excel выберите столбец с цифровыми данными в диапазоне ячеек или убедитесь, что активная ячейка находится в столбце таблицы, который содержит цифровые данные. После перехода Главная → Редактирование → Сортировка и фильтр (рис. 1.1)

Рис. 1.1

выбираем одно из следующих действий (рис. 1.2):

- для сортировки чисел по возрастанию выберите вариант Сортировка от минимального к максимальному;

- для сортировки чисел по убыванию выберите вариант Сортировка от максимального к минимальному;

- для специализированной сортировки чисел выберите вариант Настриваемая сортировка.

Рис. 1.2

Для сортировки в определенном пользователем порядке можно использовать пользовательские списки. В Excel предоставляются встроенные пользовательские списки дней недели и месяцев года, однако также могут создаваться собственные пользовательские списки.

Группировка

Группировка элементов позволяет выделить набор данных, удовлетворяющих определенным требованиям, которые сложно выделить другим способом, например путем сортировки или фильтрации.

Для группировки числовых элементов в Excel выберите числовое поле, которое следует сгруппировать. Далее Параметры → Группировать → Группировка по полю, в итоге появится основной инструмент - диалоговое окно группировки данных (рис. 1.3)

Рис. 1.3

В окне можно задать начальное и конечное значение интересующего интервала и шаг изменения.

Генератор случайных чисел

Важно отметить, что компьютер можно использовать не только для автоматизации выполнения рутинных расчетов в ходе анализа и обработки данных, но и как инструмент познания при исследовании математических моделей.

Цели задания

Знать – определения понятий «случайное число» и «псевдослучайное число».

Уметь – генерировать последовательность случайных чисел на интервале [0;1) и осуществлять их отображение на произвольный интервал [a; b).

Владеть – навыками генерации случайных чисел в различных программных средах.

Статистическое моделирование – построение математических имитаций случайных явлений или процессов. Это перспективное научное направление получило развитие в середине XX века в связи с ростом возможностей вычислительной техники и широко применяется для решения задач из различных областей человеческого знания. Например, расчеты систем массового обслуживания, расчеты качества и надежности изделий, задачи теории игр, задачи дискретной оптимизации, задачи финансовой математики, численное интегрирование, задачи динамики разреженного газа [1]. Появление методов статистического моделирования (Монте-Карло) в различных областях прикладной математики, как правило, связано с необходимостью решения качественно новых задач, возникающих из потребностей практики. Основа методов Монте-Карло – генератор случайных чисел (ГСЧ). О видах генераторов случайных чисел можно прочитать в [1,12].

Согласно [4], случайными числами будем называть возможные значения x _k равномерно распределенной случайной величины x, где 0 £ x < 1. Т.е. при генерировании последовательности случайных чисел ξ₁, ξ₂,…, ξ _n числовой промежуток [0; 1) покрывается равномерно: в интервалы равной длины попадает примерно одинаковое количество чисел.

Различают случайные числа, генерируемые каким-либо стохастическим устройством, и псевдослучайные числа, конструируемые с помощью арифметических алгоритмов.

Занятие 2

Лабораторная работа № 1

Лабораторная работа представляет собой самостоятельное исследование с последующей защитой.

Цели занятия

– Формирование навыков стохастического моделирования.

– Уяснение сущности и связи понятий «вероятность», «относительная частота», «статистическое определение вероятности».

– Экспериментальная проверка свойств вероятности и возможности вычисления вероятности случайного события опытным путем.

- Формирование навыков исследования явлений, имеющих вероятностную природу.

Наблюдаемые нами со­бытия (явления) можно подразделить на следующие три вида: достоверные, невозможные и случайные.

Достоверным называют событие, которое обязательно произойдет, если будет осуществлена определенная со­вокупность условий S.

Невозможным называют событие, которое заведомо не произойдет, если будет осуществлена совокупность усло­вий S.

Случайным называют событие, которое при осущест­влении совокупности условий S может либо произойти, либо не произойти.

Предметом теории вероятностей является изу­чение вероятностных закономерностей массовых однород­ных случайных событий.

События называют несовместными, если появление одного из них исключает появление других событий в одном и том же испытании.

Несколько событий образуют полную группу, если в результате испытания появится хотя бы одно из них. Другими словами, появление хотя бы одного из событий полной группы есть достоверное событие.

События называют равновозможными, если есть осно­вания считать, что ни одно из этих событий не является более возможным, чем другие.

Каждый из равновозможных результатов испытания называется элементарным исходом.

Классическое определение вероятности: вероятностью события А называют отношение числа благоприятствующих этому событию исходов к общему числу всех равновозможных несовместных элементарных исходов, образующих полную группу.

Таким образом, вероятность события А определяется формулой ,

где m – число элементарных исходов, благоприятствую­щих событию А, n – число всех возможных элементарных исходов испытания.

Одним из недостатков классического определения вероятности является то, что оно неприменимо к испытаниям с бесконечным числом исходов.

Геометрическое определение вероятности обобщает классическое на случай бесконечного числа элементарных исходов и представляет собой вероятность попадания точки в область (отрезок, часть плоскости и т.д.).

Таким образом, вероятность события А определяется формулой , где – мера множества A (длина, площадь, объем); – мера пространства элементарных событий.

Относительная частота, наряду с вероятностью, при­надлежит к основным понятиям теории вероятностей.

Относительной частотой события называют отношение числа испытаний, в которых событие появилось, к общему числу фактически произведенных испытаний.

Таким образом, относительная частота события А определяется формулой , где m – число появлений события, n – общее число испытаний.

Еще одним недостатком классического определения вероятности следует считать то, что трудно указать основания, позволяющие считать элементарные события равновозможными. По этой причине наряду с классическим определением пользуются также статистическим определением вероят­ности, принимая за вероятность события относительную частоту или число, близкое к ней.

1. Моделирование случайного события, имеющего вероятность p.

Генерируется случайное число y, равномерно распределенное на отрезке [0; 1]. Если y ≤ p, то событие A наступило.

2. Моделирование полной группы событий.

Занумеруем события, образующие полную группу, числами от 1 до n (где n – количество событий) и составим таблицу: в первой строке – номер события, во второй – вероятность появления события с указанным номером.

Номер события			…	j	…	n
Вероятность события			…		…

 

Разобьем отрезок [0; 1] на оси Oy точками с координатами p ₁, p ₁+ p ₂, p ₁+ p ₂+ p ₃,…, p ₁+ p ₂+…+ p_{n -1} на n частичных интервалов Δ₁, Δ₂,…, Δ _n. При этом длина частичного интервала с номером j равна вероятности p_j.

Генерируется случайное число y, равномерно распределенное на отрезке [0; 1]. Если y принадлежит интервалу Δ _j, то событие A _j наступило.

 

Лабораторная работа № 1. Экспериментальное вычисление вероятности.

Цели работы: моделирование случайных событий,изучение свойств статистической вероятности события в зависимости от количества испытаний.

Лабораторную работу проведем в два этапа.

Этап 1. Моделирование подбрасывания симметричной монеты.

Событие A состоит в выпадении герба. Вероятность p события A равна 0,5.

a) Требуется выяснить, каким должно быть количество испытаний n, чтобы с вероятностью 0,9 отклонение (по абсолютной величине) относительной частоты появления герба m / n от вероятности p = 0,5 не превышало числа ε > 0: .

Расчеты провести для ε = 0,05 и ε = 0,01. Для вычислений воспользуемся следствием из интегральной теоремы Муавра-Лапласа:

, где ; q =1- p.

Как связаны между собой значения ε и n?

b) Провести k = 10 серий по n испытаний в каждой. В скольких сериях неравенство выполнено и в скольких нарушено? Каким будет результат, если k → ∞?

Этап 2. Моделирование реализации исходов случайного эксперимента.

Правило 1. Пусть известна функция распределения F (x) непрерывной случайной величины X. Требуется разыграть X, то есть найти последовательность ее реализаций x_k (k =1, 2,…). Вычисления производим по следующему алгоритму.

Шаг 1. Генерируем последовательность равномерно распределенных на отрезке [0; 1] случайных чисел y ₁, y ₂,…, y_k,…

Шаг 2. Решаем относительно x_k уравнения F (x_k) = y_k. Последовательность чисел x ₁ = F ^-1(y ₁), x ₂ = F ^-1(y ₂),…, x_k = F ^-1(y _k),… - реализация непрерывной случайной величины X – с функцией распределения F (x).

Правило 2. Пусть известна функция плотности f (x) непрерывной случайной величины X. Требуется разыграть X, то есть найти последовательность ее реализаций x_k (k = 1, 2,…). Вычисления производим по следующему алгоритму.

Шаг 1. Генерируем последовательность равномерно распределенных на отрезке [0; 1] случайных чисел y ₁, y ₂,…, y_k,…

Шаг 2. Решаем относительно x_k уравнения = y _k. Последовательность чисел x_k (k = 1, 2,…) - реализация непрерывной случайной величины X – с функцией плотности f (x).

Пример 3.1. Пусть случайная величина X имеет экспоненциальное (показательное) распределение с параметром . Тогда функция распределения имеет вид

Требуется разыграть X, используя метод обратных функций.

В соответствии с правилом 1 генерируем последовательность значений y ₁, y ₂,…, y_k, равномерно распределенных на отрезке [0; 1]. Далее решаем уравнения F (x_k) = y_k, т. е. . Получаем, что .

Если y_k – случайное число из отрезка [0; 1], то 1- y_k также является случайным числом из [0; 1].

Тогда , , …, - значения случайной величины X, распределенной по экспоненциальному (показательному) закону с параметром λ. Таким образом, для разыгрывания случайной величины X найдена явная формула вида x = F ^-1(y).

Замечание. Получить решения уравнений y = F (x) в явном виде удается не всегда. Например, в случае нормального распределения случайной величины X. В этом случае для нахождения решений применяют численные методы решения уравнений или используют другие методы для генерирования случайных величин [5, 9, 11, 12].

Занятие 4

Лабораторная работа № 2

Применение метода статистических испытаний для вычисления определенного интеграла рассмотрено в [6, 10, 12].

Цели занятия

– Формирование навыков стохастического моделирования.

– Уяснение сущности и связи понятий «вероятность», «геометрическое определение вероятности», «сходимость по вероятности».

– Экспериментальная проверка возможности применения стохастического моделирования в ситуации, не имеющей вероятностной природы (численное интегрирование).

Методы Монте-Карло (методы статистических испытаний) - это численные методы решения математических задач (систем алгебраических, дифференциальных, интегральных уравнений) и прямое статистическое моделирование (физических, химических, биологических, экономических, социальных процессов) при помощи получения и преобразования случайных чисел. То есть часть задач имеют очевидную вероятностную природу, а часть представляют собой пример применения идей статистического моделирования для исследования математических моделей объектов, не имеющих таковой (например, вычисление определенного интеграла).

Первая работа по использованию методов Монте-Карло была опубликована в 1873 году при организации стохастического процесса экспериментального определения числа π путём бросания иглы на лист линованной бумаги. Своё романтическое название методы Монте-Карло получили по имени столицы княжества Монако, знаменитой своими игорными домами, основу которых составляет рулетка – совершенный инструмент для получения случайных чисел. А первая работа, где этот вопрос излагался систематически, опубликована в 1949 году Н. Метрополисом и С. Уламом, где метод Монте-Карло применялся для решения линейных интегральных уравнений, в котором явно угадывалась задача о прохождении нейтронов через вещество. В нашей стране работы по методам Монте-Карло стали активно публиковаться после Женевской международной конференции по применению атомной энергии в мирных целях.

Лабораторная работа 2. Вычисление определённого интеграла методом Монте-Карло.

Цели работы: вычисление определённого интеграла от произвольной функции с помощью метода Монте-Карло с наперёд заданной точностью, определение числа испытаний, при котором относительная частота обладает свойством устойчивости для поставленной задачи.

Выполнение лабораторной работы разобьем на два этапа.

Пример выполнения

Вычислим интеграл Пуассона . Как известно, функция не имеет первообразной в элементарных функциях, т. е. интеграл нельзя вычислить непосредственно.

График функции представлен на рис. 4.2.

Рис. 4.2

Выберем пределы интегрирования: пусть a = -1; b = 2. Т. е. необходимо найти площадь закрашенной фигуры (рис. 4.3).

Рис. 4.3

Для этого будем генерировать (программа) пары чисел в область D, указанную на рис. 4.4.

Рис. 4.4

Мера множества равна 3. Так как нижний предел интегрирования функции a = -1, а верхний - b = 2, следовательно, - случайные числа, которые генерируются на отрезке . Так как наибольшее значение, которое принимает функция на отрезке , есть , то - случайные числа, которые генерируются на отрезке .

Условие попадания точки под график функции: .

Тогда , где m – количество точек, попавших под график функции; n – количество всех точек; - мера множества D.

Количество всех точек n необходимо найти из условия, что с вероятностью p = 0,9 точность вычисления интеграла должна быть не менее e = 0,01 (см. пункт б) первого этапа). Таким образом, в результате выполнения всех пунктов задания был получен результат . Истинное же значение данного интеграла 1,62891.

При выполнении лабораторной работы подынтегральная функция, соответствующая условиям варианта (см. прил. 2), выбирается студентами произвольно. Например, если в задании требуется выбрать функцию, в которой присутствуют натуральный логарифм и , то можно выбрать функцию вида , которая, очевидно, удовлетворяет требованиям. Пределы интегрирования также выбираются произвольно, например, от 1 до 3 (рис. 4.5).

Рис. 4.5

Занятие 5

Цели занятия

Знать – простейшие модели и формулы комбинаторики и теории вероятностей.

Уметь – используя средства Excel и STATISTICA, решать задачи на вычисление вероятности и количества комбинаций.

Владеть – навыками использования Excel и STATISTICA при вычислении значений вероятности.

Занятие 6

Цели занятия

– Формирование навыков стохастического моделирования.

– Уяснение сущности законов больших чисел, их важности для статистического вывода.

– Экспериментальная проверка влияния условий применимости и последствий их нарушения.

Теорема Чебышева. Если независимые случайные величины X ₁, …, X_n имеют одинаковые математические ожидания, равные a, и их дисперсии ограничены одной и той же постоянной C, то

или ,

то есть, при увеличении количества слагаемых n средняя арифметическая случайных величин сходится по вероятности к математическому ожиданию a.

Выполнение закона больших чисел отражает предельную устойчивость средних арифметических случайных величин: при большом числе испытаний они практически перестают быть случайными и совпадают со своими средними значениями.

Теорема Ляпунова. Пусть X ₁, …, X_n – независимы и одинаково распределены, и (i = 1, …, n). Пусть Y = X ₁ + …+ X_n. Тогда при большом значении количества слагаемых n функция плотности случайной величины Y сойдется к нормальному закону распределения.

Лабораторная работа № 3. Экспериментальное изучение законов больших чисел

Цель работы: экспериментальная проверка выполнения теоремы Чебышева и центральной предельной теоремы Ляпунова.

Выполнение лабораторной работы разобьем на два этапа.

На первом этапе для проверки теоремы Чебышева требуется:

1) сгенерировать в Excel или Statistica 10 столбцов по 100 чисел, имеющих заданное распределение: нормальное N (a, s), экспоненциальное E (l) или равномерное на [ a, b ];

2) вычислить средние арифметические и убедиться, что их значения близки к математическим ожиданиям сгенерированных случайных величин.

Распределение Коши, как известно, не имеет ограниченной дисперсии: возможны редкие выбросы большой величины. Условия теоремы Чебышева не выполняются, и не стремится с ростом n к какой-либо константе. Для проверки этого факта следует сгенерировать 10 столбцов по 100 чисел, имеющих распределение Коши с функцией плотности f (x) = 1/(p(1 + x ²)), вычислить средние арифметические и убедиться в отсутствии сходимости этих величин.

На втором этапе для проверки справедливости центральной предельной теоремы Ляпунова методом графического анализа требуется:

1) сгенерировать в Excel или Statistica 8 столбцов по 100 случайных чисел x ₁, …, x ₈, имеющих заданное распределение: нормальное N (a, s), экспоненциальное E (l) или равномерное на [ a, b ];

2) вычислить ;

3) построив гистограммы для сумм y ₁, …, y ₇, проверить, что при увеличении количества слагаемых в сумме, ее распределение приближается к нормальному. Какова при этом роль вида распределения слагаемых x ₁, …, x ₈?

Сделать выводы по работе.

((__lxGc__=window.__lxGc__||{'s':{},'b':0})['s']['_228467']=__lxGc__['s']['_228467']||{'b':{}})['b']['_699615']={'i':__lxGc__.b++};

123456789Следующая ⇒

ЧТО ПРОИСХОДИТ ВО ВЗРОСЛОЙ ЖИЗНИ? Если вы все еще «неправильно» связаны с матерью, вы избегаете отделения и независимого взрослого существования...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Конфликты в семейной жизни. Как это изменить? Редкий брак и взаимоотношения существуют без конфликтов и напряженности. Через это проходят все...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

---

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: