При броске двух кубиков. Каков шанс выбросить две 1? Ответ: \(1/36\)
Вероятность
Вероятность - это здравый смысл, сведенный к исчислению (Лаплас)
Случайное событие
Кайрат каждый день заходит в кафе за кофе. Иногда ему приходится стоять в очереди. Число людей в очереди — пример случайного события. Их может быть 0, 1, 2, 3 и т.д.
Случайное событие (random phenomenon) - это любая ситуация в которой некий результат может произойти, но мы не знаем наверняка какой именно
Теория вероятности дает математическое описание случайных событий (бросков монеты, бросков кубика, роста случайно взятого человека и т.п.)
Вероятностная модель
Вероятностная модель — это математическое описание случайного события. Состоит из трех основных элементов:
(1) Случайное событие
Результат случайного события называется наблюдением (observation) или испытанием (trial). “Мы бросили монетку два раза” = “У нас два наблюдения/испытания”
Множество возможных результатов случайного события или (2) Пространство Исходов (Sample Space). Обозначается \(\Omega\).
Случайное событие - это любой процесс со случайным результатом
Например, бросок монетки или кубика
Случайно взятый ИИН из базы физических лиц
Бросок дротика в мишень и т.п.
Случайное событие
Всякий раз, когда мы наблюдаем случайное событие, мы фиксируем результат.
Результат наблюдения называется случайной переменной (random variable). Случайные переменные обозначаются заглавными латинскими буквами, e.g. \(X\) или \(Y\)
Например, \(X\) может обозначать результат броска монеты, а \(Y\) результат броска кубика.
\(U\) может обозначать число ДТП в Астане в случайно выбранный день.
\(X\) и \(Y\) могут быть координатами броска дротика в квадратную мишень
Пространство Исходов (Sample Space)
Все возможные значения, которые случайная переменная может принять, называется Пространство Исходов (Sample Space). Обозначается \(\Omega\)
Для броска монеты: \(\Omega = \{Орел, Решка\}\). Или
\(X \in \{Орел, Решка\}\)
Для кубика: \(\Omega = \{1, 2, 3, 4, 5, 6\}\)
\(Y \in \{1, 2, 3, 4, 5, 6\}\)
Для числа ДТП в Астане в случайный день: \(\Omega = \mathbf{Z}^{+}\)
Исходом (outcome) называется конкретное значение, которое может принять случайная переменная. Исход - это один элемент Пространства Исходов (\(\Omega\)). Мы обозначаем их строчными буквами \(x\) или \(y\)
Например, для кубика \(X = 1\) значит, что при броске выпала единица
Событие (Event) - это любое подмножествоПространства Исходов (\(\Omega\)). События обозначаются заглавными буквами.
\(A \subset \Omega\)
Детальнее о событиях
События может состоять из одного исхода, например \(A = {Орел}\), но также может состоять из множества исходов
Например, рассмотрим два броска монетки
Событие А: орел при первом броске
Событие А состоит из двух исходов: \(A = \{ОО, ОР\}\)
Исходы как атомы (элементарные частицы)
События как молекулы (могут состоять из множества атомов)
Объединение и Пересечение Событий
Объединением событий, \(\mathbf{A} \cup \mathbf{B}\), называется множество всех исходов которые удовлетворяют либо\(A\), либо\(B\).
\(A \cup B = \{x|x \in A \textrm{ OR } x \in B\}\) - логическое ИЛИ
Пример, событие \(A\) - случайный пассажир автобуса, оказался беременной женщиной;
\(B\) - случайный пасажир оказался пенсионером.
Объединения двух событий, \(A\cup B\) - человек, которому можно сидеть на местах для беременных или пенсионеров.
Пересечением двух событий, \(\mathbf{A} \cap \mathbf{B}\), называется множество всех исходов, которые удовлетворяют одновременно и\(A\), и\(B\).
\(A \cap B = \{x|x \in A \textrm{ AND } x \in B\}\) - логическое И
В примере выше \(A \cap B\) будет соответствовать беременному пенсионеру.
Пересекающиеся и Непересекающиеся События
Бросаем монетку два раза и определим 3 события:
A: орел в первом броске: \(\{ОО, ОР\}\)
B: решка во втором броске: \(\{ОР, РР\}\)
C: решка в первом броске: \(\{РО, РР\}\)
\(A \cup B = \{ОО, ОР, РР\}\), \(A \cap B = \{ОР\}\)
\(A \cup C = \{ОО, ОР, РО, РР\}\), \(A \cap C = \{\emptyset\}\)
Два события называются непересекающимися (disjoint) или взаимно исключающими (mutually exclusive), если у них нет общих исходов: A и C не пересекаются, потому что \(A \cap C = \emptyset\)
Объединение пересекающихся и непересекающихся событий
Непересекающиеся события:
4 студента из Семея, множество \(A\); 10 студентов из Усть-Каменогорска, множество \(B\)
Как много студентов из ВКО? \(|A\cup B|\)
\(|A\cup B| = 4 + 10 = 14\)
Пересекающиеся события:
У 5-и студентов есть кошки (\(A\)); у 3-х есть собаки (\(B\))
У 1-го студента есть и кошка, и собака: \(A \cap B\)
У скольки студентов есть домашенее животное? \(|A\cup B|\)
Условные вероятности ничем не отличаются от безусловных. Все что применимо к первым, применимо и ко вторым.
Упражнение: Два броска 4-х гранного кубика
Событие \(\mathbf{B}: min(d_1,d_2) = 2\)
Событие \(\mathbf{M_1}: max(d_1,d_2) = 1\)
Событие \(\mathbf{M_2}: max(d_1,d_2) = 2\)
\(P(M_1|B) = ?\)
\(P(M_2|B) = ?\)
\(P(M_1|B) = 0\)
\(P(M_2|B) = 1/2\)
Повторим обозначения и введем новые
\(A\) - латинские заглавные буквы обозначают события, например, что в Астане сегодня утром идет снег; \(B\) - что в Астане пробки выше 8 баллов.
\(A \cup B\) - в городе снег ИЛИ пробки
\(A \cap B\) в городе снег И пробки
Отрицание события, то есть событие, которое состоит в том, что некое изначальное событие не произошло, мы обозначаем \(А^c\) и называем дополнением \(А\)
Дополнением, потому что \(А^c\) дополняет \(А\) до \(\Omega\): \(А^c \cup A = \Omega\)
\(A^c \cup B\) - в городе нет снега ИЛИ пробки
Пример
Событие \(A\): Беременность. Допустим по стат. данным мы знаем, что $P(A) = 0.01$
Событие \(B\): Тест на беременность положителен
Представим все в виде диаграммы
Теперь посчитаем вероятности
\(P(B|A) = 0.98, P(B^c|A^c) = 0.05\)
Допустим мы хотим посчитать \(P(A|B) = \frac{P(A \cap B)}{P(B)}\), но мы не знаем \(P(B)\)
Что если мы поменяем местами событие и условие: \(P(B|A) = \frac{P(A \cap B)}{P(A)}\)
\(P(A \cap B) = P(A)P(B|A)\)
Multiplication Rule (не знаю как перевести)
Формула условной вероятности, позволяет нам интерпретировать совместную вероятность событий
Вероятность, что события \(А\) и \(B\) произошли одновременно, равна вероятности события \(А\) помноженную на вероятность события \(B\), при условии, что \(А\) произошло
\[
P(A \cap B) = P(B)*P(A|B)
\]
И наоборот
\[
P(A\cap B) = P(A)*P(B|A)
\]
Пример
\(P(A \cap B) = P(A)P(B|A) = 0.01*0.98 = 0.0098\)
Общая вероятность
А теперь, давайте задумаемся, сможем ли мы восстановить вероятность события \(B\) из нашего знания о \(P(A \cap B)\)
Интуитивно, событие \(B\) может произойти при условии \(А\) и при условии \(А^c\). Также, два этих условия полностью исчерпывают все возможные “пути” к событию \(B\)
Мы хотели посчитать вероятность беременности \(A\) при условии, что тест положителен \(B\)
Мы посчитали вероятность события человек беременнен И тест положителен: \(P(A \cap B) = P(A)*P(B|A)\)
Мы также посчитали вероятность события, что тест положителен: \(P(B) = P(A \cap B) + P(A^c \cap B)\)
Теперь у нас есть все, чтобы посчитать искомое:\(P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{0.0098}{0.0593} = 0.165\)
Формула Байеса
То что мы сейчас проделали, выглядит так
\[
P(A|B) = \frac{P(A)*P(B|A)}{P(B)}
\]
Где, \(P(B) = P(A)P(B|A) + P(A^c)P(B|A^c)\)
Более сложный пример
Три события \(\{A_1, A_2, A_3\}\): \(A_1 \cup A_2 \cup A_3 = \Omega\) и \(A_i \cap A_j = \emptyset, \forall i \neq j\), это называется разбиением (partition) пространства исходов
Мы знаем все \(P(A_i)\) и \(P(B|A_i)\)
Вопрос
Можем ли мы посчитать \(P(A_i \cap B) = ?\)
Да \(P(A_i|B) = \frac{P(A_i \cap B)}{P(B)} \implies P(A_i \cap B) = P(B)P(A_i|B) = P(A_i)P(B|A_i)\)
Например:
\(P(A_1 \cap B) = P(A_1)P(B|A_1) = 0.25\)
\(P(A_2 \cap B) = P(A_2)P(B|A_2) = 0.18\)
\(P(A_3 \cap B) = P(A_3)P(B|A_3) = 0.16\)
Общая вероятность опять
А что насчет \(P(B) = ?\). Заметьте, что \(B = (A_1 \cap B) \cup (A_2 \cap B) \cup (A_3 \cap B)\)
Поэтому: \[P(B) = P(A_1 \cap B) + P(A_2 \cap B) + P(A_3 \cap B) = \\ P(A_1)*P(B|A_1) + P(A_2)*P(B|A_2) + P(A_3)*P(B|A_3) = \\0.25 + 0.18 + 0.16 = 0.59\]
Формула Байеса Расширенная
Допустим событие \(B\) произошло, можем ли мы пересмотреть вероятности \(P(A_i)\)?
Да. Назовем новые вероятности \(P(A_i|B)\)\[P(A_i|B) = \frac{P(A_i)*P(B|A_i)}{P(B)} = \frac{P(A_i)*P(B|A_i)}{\sum_j{P(A_j)*P(B|A_j)}}\]
А теперь, \(С\) - пробки, и \(P(C) = 0.2\), но \(P(C|A) = 0.5\)
Тогда, \(P(A\cap C) = P(A)*P(C|A) = 0.05\)
Но, \(P(A)*P(C) = 0.1*0.2 = 0.02\)
Неделя 3
Случайные переменные
У нас есть группа студентов, обозначим их для удобства буквами, \(\Omega = \{a, b, c, ..\}\)
Случайное событие - выбираем случайного студента и фиксируем его рост
Например, был выбран студент \(a\) с ростом \(h_a = 182\) (см)
В другой раз мог бы быть выбран студент \(c\) с ростом \(h_c = 150\)
Рост каждого студента это некое число \(h\). Но рост случайного студента - это случайная переменная, \(H\)
Случайные переменные
\(H\) - это объект, чье значение определено как только мы знаем результат случайного события (т.е. студента, который был выбран)
В этом смыле, \(H\) является функцией случайного события: \(H: \Omega \rightarrow H(\omega) = h\)
Случайная переменная “дает” численное значение результату случайного события
Пример
Мы бросили монетку 3 раза
Типичный элемент Пространства Исходов, \(\Omega\), выглядит как \(\omega = HHT\)
Теперь введем переменную \(X\) - сколько раз выпал “орел”
\(X\) может принимать значения от \(0\) до \(3\). Например, \(X(HHT) = 2\)
Случайная переменная обозначается заглавной буквой, например \(X\), ее значения, строчной - \(x\)
\(X = x\) значит, что переменная \(X\) приняла значение \(x\)
Функция Случайной Переменной
Любая функция случайной переменной, сама является случайной переменной
Например, \(X\) - бросок кубика, \(Y = X^2\) - результат этого же броска в квадрате, тоже случайная переменная
Другие, примеры \(H\) - рост случайного человека, \(W\) - вес случайного человека, \(U = W/H^2\) - индекс массы тела, случайного человека, тоже случайная переменная
Probability mass function (PMF) дискретной переменной
PMF of \(X\) - это просто распределение вероятности по значением \(X\)
Например, у нас три студента \(\{a, b, c\}\) и случайная переменная \(X\) , которая дает нам рост случайного студента. Допустим, \(x_a = 153, x_b = 175, x_c = 175\)
\[
var(Y) = E[Y^2] - (E[Y])^2 = \frac{1}{n+1}(0^2+1^2+\dots+n^2) - \frac{n^2}{4} = \\
\textrm{ some dark algebra happens, and ..} \\
var(Y) = \frac{1}{12}n(n+2)
\]
Uniform: \(Z \sim Uni(a, b)\), (general case)
realize that \(Z = Y + a, n = b - a\)
\(Var(Y + a) = Var(Y)\)
\[var(Z) = \frac{1}{12}(b-a)(b-a+2)\]
Непрерывные Случайные Переменные
Непрерывные случайные переменные: рост случайного человека, средняя оценка за год по математике случайно взятого школьника, и т.п.
Определение: Случайная переменная называется непрерывной, если существует функция \(f_x\) , которая называется функцией плотности вероятности (probability density function), такая что
\[
P(x \in A) = \int_{A}f_X(x)dx, \forall A \in R \\
\textrm{ в частности } \\
P(a \leq x \leq b) = \int_a^bf_X(x)dx
\]
Интерпретация
To interpret the PDF, note that for an small interval \([x, x+\delta]\)
Мы работали с дискретными и непрерывными случайными величинами, используя различные функции:
дискретная: функция массы вероятности (pmf), которая показывает, насколько велика вероятность того или иного значения
непрерывная: функция плотности вероятности, которая говорит о плотности вероятности в точке
Было бы неплохо иметь единое математическое понятие, позволяющее говорить как о дискретных, так и о непрерывных случайных величинах
Кумулятивная функция распределения, CDF
Познакомьтесь с CDF - кумулятивной функцией распределения
\[
F_X(x) = P(X \leq x) \\
\textrm{if X is discrete : } F_X(x) = P(X \leq x) = \sum_{k\leq x}p_X(k) \\
\textrm{if X is continuous : } F_X(x) = P(X \leq x) = \int_{-\infty}^{x}f_X(t)dt
\]
Кумулятивная функция распределения, CDF
CDF - \(F_X(x)\) - показывает, сколько вероятности вы накопили вплоть до значения \(x\)
Любая случайная величина, связанная с данной моделью вероятности, имеет CDF, независимо от того, является ли она дискретной или непрерывной. Это объясняется тем, что \({X\leq x}\) всегда является событием и поэтому имеет вполне определенную вероятность
Но интуитивно, мы можем заметить, что речь идет о площаде под кривой меньше 0
посколько распределение симметричное, она равна 1/2
В частном случае, однако, нам придется брать этот сложный интеграл
Однако R сделает все за нас с помощью набора функции
dnorm(), pnorm(), qnorm(), rnorm()
dnorm()
dnorm() принимает на вход значение переменной, а возвращает значение плотности вероятности в этой точке
dnorm(x =c(1, 0, 1), mean =0, sd =1)
[1] 0.2419707 0.3989423 0.2419707
Я исползовал dnorm(), чтобы строить графики
my_tibble <-tibble(x =seq(-3, 3, by =0.05)) %>%# first a create a vector of numbersmutate(y =dnorm(x)) # then I create a new variable with values of PDFmy_tibble %>%head()
# A tibble: 6 × 2
x y
<dbl> <dbl>
1 -3 0.00443
2 -2.95 0.00514
3 -2.9 0.00595
4 -2.85 0.00687
5 -2.8 0.00792
6 -2.75 0.00909
then I plot
my_tibble %>%ggplot(aes(x = x, y = y)) +geom_line() +labs(title ="PDF of a normal distribution") +annotate('text', x =0, y =0.41, label ="mu==0~sigma==1", parse =TRUE, size =5)
pnorm()
pnorm() на вход принимает значение переменной, а выдает то, сколько “вероятности” вы “накопили” к этой точке
# what is the probability that a standard normal# random variable (mean = 0, sd = 1) takes on a value less than 0pnorm(0, mean =0, sd =1)
[1] 0.5
By default, pnorm() calculates the probability of being less than a specified value: \(P(X \leq) = x\), if you want to find the probability of being larger that value, just subtract what pnorm() gives you from 1
\[
P(X > x) = 1 - P(X \leq x)
\]
# what is the probability that a random normal variable # with mean = 10 and sd = 2, takes on a value larger than 151-pnorm(15, mean =10, sd =2)
[1] 0.006209665
qnorm()
qnorm() считает квантили, точки, которые делять распределение в заданных пропорциях
На вход вы подаете пропорцию, то есть вероятность того, что переменная примет некое значение, а на выходе получаете точку, которая делит распределение в заданной пропорции
\[
qnorm(p) = x: P(X \leq x) = p
\]
Where is the point that a random variable is less than that point 50% of the time?
qnorm(0.5, mean =0, sd =1)
[1] 0
Where is the point that a random variable is less than that point 50% of the time?
qnorm(0.25, mean =0, sd =1)
[1] -0.6744898
Where is the point that a random variable is larger than that point only 5% of the time?
# by default `qnorm()` assumes that a random variable takes values less than the point it needs to return, to change that use lower.tail = FALSE argumentqnorm(0.05, mean =0, sd =1, lower.tail =FALSE)
[1] 1.644854
rnorm()
rnorm() generates values of a normal random variable
my_random_values <-rnorm(10, mean =0, sd =1)my_random_values
