Probability of an Event
“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲
Probability
Definition. Probability of an event $A$; $P(A)$
Let $S$ be a sample space. The probability of an event $A$ is the sum of the probabilities of all sample points in $A$.
And there are following properties:
- $0 \le P(A) \le 1$ for every event $A$
- $P(S) = 1$
- If $A \cap B = \emptyset$, then $P(A \cup B) = P(A) + P(B)$
- If $A_1$, $A_2$, … is a sequence of mutually exclusive events, then $P(A_1 \cap A_2 \cap \cdots) = P(A_1) + P(A_2) + \cdots$
Term. Equally likely outcomes
<Equally likely outcomes> mean that each element in the sample space occurs with equal chance.
Under this circumstance, if $S = \{ x_1, \dots, x_N \}$ so that $\left| S \right| = N$, then we define $P(A) := \dfrac{\left| A \right|}{N}$.
Additive Rule
Theorem.
For any two events $A$ and $B$,
$P(A \cup B) = P(A) + P(B) - P(A \cap B)$
proof.
Exercise
// 본인은 “Probability”를 계산할 때, 그 event에 속한 sample point의 “Probability”를 합한다고 생각함. 그런데 만약 $P(A) + P(B)$만 하게 되면, $A \cap B$에 속하는 sample point의 확률을 중복해서 더하는 꼴이 되기 때문에 이것을 제외해줘야 한다고 생각함.
Topic. Matching Problem
수학 시험에서 3명의 학생들이 자신들이 친 시험지를 채점한다고 한다. 선생은 학생들이 자기 자신의 시험지를 채점하지는 않도록 하고 싶다. 그 확률은 어떻게 되는가?
// 본인은 처음 문제를 풀었을 때, 틀렸었다 ㅠㅠ
Conditional Probability
Defitnition. Conditional Probability
The conditional probability of $B$, given $A$, denoted by $P(B \mid A)$, is defined by
\[P(B \mid A) = \frac{P(B \cap A)}{P(A)}, \quad \mbox{provided} \; P(A) > 0\]“The notion of conditional probability provides the capability of reevaluating the idea of probability of an event in light of additional information”
The probability $P(A \mid B)$ is an updating of $P(A)$ based on the knowledge that event $B$ has occurred.
Independent Events
Definition. Independent
Two events $A$ and $B$ are independent if and only if
\[P(B \mid A) = P(B) \quad \mbox{or} \quad P(A \mid B) = P(A)\]assuming the existences of the conditional probabilities.
Otherwise, $A$ and $B$ are dependent.
If two events $A$ and $B$ are independent, then the occrurence of $B$ had no impact on the odds of occurrence of $A$.
Product Rule
Theorem.
If an experiment the events $A$ and $B$ can both occur, then
\[P(A \cap B) = P(A) P(B \mid A), \quad \mbox{providied} \; P(A) > 0\]Codntional Probability와 함께 Product Rule의 의미를 곱씹어 보자.
$P(A \cap B)$가 $P(A)$와 $P(B \mid A)$의 곱으로 표현된다고 한다. 즉, “$A$가 발생할 확률” $P(A)$에 “$A$가 발생했을 때, $B$가 발생할 확률 $P(B \mid A)$”를 곱해주는 거다.
다시 말하면, 두 사건 $A$, $B$에 대해, 그 둘이 동시에 발생하는 사건 $A \cap B$를 $A$ 발생 후 $B$가 발생한 사건으로 해석하는 셈이다. 이때, $A$가 발생했다면, 그 정보를 사건 $B$ 발생에 반영해야 하기 때문에 $P(B \mid A)$라는 conditional probability를 도입한 것이다.
Theorem.
Two events $A$ and $B$ are independent if and only if
\[P(A \cap B) = P(A) P(B)\]
Notation. $A \perp B$
When two events $A$ and $B$ are independent, we denote it as
\[A \perp B\]
Statements.
1. If $A \perp B$, then can $A \perp B’$?
2. If $A \perp B$, $B \perp C$, and $C \perp A$, then $A \perp (B \cap C)$?
3. If $A \perp B$ and $B \perp C$, then can $A \perp C$?
4. If $A \cap B = \emptyset$, then $A \perp B$?
5. If $A$ is independent of all, and also independent to $A$ itself. What can be $P(A)$?
정답 보기
1. Yes. We know $P(A \cap B) + P(A \cap B’) = P(A)$, and $P(A \cap B) = P(A)P(B)$. 이 두 식을 잘 정리하면, $P(A \cap B’) = P(A)P(B’)$를 얻을 수 있다!
2. No. 반례를 찾을 수 있다. 예를 들어 동전 두개를 던져 H/T를 기록하는 Sample Space를 생각해보자. 그리고 Event $A$, $B$, $C$를 아래와 같이 정의하자.
\[A = \{HT, TH\} \quad B =\{HT, HH\}, \quad C = \{HT, TT\}\]확인을 해보면, $A$, $B$, $C$는 pairwise independent 하다는 걸 확인할 수 있다.
하지만, $A$와 $B \cap C$가 independent한지 확인해보자.
\[P(A \cap (B \cap C)) = \frac{1}{4} \ne P(A)P(B \cap C)\]즉, $A$와 $B \cap C$는 dependent하다! source
3. No. 위의 예시에서 약간만 변형하면 쉽게 반례를 찾을 수 있다!!
\[A = \{HT, TH\} \quad B =\{HT, TT\}, \quad C = \{HH, TT\}\]확인을 해보면, $A \perp B$, $B \perp C$인 것을 확인할 수 있다.
하지만, $A \cap C = \emptyset$이기 때문에 $P(A \cap C) \ne P(A)P(C)$이다!
4. No. 반례는 너무 간단해서 생략
5. $P(A) = 1$ or $P(A) = 0$. 간단한 대수식을 풀면 된다. “independent to $A$ itself”가 힌트인데, $P(A \cap A) = P(A)P(A)$이므로
\[P(A \cap A) = P(A) = P(A)P(A)\]를 풀면 된다. 확률의 정의에 따라 $0 \le P(A) \le 1$이므로 解는 $P(A) = 1$ or $P(A) = 0$이 된다.
이어지는 내용은 정말정말 중요하고, 유용한 <베이즈 규칙 Bayes’ Rule>이다!!