Poisson Distribution
“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲
Poisson Distribution
<푸아송 분포 Poisson Distribution>는 이항 분포 $\text{BIN}(n, p)$의 특수한 경우이다. $\text{BIN}(n, p)$에서 $n$이 무한대로 커지고, $p$가 아주아주 작아질 때, 분포는 푸아송 분포를 만족하게 된다!
그렇다면 본래 BIN이던걸 왜 푸아송 분포로 해석하는 걸까? 이 질문에 대한 답은 아래의 유튜브 영상에서 정말 잘 설명하고 있다. 한번 보고 오자.
즉, $n$과 $p$의 값을 다룰 수도 없고 정의할 수도 없을 때, 푸아송은 $np$를 $\lambda$로 두고 새로운 형태의 분포를 유도한 것이다. 또는 평균값인 $\lambda$를 아는 상태에서 유도한 분포라고 볼 수 있을 것 같다.
Definition. Poisson Distribution
A Poisson random variable $X$ with parameter $\lambda > 0$, denoted as $X \sim \text{POI}(\lambda)$, and it has a pmf $f(x)$ as
\[f(x) = e^{-\lambda} \frac{\lambda^x}{x!} \quad \text{for} \quad x=0, 1, \dots\]이 푸아송 분포가 정말 pmf인지 검증해보자. 확률의 合이 1이 됨을 보이면 된다.
\[\begin{aligned} \sum f(x) &= e^{-\lambda} \sum_{x=0} \frac{\lambda^x}{x!} \\ &= e^{-\lambda} e^\lambda = 1 \end{aligned}\]앞에서 푸아송 분포는 이항분포의 특수한 경우라고 소개했다. 이것을 확인해보자.
Derivation.
Let $X \sim \text{BIN}(n, p) = \text{BIN}(n, \frac{\lambda}{n})$, then pmf $f_n (x)$ is
\[f_n (x) = \binom{n}{x} p^x (1-p)^{n-x} = \binom{n}{x} \left( \frac{\lambda}{n}\right)^x \left( 1 - \frac{\lambda}{n}\right)^{n-x}\]위의 식에서 $\binom{n}{x}$를 풀어서 써보면 아래와 같고, 이것을 잘 정리해보자.
\[\begin{aligned} f_n (x) &= \binom{n}{x} \left( \frac{\lambda}{n}\right)^x \left( 1 - \frac{\lambda}{n}\right)^{n-x} \\ &= \frac{n!}{x!(n-x)!} \frac{\lambda^x}{n^x} \left( 1 - \frac{\lambda}{n}\right)^n \left( 1 - \frac{\lambda}{n}\right)^{-x} \\ &= \frac{\lambda^x}{x!} \cdot \left( 1 - \frac{\lambda}{n}\right)^n \cdot \frac{n!}{(n-x)!} \left(\frac{1}{n}\right)^x \left( 1 - \frac{\lambda}{n}\right)^{-x} \end{aligned}\]이제 위의 식에서 $n \rightarrow \infty$를 취하자!
\[\begin{aligned} \lim_{n \rightarrow \infty} f_n (x) &= \lim_{n \rightarrow \infty} \frac{\lambda^x}{x!} \cdot \left( 1 - \frac{\lambda}{n}\right)^n \cdot \frac{n!}{(n-x)!} \left(\frac{1}{n}\right)^x \left( 1 - \frac{\lambda}{n}\right)^{-x} \\ &= \lim_{n \rightarrow \infty} \frac{\lambda^x}{x!} \cdot e^{-\lambda} \cdot \frac{n(n-1)\cdots(n-x+1)}{n^x} \cdot \frac{(n-\lambda)^{-x}}{n^{-x}} \\ &= \frac{\lambda^x}{x!} \cdot e^{-\lambda} \cdot 1 \cdot 1 \\ &= \frac{\lambda^x}{x!} e^{-\lambda} \end{aligned}\]$\blacksquare$
위의 유도 과정에서는 이항 분포를 사용했지만, 미분방정식으로도 푸아송 분포를 유도할 수 있다고 한다. 유도 과정에 대한 영상을 링크로 걸어둔다. 👉 YouTube - 푸아송 분포, 미분방정식으로 유도
Theorem. Law of Rare Events
$n$이 무한히 커지게 되면, 자연스럽게 확률 $p=\dfrac{\lambda}{n}$는 작아지게 된다. 하지만, 이항 분포의 성질에 따라 여전히 평균과 분산은 아래와 같을 것이다.
- $\displaystyle E[X] = \lim_{n\rightarrow\infty} np = \lambda$
- $\displaystyle \text{Var}(X) = \lim_{n\rightarrow\infty} n \frac{\lambda}{n} \left( 1 - \frac{\lambda}{n}\right) = \lambda$
이런 상황에 대해 기술한 정리가 바로 <Law of rare event>이다 😎
위의 명제에 대한 증명은 평균과 분산의 정의에 입각해 식을 전개하면 된다. 증명은 추후에 기술하겠다.
Bernoulli Process & Poisson Process
Bernoulli Process
<Poission Process>를 다루기 위해선 먼저 <Bernoulli Process>에 대해 알아야 한다.
Definition. Bernoulli Process
The <Bernoulli process> is a sequence of independent Bernoulli trials.
At each trial $X_i$,
- $P(H) = P(X_i = 1) = p$
- $P(T) = P(X_i = 0) = 1-p$
즉, 베르누이 시행은 Bernoulli RV Sequence $X = \{ X_n : n=1, 2, \dots \}$라고 볼 수 있다.
\[X_i \sim \text{Ber}(p) \quad \text{and} \quad X \sim \text{BP}(p)\]이런 베르누이 프로세스의 예로는
- 매일 코스피 지수의 상승/하락에 대한 binary sequence
- 주어진 time interval에 신호가 수신되는지 아닌지에 대한 binary seq.
Poisson Process
이번에는 BP에서 극한을 취해 time intervel의 간격을 아주아주 줄인, 그래서 결국 continuous한 시간축 위에서 시행되는 <Poisson Process>에 대해 살펴보자. 아래에 기술되는 내용은 아래의 유튜브 영상을 기준으로 작성하였다.
👉 YouTube - Definition of the Possion Process
먼저 $N(t)$ 또는 $N_t$를 정의하자. 이것은 $t$시간까지 도착한 사건의 갯수를 의미하는 RV이다. BP에서의 성질들을 바탕으로 <Poisson Process>를 잘 정의해보자.
1. 각 time slot은 서로 독립이다.
Poisson Process도 이 성질을 가지므로, 아래의 명제가 성립한다.
”# of arrivals in disjoint time inteverals are independent.”
이것을 수식으로 표현하면 아래와 같다.
\[\left( N(t_2) - N(t_1) \right) \perp \left( N(t_4) - N(t_3) \right)\]2. (Time homogeneity) 각 time slot에서 arrival이 발생할 확률이 동일하다.
마찬가지로 BP에서 각 time slot마다 모두 확률 $p$를 가졌기 때문에 Poission Process도 이 성질을 가진다. 이것을 기술하면,
“$P(k, \tau)$, the prob. of $k$ arrivals in interval of duration $\tau$ is constant”
그리고 $P(k, \tau)$에 대해 이것을 $k$에 대해 모두 더하면, 그 확률의 合은 1이 된다.
\[\sum^{\infty}_{k=0} P(k, \tau) = 1\]수업에선 이걸 조금 다르게 기술한 것 같다. “The distribution of $N(t) - N(s)$ only depends on $(t-s)$”
\[N(t) - N(s) = N(t-s)\]3. small interval probability
“두 arrival이 동일한 시간에 동시에 발생했다.” 이런 경우를 생각할 수 있을까? 현실에서도 이런 “Same Time, Same place, Same Event”가 일어나는 건 불가능하다. Poission Process는 이런 동시에 발생하는 사건을 없애기 위해 아주 작은 interval $\delta$에 대해 아래와 같이 정의한다.
\[P(k, \delta) \approx \begin{cases} 1 - \lambda \delta & \text{if} \quad k=0 \\ \lambda \delta & \text{if} \quad k=1 \\ 0 & \text{if} \quad k > 1 \end{cases}\]정리하면, 위와 같은 3가지 조건을 만족한다면 우리는 그 과정을 <Poisson Process>라고 한다!
잠깐 다시 <Bernoulli Process>의 시각으로 돌아와보자. $[0, t]$ 간격을 가지는 확률 변수 $X$가 있다고 하자. 그러면, 이것의 확률은
\[\begin{cases} P(X = 1) = \lambda t + o(h) \\ P(X = 0) = 1 - \lambda t + o(h) \end{cases}\]이때 $X_i$를 “# of buses that arrive in $[t_i, t_{i+1}]$”라고 정의한다면, $X_i$에 대한 분포는 Bernoulli Distribution을 따른다.
\[\begin{cases} P(X = 1) = \lambda \cdot \dfrac{t}{n} + o(h) \\ P(X = 0) = 1 - \lambda \cdot \dfrac{t}{n} + o(h) \end{cases}\] \[X_i \sim \text{Bernoulli}\left( \frac{\lambda t}{n} \right)\]이때, $N(t) = X_1 + \cdots + X_n$로 둔다면, $N(t)$는 Binomial Distribution $\text{BIN}(n, \lambda t/n)$을 따르게 된다.
\[X_1 + \cdots + X_n = N(t) \sim \text{BIN}(n, \lambda t/n)\]이때, 우리가 $n \rightarrow \infty$로 보내고 $[t_i, t_{i+1}] \rightarrow 0$가 된다면, 앞에서 언급한 <Law of Rare event>에 의해 Binomial Distribution이 Poisson Distribution이 된다.
\[\text{BIN}(n, \lambda t/n) \approx \text{POI}(\lambda t)\]정리하면, $N(t)$를 모은 sequence $\{ N(t) : t \ge 0\}$는 <Possion Process>다. 그리고 개별 $N(t)$는 <Poission Distribution>을 따른다. 🤩
\[N(t) \sim \text{POI}(\lambda t)\]Example.
Let $T$ be the time that the 1st bus arrives. What is the distribution of $T$? (We know that the average arrival time is $\lambda$)
주의할 점은 앞에서 살펴본 <Geometric Distribution>처럼 1st event case를 구하는 문제이지만, Sample Space가 이산이 아니라 연속인 time axis라는 점이다!!
먼저 cdf $P(T \le t)$를 구해보자. $P(T \le t)$를 직접 구하지 말고, 반대 케이스인 $P(T > t)$를 이용해 유도해보자.
$P(T > t)$, 즉 기다리는 시간 $T$가 $t$보다 커질 확률은 곧 $t$ 시간까지 도착한 버스의 수가 0이 될 확률과 같다. 즉, $N(t) = 0$의 확률과 같다. 따라서,
\[P(T > t) = P(N(t) = 0) = e^{-\lambda t} \frac{(\lambda t)^0}{0!} = e^{-\lambda t}\]따라서, $P(T \le t) = 1 - e^{-\lambda}$이다. 이것을 미분하면 pdf $f(x)$를 얻을 수 있다.
\[\frac{d}{dt} P(T \le t) = \frac{d}{dt} (1 - e^{-\lambda t}) = \lambda \cdot e^{-\lambda t}\]뒤에서 다루겠지만, 위와 같은 pdf를 가지는 continuous distribution을 <Exponential Distribution>이라고 한다.
이번 포스트에서 다룬 <Poisson Distribution>을 끝으로 교재에서 다루는 모든 이산 확률 분포를 살펴보았다. 다음 포스트부터는 연속 RV가 갖는 <연속 확률 분포; Continuous Distribution>에 살펴보겠다.
- Continuous Probability Distribution