Beta Distribution
“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲
시리즈: Continuous Probability Distributions
선행 개념으로 Gamma Distribution에 대해 알고 있어야 한다.
\[f(x; \alpha, \beta) = \begin{cases} C_{\alpha, \beta} \cdot x^{\alpha-1} e^{-\frac{x}{\beta}} & \text{for } x > 0 \\ \quad 0 & \text{else} \end{cases}\] \[C_{\alpha, \beta} = \frac{1}{\Gamma(\alpha) \cdot \beta^{\alpha}}\]Beta Distribution
Definition. Beta function; $B(\alpha, \beta)$
Let $\alpha > 0$ and $\beta > 0$. A <bet function> is defined as
\[B(\alpha, \beta) = \int^1_0 x^{\alpha-1}(1-x)^{\beta-1} dx\]Claim.
위의 식에서 다음과 같이 적분변수를 치환해보자.
\[\begin{aligned} x &= uv \\ y&= u(1-v) \\ \left| J \right| &= \left| \begin{matrix} x_u & x_v \\ y_u & y_v \end{matrix} \right| = \left| \begin{matrix} v & u \\ 1-v & -u \end{matrix} \right| = u \end{aligned}\] \[\begin{aligned} &\int^{\infty}_0 \int^{\infty}_0 x^{\alpha-1} y^{\beta-1} \cdot e^{-(x+y)} dx dy \\ &= \int^{\infty}_0 \int^{\infty}_0 (uv))^{\alpha-1} (u(1-v))^{\beta-1} \cdot e^{-(\cancel{uv}+u-\cancel{uv})} \; u \, dudv \\ &= \int^{\infty}_0 \int^{\infty}_0 u^{(\alpha-1) + (\beta-1) + 1} v^{\alpha-1} (1-v)^{\beta-1} \cdot e^{-u} \; du dv \\ &= \int^{\infty}_0 u^{\alpha + \beta-1} \cdot e^{-u} \; du \int^{\infty}_0 v^{\alpha-1} (1-v)^{\beta-1} \; dv \\ &= \Gamma(\alpha + \beta) \cdot B(\alpha, \beta) \end{aligned}\]즉,
\[\Gamma(\alpha)\Gamma(\beta) = \Gamma(\alpha + \beta) B(\alpha, \beta)\]이므로
\[B(\alpha, \beta) = \frac{\Gamma(\alpha) \Gamma(\beta)}{\Gamma(\alpha + \beta)}\]$\blacksquare$
Definition. Beta Distribution; $\text{Beta}(\alpha, \beta)$
Let $\alpha>0$ and $\beta>0$. A RV $X$ is called a <beta RV> and decnoted as $X \sim \text{Beta}(\alpha, \beta)$ if its pdf is given by
\[f(x) = \frac{x^{\alpha - 1} \cdot (1-x)^{\beta-1}}{B(\alpha, \beta)} \quad \text{for } x \in (0, 1)\]Remark.
1. $X \sim \text{Beta}(1, 1)$
When $\alpha = \beta = 1$, then $X \sim \text{Beta}(1, 1)$ and pdf is
\[f(x) = \frac{x^0 \cdot (1-x)^0}{B(1, 1)} = \frac{1 \cdot 1}{1} = 1\]($B(1, 1) = \dfrac{\Gamma(1) \cdot \Gamma(1)}{\Gamma(2)} = \dfrac{0! \cdot 0!}{1!} = 1$)
즉, $\text{Beta}(1, 1)$은 Uniform distribution을 따르게 된다. 이런 점 때문에 Beta Distribution을 generalization of the uniform distribution on $[0, 1]$라고 여기기도 한다!
2. Coin Tossing
“If $P(H) = p$, then we can say $p \sim \text{Unif}(0, 1)$.”
위의 아이디어를 확장하면,
Toss a coin $n+m$ times, and then we got $n$ heads. Then the distribution of $p$ given this(= got $n$ heads) is
\[p \sim \text{Beta}(n+1, m+1)\]3. Expectation & Variance
If $X \sim \text{Beta}(\alpha, \beta)$, then
- $E[X] = \dfrac{\alpha}{\alpha + \beta}$
- $\text{Var}(X) = \dfrac{\alpha\beta}{(\alpha+\beta)^2 (\alpha+\beta+1)}$
유도 과정은 추후에 추가하겠다.
Example.
Let $X_1, X_2, X_3$ be $\text{Unif}(0, 1)$ and independent.
Let $Y:=\max(X_1, X_2, X_3)$. Find the distribution of $Y$.
따라서, pdf는 $f(y) = 3y^2$가 되고 이것은 Beta Distributions인 $\text{Beta}(3, 1)$의 pdf와 동일하다!!
\[B(3, 1) = \frac{\Gamma(3)\Gamma(1)}{\Gamma(3+1)} = \frac{2! \; 0!}{3!} = \frac{1}{3}\] \[f(x) = \frac{x^{3-1}(1-x)^{1-1}}{B(3, 1)} = \frac{x^2 \cdot 0}{1/3} = 3x^2\]맺음말
이어지는 포스트에서는 <Weibull Distribution>을 통해 <결함률; Failure rate>와 <신뢰도; Reliability>을 모델링한다. 이 부분은 정규 수업에서는 소개만 하고 넘어간 부분이기 때문에 관심이 있거나 꼭 필요한게 아니라면 건너 뛰어도 괜찮다.