Momemtum Generating Function

“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲

April 13, 2021 14 minute read

“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲

Moment Generating FunctionPermalink

Definition. moment

We call $E [X^{k}]$ as the < $k$ -th moment> of $X$ .

Remark.

1. Moments can be infinite.

2. Moments may not be defined.

하지만, 정규 수업에서는 위의 사례들을 다루지는 않는다!

Definition. MGF; Moment Generating Function

The <moment generating function> of $X$ is given by

M_{X} (t) := E [e^{t X}]

Q. Why is this called the “moment” generating function?

A. Because it generates moments!

Note that

\frac{d}{d t} e^{t X} = X e^{t X}

and then,

\begin{aligned} \frac{d}{d t} M_{X} (t) & = \frac{d}{d t} E [e^{t X}] \\ = E [\frac{d}{d t} e^{t X}] \\ = E [X e^{t X}] \end{aligned}

위의 식 $\frac{d}{d t} M_{X} (t)$ 에서 우리가 $t = 0$ 을 대입한다면, 우리는 손쉽게 moment를 얻을 수 있다!

{\frac{d}{d t} M_{X} (t) |}_{t = 0} = {E [X e^{t X}] |}_{t = 0} = E [X]

마찬가지로

\frac{d^{k}}{d t^{k}} e^{t X} = \frac{d^{(k - 1)}}{d t^{(k - 1)}} X e^{t X} = X \frac{d^{(k - 1)}}{d t^{(k - 1)}} e^{t X} = \dots = X^{k} e^{t X}

인 사실을 이용하면, $k$ -th moment $E [X^{k}]$ 도 쉽게 구할 수 있다!!

{\frac{d^{k}}{d t^{k}} M_{X} (t) |}_{t = 0} = {E [X^{k} e^{t X}] |}_{t = 0} = E [X^{k}]

ExamplesPermalink

BinomialPermalink

Let $X \sim BIN (n, p)$ , then find its MGF.

\begin{aligned} M_{X} (t) & = E [e^{t X}] \\ = \sum_{k} e^{t k} f (k) \\ = \sum_{k = 0}^{n} e^{t k} \cdot (\binom{n}{k}) p^{k} q^{n - k} \\ = \sum_{k = 0}^{n} (\binom{n}{k}) \cdot {(p \cdot e^{t})}^{k} q^{n - k} \\ = {(p \cdot e^{t} + q)}^{n} \end{aligned}

위의 MGF를 통해 직접 $E [X]$ 를 구해보면,

{\frac{d}{d t} M_{X} (t) |}_{t = 0} = {n \cdot p \cdot {(p \cdot e^{t} + q)}^{n - 1} |}_{t = 0} = n p

PoissonPermalink

Let $X \sim Poi (λ)$ , find its MGF.

\begin{aligned} M_{X} (t) & = E [e^{t X}] \\ = \sum_{k = 0}^{\infty} e^{t k} \cdot e^{- λ} \frac{λ^{k}}{k!} \\ = e^{- λ} \cdot \sum_{k = 0}^{\infty} \frac{{(e^{t} λ)}^{k}}{k!} \\ = e^{- λ} \cdot \exp (λ e^{t}) = \exp (λ (e^{t} - 1)) \end{aligned}

이게 위의 MGF를 이용해 $E [X]$ 를 구해보자!

\begin{aligned} {\frac{d}{d t} \exp (λ (e^{t} - 1)) |}_{t = 0} & = {(\frac{d}{d t} λ (e^{t} - 1)) \cdot \exp (λ (e^{t} - 1)) |}_{t = 0} \\ = {λ \cdot \exp (λ (e^{t} - 1)) |}_{t = 0} \\ = λ \cdot \exp (λ (1 - 1)) = λ \cdot 1 \\ = λ \end{aligned}

Negative BinomialPermalink

Let $X \sim NegBIN (k, p)$ , find its MGF.

\begin{aligned} M_{X} (t) & = \sum_{x = k}^{\infty} e^{t x} \cdot (\binom{x - 1}{k - 1}) p^{k} q^{x - k} \\ = {(\frac{p}{q})}^{k} \cdot \sum_{x = k}^{\infty} (\binom{x - 1}{k - 1}) {(e^{t} q)}^{x} \end{aligned}

위의 식에서 $y = x - k$ 를 대입하자.

\begin{aligned} {(\frac{p}{q})}^{k} \cdot \sum_{x = k}^{\infty} (\binom{x - 1}{k - 1}) {(e^{t} q)}^{x} & = {(\frac{p}{q})}^{k} \cdot \sum_{y = 0}^{\infty} (\binom{y + k - 1}{k - 1}) {(e^{t} q)}^{y + k} \\ = {(\frac{p}{q})}^{k} \cdot {(e^{t} q)}^{k} \sum_{y = 0}^{\infty} (\binom{y + k - 1}{k - 1}) {(e^{t} q)}^{y} \\ = (p \cdot e^{t})^{k} \cdot \sum_{y = 0}^{\infty} (\binom{y + k - 1}{k - 1}) {(e^{t} q)}^{y} \end{aligned}

이때, $(\binom{y + k - 1}{k - 1})$ 에 대해 아래의 식이 성립한다.

(\binom{y + k - 1}{k - 1}) = {(- 1)}^{y} \cdot (\binom{- k}{y})

위의 식을 대입하면,

\begin{aligned} (p \cdot e^{t})^{k} \cdot \sum_{y = 0}^{\infty} (\binom{y + k - 1}{k - 1}) {(e^{t} q)}^{y} & = (p \cdot e^{t})^{k} \cdot \sum_{y = 0}^{\infty} {(- 1)}^{y} \cdot (\binom{- k}{y}) {(e^{t} q)}^{y} \\ = (p \cdot e^{t})^{k} \cdot {(1 - q \cdot e^{t})}^{- k} \\ = {(\frac{p \cdot e^{t}}{1 - q \cdot e^{t}})}^{k} for 1 - q \cdot e^{t} > 0 \end{aligned}

만약 $k = 1$ 이라면, RV $X$ 가 Geometric Distribution을 따르게 되므로, Geo의 MGF는 아래와 같다는 사실을 알 수 있다.

M_{X} (t) = \frac{p \cdot e^{t}}{1 - q \cdot e^{t}} for 1 - q \cdot e^{t} > 0

GammaPermalink

Let $X \sim Gamma (α, β)$ , find its MGF.

우리는 논의의 편의를 위해 $Y \sim Gamma (α, 1)$ 를 먼저 살펴볼 것이다. ( $Y$ 에 대해 $β Y = X$ 이기 때문!)

\begin{aligned} M_{Y} (t) & = E [e^{t Y}] \\ = \int_{0}^{\infty} e^{t x} \cdot \frac{1}{Γ (α)} \cdot x^{α - 1} e^{- x} d x \\ = \frac{1}{Γ (α)} \cdot \int_{0}^{\infty} x^{α - 1} \cdot e^{- (1 - t) x} d x \end{aligned}

이때, 위의 식에서 $β = \frac{1}{1 - t}$ 로 두면, 유도 과정 중에 감마 분포에 대한 적분이 있기 때문에 손쉽게 과정을 진행할 수 있다.

\begin{aligned} \frac{1}{Γ (α)} \cdot \int_{0}^{\infty} x^{α - 1} \cdot e^{- (1 - t) x} d x & = \frac{1}{Γ (α)} \cdot \int_{0}^{\infty} x^{α - 1} \cdot e^{- \frac{x}{1 / (1 - t)}} d x \\ = \frac{1}{(1 - t)^{α}} \cdot {\int_{0}^{\infty} \frac{1}{Γ (α) \cdot \frac{1}{(1 - t)^{α}}} \cdot x^{α - 1} \cdot e^{- \frac{x}{1 / (1 - t)}} d x}^{1} \\ = \frac{1}{(1 - t)^{α}} for t < 1 \end{aligned}

이제, $X = β Y$ 의 관계식을 이용해 $X$ 의 MGF를 구하면

\begin{array}{r} M_{X} (t) = E [e^{t X}] = E [e^{t β Y}] = \frac{1}{(1 - β t)^{α}} for β t < 1 (= t < λ) \end{array}

이제 위의 식을 이용해 Exponential Distribution의 MGF도 구할 수 있는데,

M_{X} (t) = \frac{1}{1 - β t} for β t < 1 (= t < λ)

NormalPermalink

Let $Z \sim N (0, 1)$ , then find its MGF.

\begin{aligned} M_{Z} (t) & = E [e^{t Z}] \\ = \int_{- \infty}^{\infty} e^{t x} \cdot \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}} d x \\ = \int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} \cdot e^{t x} \cdot e^{- \frac{(x - t)^{2} + 2 x t - t^{2}}{2}} d x \\ = \int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} \cdot e^{- \frac{(x - t)^{2}}{2}} \cdot e^{t x} \cdot e^{- \frac{2 x t - t^{2}}{2}} d x \\ = e^{t^{2} / 2} \cdot {\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} \cdot e^{- \frac{(x - t)^{2}}{2}} d x}^{1} \\ = e^{t^{2} / 2} \end{aligned}

이제 $X \sim N (μ, σ^{2})$ 으로 일반화하면, $X = σ Z + μ$ 이므로

\begin{aligned} M_{X} (t) & = E [e^{t X}] = E [e^{σ t z + μ t}] \\ = e^{μ t} \cdot E [e^{σ t z}] \\ = e^{μ t} \cdot e^{σ^{2} t^{2} / 2} \\ = \exp (μ t + \frac{σ^{2} t^{2}}{2}) \end{aligned}

LinearityPermalink

If $X$ has the mgf $M_{X} (t)$ , then $Y = a X + b$ has the mgf

M_{Y} (t) = e^{b t} \cdot M_{X} (a t)

Uniqueness Theorem for MGFPermalink

mgf는 미분만 하면 momentum을 쉽게 구할 수 있다는 장점도 있지만, <Uniqueness Theorem>이라는 아래의 정리에 의해 두 RV이 동일한 분포를 가지는 것을 보장하는 조건이 되기도 한다.

Theorem. Uniqueness Theorem

If $M_{X} (t) = M_{Y} (t)$ for all $t \in (- δ, δ)$ for some $δ > 0$ ,

then $X$ and $Y$ have the same distribution.

따라서, 두 RV이 동일한 분포를 가지는지 확인하려면, 두 RV의 mgf를 확인해보면 된다!

Example.

Q. Let $X$ be a random variable with $M_{X} (t) = \frac{1}{1 - 2 t}$ for $t < \frac{1}{2}$ . What is the distribution of $X$ ?

A. $X \sim Exp (λ = 2)$

Example.

Q. How about $M_{X} (t) = \frac{1}{2} e^{t} + \frac{1}{2} e^{- t}$ for $t \in R$ ?

\begin{aligned} M_{X} (t) & = E [e^{t X}] \\ = \sum e^{t X} \cdot f (x) \\ = \sum_{x} e^{t X} \cdot P (X = x) \\ = e^{1 \cdot x} \cdot P (X = 1) + e^{- 1 \cdot x} \cdot P (X = - 1) \\ = e^{x} \cdot \frac{1}{2} + e^{- x} \cdot \frac{1}{2} \end{aligned}

이때, 아래와 같은 분포를 가지는 RV $Y$ 가 있다고 가정하자.

f (y) := {\begin{cases} 1 / 2 & if x \pm 1 \\ 0 & else \end{cases}

이때, $Y$ 의 mgf는 $M_{Y} (t) = \frac{1}{2} e^{t} + \frac{1}{2} e^{- t}$ 이다.

위에서 언급한 <Uniqueness Theorem for MGF>에 의해 $X$ 와 $Y$ 는 동일한 분포를 가진다. $◼$

스포를 조금 하자면, <Uniqueness Theorem of MGF>는 나중에 <Central Limit Theorem>을 증명할 때, 중요하게 사용된다.

👉 Proof of CLT

MGF with IndependencePermalink

If $X ⊥ Y$ , then

M_{X + Y} (t) = M_{X} (t) \cdot M_{Y} (t)

In general, if $X_{1}, X_{2}, \dots, X_{n}$ are independent,, then

M_{X_{1} + \dots + X_{n}} (t) = M_{X_{1}} (t) + \dots + M_{X_{n}} (t) = \sum_{i = 1}^{n} M_{X_{i}} (t)

Example. Tow Independent BIN

Let $X \sim BIN (n, p)$ and $Y \sim BIN (m, p)$ , and $X ⊥ Y$ .

Then,

X + Y \sim BIN (n + m, p)

\begin{aligned} M_{X + Y} (t) & = M_{X} (t) \cdot M_{Y} (t) (X ⊥ Y) \\ = (p e^{t} + q)^{n} \cdot (p e^{t} + q)^{m} \\ = (p e^{t} + q)^{n + m} \end{aligned}

위의 mgf는 곧 $BIN (n + m, p)$ 의 mgf와 동일하다. $◼$

Example. Two Independent Poi

Let $X \sim Poi (λ)$ and $Y \sim Poi (μ)$ , and $X ⊥ Y$ .

Then,

X + Y \sim Poi (λ + μ)

\begin{aligned} M_{X + Y} (t) & = M_{X} (t) \cdot M_{Y} (t) (X ⊥ Y) \\ = \exp (λ (e^{t} - 1)) \cdot \exp (μ (e^{t} - 1)) \\ = \exp ((λ + μ) (e^{t} - 1)) \end{aligned}

위의 mgf는 곧 $Poi (λ + μ)$ 의 mgf와 동일하다. $◼$

Example. Two Independent NegBIN

Let $X \sim NegBIN (r_{1}, p)$ and $Y \sim NegBIN (r_{2}, p)$ , and $X ⊥ Y$ .

Then,

X + Y \sim NegBIN (r_{1} + r_{2}, p)

Example. Two Independent Normal

Let $X \sim N (μ_{1}, σ_{1}^{2})$ and $Y \sim N (μ_{2}, σ_{2}^{2})$ , and $X ⊥ Y$ .

Then,

X + Y \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

\begin{aligned} M_{X + Y} (t) & = M_{X} (t) \cdot M_{Y} (t) (X ⊥ Y) \\ = \exp (μ_{1} t + \frac{σ_{1}^{2} t^{2}}{2}) \cdot \exp (μ_{2} t + \frac{σ_{2}^{2} t^{2}}{2}) \\ = \exp ((μ_{1} + μ_{2}) t + \frac{(σ^{2} + σ_{2}^{2}) t^{2}}{2}) \end{aligned}

위의 mgf는 곧 $N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})$ 의 mgf와 동일하다. $◼$

Example. Two Independent Gamma

Let $X \sim Gamma (α_{1}, β)$ and $Y \sim Gamma (α_{2}, β)$ , and $X ⊥ Y$ .

Then,

X + Y \sim Gamma (α_{1} + α_{2}, β)

위의 사실을 이용하면, $Exp$ 와 $χ^{2}$ 에 대해서도 two independent 경우를 논할 수 있다!

1. If $X \sim Exp (β)$ , $Y \sim Exp (β)$ and $X ⊥ Y$ . Then,

X + Y \sim Gamma (2, β)

※ $Exp (β) = Gamma (1, β)$

2. If $X \sim χ^{2} (n)$ , $Y \sim χ^{2} (m)$ and $X ⊥ Y$ . Then,

X + Y \sim χ^{2} (n + m)

※ $χ^{2} (n) = Gamma (n / 2, 2)$

Example.

Let $X \sim Exp (λ)$ , $Y \sim Exp (μ)$ and $X ⊥ Y$ .

Then,

Z = min (X, Y) \sim Exp (λ + μ)

여기까지가 정규수업의 중간고사 시험 범위이다. 개인적으로 논리를 전개하는 부분은 식을 잘 정리하고, 문제를 잘 모델링하는 부분을 충분히 연습하면 될 것 같다. 다만, 각 분포의 정의와 형태가 조금씩 헷갈려서 시험 전에 모든 분포를 빠짐없이 다 기술할 수 있는지 백지(白紙)에 체크해보면 좋을 것 같다.

Seokyun Ha (aka. bluehorn07)

Momemtum Generating Function

Moment Generating FunctionPermalink

ExamplesPermalink

BinomialPermalink

PoissonPermalink

Negative BinomialPermalink

GammaPermalink

NormalPermalink

LinearityPermalink

Uniqueness Theorem for MGFPermalink

MGF with IndependencePermalink

You may also enjoy

Why Replace Zookeeper with KRaft

Filesystem Hierarchy Standard

apt install & apt upgrade

ME: Exercise Problems