Maximum Likelihood Estimation

“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲

May 17, 2021 4 minute read

“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲

IntroductionPermalink

<MLE; Maximum Likelihood Estimation>은 지금까지의 접근법과는 사뭇 다른 접근 방식이다. <MLE>는 statistical inference를 수행하는 많은 접근법 중 하나로, statistical approach에 새로운 철학과 시야를 제공한다 😁

Example.

확률 $p$ 를 정확히 알지 못하는 p-coin을 10번 던진다고 하자. 10번의 결과는 아래와 같다.

H H T H T T H H H T

앞에서 배운 <proportion estimation>의 방법으로 접근하면, $p$ 는 Point Estimator $\hat{p} = 6 / 10$ 으로 추정된다.

이번에는 <MLE>의 방식으로 접근해보자! 먼저 10의 동전 던지기가 위와 같이 나올 확률은 아래와 같다.

P (H, H, T, \dots, H, T) = p^{6} q^{4}

위의 식을 다시 쓰면, $L (p) = p^{6} (1 - p)^{4}$ 로, 동전의 확률이 $p$ 일 때 “H H … H T”의 결과를 얻을 확률을 의미한다.

이제, 이 함수 $L (p)$ 를 maximize 하는 $p$ 를 구해보자. 방법은 간단하다. 그냥 $p$ 에 대해 미분방정식을 풀면 된다. 이때, 계산의 편의를 위해 $\log$ 를 먼저 취해주자.

ℓ (p) = \log (L (p)) = 6 \log p + 4 \log (1 - p)

\frac{d ℓ (p)}{d p} = \frac{6}{p} - \frac{4}{1 - p} = 0 \to p = 6 / 10

즉, $p = 6 / 10$ 이 “H H … H T”라는 결과가 나올 확률을 Maximize하는 확률이라는 말이다!

이제 <MLE>를 수학적으로 정리해 다시 살펴보자!

MLE; Maximum Likelihood EstimationPermalink

Theorem. MLE for Bernoulli case

Let $X_{1}, \dots, X_{n}$ be a $Ber (p)$ Random Samples, with iid.

Then, the likelihood function $L (p; x_{1}, \dots, x_{n})$ would be

\begin{aligned} L (p; x_{1}, \dots, x_{n}) & = f (x_{1}; p) \dots f (x_{n}; p) \\ = p^{x_{1}} (1 - p)^{1 - x_{1}} \dots p^{x_{n}} (1 - p)^{1 - x_{n}} \\ = p^{\sum x_{i}} (1 - p)^{n - \sum x_{i}} \end{aligned}

Take log on it!

\begin{array}{r} ℓ (p) = \sum x_{i} \cdot \log p + (n - \sum x_{i}) \cdot \log (1 - p) \end{array}

Take derivative for $p$ !

\frac{d ℓ (p)}{d p} = \frac{\sum x_{i}}{p} - \frac{n - \sum x_{i}}{1 - p} = 0

when solve the equation, then

p = \frac{\sum x_{i}}{n} = \bar{x}

Theorem. MLE for Normal case

Let $X_{1}, \dots, X_{n}$ be a $N (μ, 1)$ Random Samples, with iid.

Find the MLE of $μ$ !

\begin{aligned} L (μ; x_{1}, \dots, x_{n}) & = f (x_{1}; μ) \dots f (x_{n}; μ) \\ = {(\frac{1}{\sqrt{2 π}})}^{n} \exp (- \sum (x_{i} - μ)^{2} / 2) \end{aligned}

Take log on it!

ℓ (μ; \dots) = n \cdot \log (\frac{1}{\sqrt{2 π}}) - \frac{\sum (x_{i} - μ)^{2}}{2}

Take derivative for $μ$ !

\frac{d ℓ}{d μ} = \sum (x_{i} - μ) = 0

when solve the equation, then

μ = \bar{x}

이제 다음 포스트부터 통계학의 꽃🌹이라고 할 수 있는 <가설 검정; Hypothesis Tests>에 대해 다룬다!! 😁 우리가 지금까지 수행한 “추정(Estimation)”을 활용해 의사결정을 내리는 것이 바로 <Hypothesis Test>다!

👉 Introduction to Hypothesis Tests

Seokyun Ha (aka. bluehorn07)

Maximum Likelihood Estimation

IntroductionPermalink

MLE; Maximum Likelihood EstimationPermalink

You may also enjoy

Hermite Interpolation

Interpolation for Uniformly Spaced Nodes, Runge Phenomenon

Interpolation Error

Newton’s Divided Differences