F-distribution

“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲

May 4, 2021 5 minute read

“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲

시리즈: Sampling Distributions

Definition. F-distribution

If $V_{1} \sim χ^{2} (n_{1})$ and $V_{2} \sim χ^{2} (n_{2})$ are independent,

then $F := \frac{V_{1} / n_{1}}{V_{2} / n_{2}}$ is called <Snedecor’s F-distribution>¹ with degrees of freedom $n_{1}$ and $n_{2}$ , and denoted as

F \sim F (n_{1}, n_{2})

ps) 일반적으로, $F (n_{1}, n_{2}) \neq F (n_{2}, n_{1})$ 이다. F-distribution은 non-symmetric이라는 말.

Image from Wikipedia

Remark.

1. The order of $n_{1}$ and $n_{2}$ is very important.

In fact we have $F (n_{1}, n_{2}) \overset{D}{=} \frac{1}{F (n_{2}, n_{1})}$ .

2. Let $f_{α} (n_{1}, n_{2})$ be the number $x$ such that $α = P (F (n_{1}, n_{2}) \geq x)$ .

Here, we have $f_{1 - α} (n_{1}, n_{2}) = \frac{1}{f_{α} (n_{2}, n_{1})}$

Quick Proof.

\begin{aligned} 1 - α & = P (F (n_{1}, n_{2}) \geq f_{1 - α} (n_{1}, n_{2})) \\ = P (\frac{1}{f_{1 - α} (n_{1}, n_{2})} \geq \frac{1}{F (n_{1}, n_{2})}) \\ = P (\frac{1}{f_{1 - α} (n_{1}, n_{2})} \geq F (n_{2}, n_{1})) \\ = 1 - P (F (n_{2}, n_{1}) > \frac{1}{f_{1 - α} (n_{1}, n_{2})}) \end{aligned}

따라서,

\begin{aligned} α & = P (F (n_{2}, n_{1}) > \frac{1}{f_{1 - α} (n_{1}, n_{2})}) \\ = P (F (n_{2}, n_{1}) > f_{α} (n_{2}, n_{1})) \end{aligned}

따라서,

f_{α} (n_{1}, n_{2}) = \frac{1}{f_{1 - α} (n_{2}, n_{1})}

$◼$

Theorem.

Supp. we have two independent random samples $X_{1}, \dots, X_{n_{1}}$ from $N (μ_{1}, σ_{1}^{2})$ and $Y_{1}, \dots, Y_{n_{2}}$ from $N (μ_{2}, σ_{2}^{2})$ .

Let $S_{1}^{2} = \frac{\sum_{i = 1}^{n_{1}} (X_{i} - \bar{X})^{2}}{n_{1} - 1}$ and $S_{2}^{2} = \frac{\sum_{i = 1}^{n_{2}} (Y_{i} - \bar{Y})^{2}}{n_{2} - 1}$ .

Note that $(n_{1} - 1) S_{1}^{2} / σ_{1}^{2} \sim χ^{2} (n_{1} - 1)$ and $(n_{2} - 1) S_{2}^{2} / σ_{2}^{2} \sim χ^{2} (n_{2} - 1)$ .

Then,

F := \frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \sim F (n_{1} - 1, n_{2} - 1)

Proof.

F := \frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} = \frac{\frac{(n_{1} - 1) S_{1}^{2}}{σ_{1}^{2}} / (n_{1} - 1)}{\frac{(n_{2} - 1) S_{2}^{2}}{σ_{2}^{2}} / (n_{2} - 1)}

이때, $\frac{(n_{1} - 1) S_{1}^{2}}{σ_{1}^{2}} \sim χ^{2} (n_{1} - 1)$ 이므로 <F-distribution>의 정의에 따라

F := \frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} = \frac{V_{1} / (n_{1} - 1)}{V_{2} / (n_{2} - 1)} \sim F (n_{1} - 1, n_{2} - 1)

ExamplesPermalink

$n_{1} = 21$ , $n_{2} = 31$

Claim: $σ_{1}^{2} / σ_{2}^{2} = 2$ but, for sample variances, $S_{1}^{2} / S_{2}^{2} = 4 > 2$ .

\begin{aligned} P (S_{1}^{2} / S_{2}^{2} \geq 4 when σ_{1}^{2} / σ_{2}^{2} = 2) \\ = P (\frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \geq 4 \cdot \frac{1}{2} = 2) \\ = P (F (20, 30) \geq 2) \end{aligned}

Here, $f_{0.05} (20, 30) = 1.93$ and $f_{0.01} (20, 30) = 2.55$ .

The the value of $2$ is btw $1.93$ and $2.55$ .

Therefore,

P (F (20, 30) \geq 2) \in [0.01, 0.05]

이것의 의미는 sample variance의 비율이 4가 되는 확률은 지극히 낮다는 것이다. 그런데 이것이 실제로 관측되었으므로, 우리의 가정인 $H_{0} : σ_{1}^{2} / σ_{2}^{2} = 2$ 를 기각하고, 둘의 population variance의 비율이 더 커져야 한다는 대립 가설 $H_{1} : σ_{1}^{2} / σ_{2}^{2} > 2$ 를 채택해야 한다. $◼$

지금까지 우리는 population distribution의 parameter인 “평균”과 “분산”에 대해 추정했다. 이어지는 포스트에서는 sample로부터 얻는 분포인 <EDF; Empirical Distribution Function>으로부터 population distribution을 추정해본다. 이 과정에서 쓰는 것이 바로 <Quantile; 분위수>이다!

👉 EDF and Quantile

“[세네데커] F-분포”라고 읽는 것 같다. ↩

Seokyun Ha (aka. bluehorn07)

F-distribution

ExamplesPermalink

You may also enjoy

Introduction: Numerical Differentiation

Interpolation Differentiation

Bundle Preference: Differentiability

Bundle Preference: Convexity