Prediction on Regression

“확률과 통계(MATH230)” 수업에서 배운 것과 공부한 것을 정리한 포스트입니다. 전체 포스트는 Probability and Statistics에서 확인하실 수 있습니다 🎲

우리는 이전 포스트 “Test on Regression“에서 regression coefficient $B_1$, $B_0$의 분포를 확인했다. 이번 포스트에서는 이 결과를 종합해 우리가 regression 모델로부터 얻는 response의 분포를 추정해보는 과정을 진행한다.

개인적으로는 “$B_1$와 $B_0$이 estimated regression coefficient이기 때문에 모델로부터 얻는 response $y$ 역시 estimated response로 어느정도의 불확실성을 가지고 있다. 이를 $B_1$과 $B_0$의 불확실성을 모델링한 이들의 분포를 이용해 추정한다!”라고 이해했다.

우리는 mean response ${\mu }_{Y\mid x_0}$을 통해 모델이 뱉는 response의 불확실성을 추정할 것이며, 또 new data $X_0=x_0$에 대해 수행하는 prediction의 불확실성을 추정할 것이다.

Estimate on Mean ResponsePermalink

Supp. we have sample points $(x_1,y_1),\dots ,(x_n,y_n)$ from $Y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i$ where ${ϵ}_i$s are iid $N(0,{\sigma }^2)$. Here, ${\beta }_0$ and ${\beta }_1$ are unknown parameters.

Q. Given data $x=x_0$, what can be the mean response ${\mu }_{Y\mid x_0}$?

이때, $x_0$는 sample point에서 유래하거나 미리 설정한 값이 아니라, variable $Y_0$의 값 $y_0$를 predict하는 용도의 값이다.

그러나 우리는 ${\beta }_0$, ${\beta }_1$의 값을 모르기 때문에 샘플로부터 적당한 point estimator ${\hat{Y}}_0$를 정의할 것이다.

이제, ${\hat{Y}}_0$의 분포에 대해 살펴보자. 이때, $B_0$, $B_1$가 normal 분포이므로, ${\hat{Y}}_0$ 역시 normal 분포를 따른다.

따라서, ${\hat{Y}}_0$의 분포는 아래와 같다.

이때 error variance ${\sigma }^2$의 값을 모르므로, sample error variance $s^2$를 사용하면,

이에 위의 분포를 사용해, data $x_0$에 대한 mean response ${\mu }_{Y\mid x_0}$의 “confidence interval”을 구할 수 있다! 😆

Prediction IntervalPermalink

앞에서 구한 “mean response ${\mu }_{Y\mid x_0}$”는 우리에게 $x=x_0$라는 값이 주어졌을 때 모델의 불확실성을 추정하는 과정이었다. 이번에는 모델에 new data $X_0=x_0$가 주어졌을 때, 이에 대한 prediction의 불확실성을 추정하는 과정을 수행한다. 이것은 $X_0$의 response $Y_0$가 기존의 $Y_i$와 independent 하기 때문에 - 심지어 $x_0=x_i$ 일지라도 $Y_0\perp Y_i$이다 - 앞의 “mean response”와는 다르게 접근해야 한다!

$Y_0$는 $Y_0={\beta }_0+{\beta }_1{x}_0+{ϵ}_0$ where ${ϵ}_0\sim N(0,{\sigma }^2)$ and iid.

따라서, $Y_0$의 분포는 아래와 같다.

이때, $Y_0\perp Y_i$이고, 마찬가지로 $Y_0\perp {\hat{Y}}_0$이다.

이때, ${\hat{Y}}_0$에 대한 분포는 위에서 구한 적이 있다. 그대로 사용하면,

이때 $Y_0$는 ${\hat{Y}}_0$와 독립이므로 아래가 성립한다.

이때 error variance ${\sigma }^2$의 값을 모르므로, sample error variance $s^2$를 사용하면,

이때, 주목할 점은 일반적으로 “response interval”이 “prediction interval”보다 더 좁다는 것이다. 개인적으로 해석해보자면, “prediction interval”의 경우, 새롭게 추가되는 data $X_0$이 기존의 데이터와 독립이기 때문에 이런 차이가 발생하는 것 같다. 또, 애초에 “response interval”과 “prediction interval”은 추정의 대상 자체가 다르다! 😁

본인 말고도 두 개념이 헷갈리는 사람이 많은 것 같아. 구글에 검색해보니 둘을 비교하는 포스트가 꽤 있었다. 아래는 그 중에서 둘을 한 문장을 비교한 문구를 가져온 것이다.

이것으로 “확률과 통계(MATH230)”의 정규수업에서 다룬 모든 내용을 살펴봤다!! 😁