Random Process
โMachine Learningโ์ ๊ณต๋ถํ๋ฉด์ ๊ฐ์ธ์ ์ธ ์ฉ๋๋ก ์ ๋ฆฌํ ํฌ์คํธ์ ๋๋ค. ์ง์ ์ ์ธ์ ๋ ํ์์ ๋๋ค :)
์ด๋ฒ ํฌ์คํธ๋ โํ๋ฅ ๋ก (Probability Theory)โ๊ณผ โMachine Learningโ์์ ๋ฑ์ฅํ๋ โProcessโ ๊ฐ ๋ถ์ ๋ชจ๋ ๊ฐ๋ ์ ๋์ ์์ผ๋ก ์ดํด๋ณด๊ธฐ ์ํด ์์ฑํ ํฌ์คํธ์ ๋๋ค. ๋ค๋ฃจ๋ ์ฃผ์ ๋ ์๋์ ๊ฐ์ต๋๋ค.
Introduction to Random Process
Definition. Random Process
A random process is a time-varying function, that assigns the outcome of a random experiment to each time instant.
๋์ถฉ, (time instant)์ random experiment์ ๊ฒฐ๊ณผ(outcome)์ ๋งคํํ๋ค๋ ๋ป์ด๋ค.
๋๋ ์๋์ ๊ฐ์ด ์ ์ํ๊ธฐ๋ ํ๋๋ฐ,
A (infinite) sequence of random variables $X_1, X_2, \dots, X_n, \dots$
์ฆ, RV์ infinite sequence๋ฅผ <random process>๋ผ๊ณ ํ๋ค. ์ฒซ๋ฒ์งธ ์ ์๋ณด๋ค๋ ๋๋ฒ์งธ ์ ์๊ฐ ์ข๋ ์๋ฟ๋ ํธ์ด๋ค. ๐
<random process>๋ฅผ ์ ์ํ ๋, RV $X_i$๊ฐ ๋ฑ์ฅํ์ผ๋ ์์ฐ์ค๋ฝ๊ฒ ์๋์ ์ฑ์ง๋ค์ ๊ฐ์ง ๊ฒ์ด๋ค.
- $E[X_i]$: mean of RV
- $\text{Var}(X_i)$: variance of RV
- $p_{X_i} (x_i)$: marginal probability distribution of RV
์ฐ๋ฆฌ๋ <random process> ์์ฒด์ ๋ถํฌ๋ฅผ ์๊ฐํด๋ณผ ์๋ ์๋๋ฐ, ์ด๊ฒ์ ์๋์ ๊ฐ์ joint probability distribution์ด ๋๋ค.
\[p_{X_1, \dots, X_n, \dots} (x_1, \dots, x_n, \dots)\]๋, ์ฐ๋ฆฌ๋ <random process>์ Sample Space $\Omega$์ ๋ํด ์๊ฐํด๋ณผ ์ ์๋ค.
<random process> ์ค ํ๋์ธ <Bernoulli Process>์ ๊ฒฝ์ฐ, Sample Sapce๋ 0-1์ infinite sequence๊ฐ ๋๋ค.
Property. Sample Space of Bernoulli Process
Some Properties of Random Process
<Random Process>๋ ๋ช๊ฐ์ง ํน์ง์ ๊ฐ์ง ์ ์์ต๋๋ค๋ง, ์ด๊ฒ์ ํ์์ ์ธ ๊ฒ์ ์๋๋ฉฐ, ๋ช๋ช <random process>์ ๊ณตํต์ ์ผ๋ก ๋ณด์ด๋ ํน์ง์ด๊ฑฐ๋ ๊ฐ์ ์ ๋๋ค.
1. Independence btw trials
๊ฐ๋ณ trials์ ์๋ก ๋ ๋ฆฝ์ ์ผ๋ก ์ด๋ฃจ์ด์ง๋ค. ์ฆ, ์ํฅ์ ์ฃผ์ง ์๋๋ค.
- Bernoulli Process, Poisson Process, โฆ
2. Memoeryless Property
\[P(X = x + k \mid x > k) = P(X = x)\]- Bernoulli Process, Poisson Process, โฆ
- Markov Process
Bernoulli Process
<Bernoulli Process>๋ ๋งค ์๊ฐ ๊ฐ๊ฒฉ ๋ง๋ค ๋ฒ ๋ฅด๋์ด ์ํ์ ์ํํ๋ ์คํ ์ ๋๋ค.
๐ Bernoulli Process
Poisson Process
<Poisson Process>๋ <Bernoulli Process>์์ ๊ทนํ์ ์ทจํด time interval์ ๊ฐ๊ฒฉ์ ์์ฃผ์์ฃผ ์ค์ฌ์ continuous domain ์์์ ์ ์ํ Random Process์ด๋ค. BP๊ฐ $\mathbb{N}$ ์์์ ์ ์๋์๋ค๋ฉด, PP๋ $\mathbb{R^{+}}$ ์์์ ์ ์๋๋ Random Process์ธ ์ !
PP์ ๋ํ ๋ด์ฉ์ ์๋ ํฌ์คํธ์ ๋ด์ฉ์ผ๋ก ๋์ฒดํ๋ค ๐
๐ Poisson Process
Gaussian Process
A sequence of Gaussian distribution์ผ๋ก, multi-variate Gaussian distribution์ ์ผ๋ฐํ๋ ๋ฒ์ ์ด๋ค. โdistribution over functionsโ์ผ๋ก ์ทจ๊ธํ๋ค! ๐ช
๐ Distribution over functions & Gaussian Process
Markov Process
๐ Markov Process