적률생성함수 (mgf)

 

 

MGF란?

확률변수 $X$가 있을 때 $e^{tX}$의 기대값 $E(e^{tX})$을 확률변수 $X$의 적률생성함수(mgf, moment generating function)이라 한다.

 

정확히 표현하면, 0을 포함하는 열린구간 $t$값에 대해 $E(e^{tX})$가 실수일 때, 함수

 

$$ M(t) = E(e^{tX}), \quad -h < t < h \; ( \exists h>0) $$

 

를 확률변수 $X$의 적률생성함수라고 한다.

---

MGF의 성질

$$ \begin{align*} M_{X}(t) = E(e^{tX}) &= E( \sum_{k = 0}^{\infty}{\frac{t^k X^k}{k!}}) \\ &= 1 + E(X) + \frac{E(X^2)}{2!} + \frac{E(X^3)}{3!} + \dotsm + \frac{E(X^k)}{k!} + \dotsm \end{align*} $$

 

이므로 이로부터 $X$의 $k$차 적률 $E(X^k)$를 쉽게 계산할 수 있다. 이를테면 1차 적률(기대값과 같다) $E(X)$는 mgf의 1차 계수, 혹은 미분을 이용하여 다음과 같이 계산할 수 있다.

 

$$ M'(t) = E(X) + E(X^2) + \dotsm $$

이므로

 

$$M'(0) = E(X) $$

이다.

 

이를 일반화하면

$$ M^{(k)}(0) = E(X^k) $$

임을 알 수 있다.

---

여러 이산형 확률변수의 mgf

 

• 베르누이 분포(Bernoulli distribution)

$X \sim Bernoulli(p) $일 때 $X$의 pmf(probability mass function)은

$$f_X(x) = p^x (1-p)^{1-x},\quad x =0, 1$$

이다.

 

$X$의 mgf $M_X{(t)}$를 계산하면

 

$$ \begin{align*} M_X{(t)} = E(e^{tX}) &= \sum_{x = 0}^{1}{e^{tx} p^x (1-p)^{1-x}} \\ &= pe^t + 1-p \\ &= pe^t + q, \quad \quad \text{where} \; q = 1-p \end{align*} $$

---

• 이항분포(Binomial distribution)

이항분포의 mgf를 계산하기 위해서는 먼저 다음 기대값의 성질을 증명한다.

 

확률변수 $X$와 $Y$가 서로 독립일 때 

$$ E(XY) = E(X)E(Y)$$

이다.

 

(증명)

 

두 확률변수 $X$, $Y$의 pdf를 각각 $f_X(x)$, $f_Y(y)$라 하고, 결합확률분포함수를 $f_{X,Y}(x,y)$ 라 하면, 두 확률변수 $X$, $Y$는 서로 독립이므로 $f_{X,Y}(x,y) = f_X(x)f_Y(y)$가 성립한다.

 

편의상 $X$, $Y$가 연속확률변수라 하면

 

$$ \begin{align*} E(XY) &= \int \int {xy f_{X,Y}(x,y) dxdy} \\ &= \int\int{xyf_X(x)f_Y(y) dxdy} \\ &= \int{xf_X(x)dx} \times \int{yf_Y(y)dy} \\ &= E(X)E(Y) \end{align*}$$

 

확률변수 $X \sim Bin(n,p)$일 때, $X = Z_1 + \dotsm + Z_n, Z_i \overset{iid}{\sim} Bernoulli(p)$ 이므로

 

$$\begin{align*} M_X{(t)} = E(e^{tX}) &= E(e^{t(Z_1 + \dotsm + Z_n)}) \\ &= E(e^{tZ_1})\dotsm E(e^{tZ_n}) \\ &= (pe^t + q)^n \end{align*} $$

---

• 기하분포(Geometric distribution)

 성공확률이 $p$인 시행을 반복하여 처음으로 성공했을 때의 시행횟수를 $X$라 했을 때, X의 분포를 기하분포라 하며 $X \sim Geo(p)$로 표기한다.

 

정의상 $X$의 pdf는 $f_X(x) = (1-p)^{x-1}p, \quad x = 1, 2, \dotsm$ 이다.

 

$$\begin{align*} M_X{(t)} = E(e^{tX}) &= \sum_{x = 1}^{\infty}{e^{tx} (1-p)^{x-1}p} \\ &= \sum_{x= 1}^{\infty}{[e^t(1-p)]^x \frac{p}{1-p}}\\ &= \frac{p}{1-p} \frac{e^t (1-p)}{1-(1-p)e^t} \\ &= [1-qe^t]^{-1} pe^t \end{align*} $$

---

 

여러 연속형 확률변수의 mgf

 

• 정규분포(Normal distribution)

$X \sim N(\mu, \sigma ^2)$의 적률생성함수를 계산할 때는 여러 테크닉을 사용할 수 있다. 그 중 하나인 적분식 안에서 pdf 꼴을 만들어 식을 간단히 하는 방법을 소개하도록 하겠다. 익숙해지면 매우 편한 방법이니 알아두도록 하자. (이외에도 치환적분 등의 테크닉이 있다.)

 

$$\begin{align*}  M_X{(t)} = E(e^{tX})  &= \int_{ -\infty }^{\infty}{ e^{tx}\frac{1}{\sqrt{2 \pi \sigma^2}} \exp{(-\frac{(x-\mu)^2}{2 \sigma^2}})dx} \\ &= \int_{ -\infty }^{\infty}{ \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{(- \frac{(x-\mu)^2}{2 \sigma^2} + \frac{2\sigma^2 tx}{2 \sigma^2} } )dx}  \\ &= \int_{ -\infty }^{\infty} { \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{( - \frac{[x-(\mu+\sigma^2 t)]^2 }{2 \sigma^2} + \frac{\mu^2 - 2 \sigma^2 t \mu - \sigma^4 t^2 - \mu^2}{2 \sigma^2} )dx} } \\ &= \exp{(\mu t + \sigma^2 t^2)}\int_{ -\infty }^{\infty}{ \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{ (-\frac{[x-(\mu + \sigma^2 t)]^2}{2 \sigma^2} ) }dx }\\ &= \exp{(\mu t + \sigma ^2 t^2) } \end{align*} $$ 

 

위 식에서 

$$ \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{ (-\frac{[x-(\mu + \sigma^2 t)]^2}{2 \sigma^2} )} $$

가 확률변수 $N(\mu + \sigma^2 t, \sigma^2)$의 pdf이므로,

$$ \int_{ -\infty }^{\infty}{ \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{ (-\frac{[x-(\mu + \sigma^2 t)]^2}{2 \sigma^2} ) dx} } = 1$$

임을 이용하였다. 참고로 모든 확률변수의 pdf(혹은 pmf)에 대해 $\displaystyle \int_{-\infty}^{\infty}{f_X(x) dx} = 1$ 이다.

---

• 지수분포(Exponential distribution)

여기서는 $X \sim Exp(\lambda) $의 pdf가 $\displaystyle f_X(x) = \frac{1}{\lambda} e^{-\frac{x}{\lambda}} \mathrm{I}(x>0)$ 인 version을 사용한다. $\lambda$가 rate parameter인 경우에는 $\displaystyle \frac{1}{\lambda}$ 대신 그냥 $\lambda$가 수식에 들어간다.

 

$$\begin{align*} M_X{(t)} = E(e^{tX}) &= \int_{0}^{\infty}{ e^{tx} \frac{1}{\lambda} e^{-\frac{x}{\lambda}} dx} \\ &=  \int_{0}^{\infty}{ \frac{1}{\lambda} e^{ -( \frac{1}{\lambda} - t) x } dx} \\ &= \int_{0}^{\infty}{\frac{1}{\lambda} e^{- \frac{1-\lambda t}{\lambda} x} dx} \\ &= \int_{0}^{\infty}{\frac{1-\lambda t}{\lambda} e^{-\frac{1-\lambda t}{\lambda} x} \frac{1}{1-\lambda t} dx} \\ &= \frac{1}{1-\lambda t}\end{align*}$$

 

여기서도 정규분포에서 mgf를 구하는 방식과 같이 $\displaystyle \frac{1-\lambda t}{\lambda} e^{ - \frac{1-\lambda t}{ \lambda } x}$ 가 지수분포 $\displaystyle Exp(\frac{\lambda}{1-\lambda t})$의 pdf임을 이용하였다.

---

• 감마분포(Gamma distribution)

여기서는 $X \sim Gamma(\alpha, \beta)$의 pdf 가 $\displaystyle f_X(x) = \frac{1}{\Gamma(\alpha) \beta^\alpha} x^{\alpha-1}e^{-\frac{x}{\beta}} \mathrm{I}(x>0) $ 인 경우를 사용한다. $\Gamma(x)$는 Gamma function을 의미하며, Gamma함수의 parameter $\beta$는 scale parameter이다. rate parameter 인 경우에는 $\frac{1}{\beta}$ 대신 $\beta$를 대입하면 된다.

 

$$\begin{align*} M_X{(t)} = E(e^{tX}) &= \int_{0}^{\infty}{ \frac{e^{tx}}{\Gamma(\alpha) \beta^\alpha} x^{\alpha-1}e^{-\frac{x}{\beta}} dx} \\ &= \int_{0}^{\infty}{ \frac{1}{\Gamma(\alpha)\beta^\alpha} x^{\alpha-1}  e^{-\frac{1-\beta t}{\beta} x} dx}  \\ &= \int_{0}^{\infty}{  \frac{1}{\Gamma(\alpha)} (\frac{1-\beta t}{\beta})^\alpha \frac{1}{(1-\beta t)^\alpha} x^{\alpha-1} e^{-\frac{1-\beta t}{\beta} x}dx } \\ &= (1-\beta t)^{-\alpha} \int_{0}^{\infty}{  \frac{1}{\Gamma(\alpha)} (\frac{1-\beta t}{\beta})^\alpha x^{\alpha-1} e^{-\frac{1-\beta t}{\beta} x}dx }  \\ &= (1-\beta t)^{-\alpha} \end{align*}$$

 

마찬가지로 $\displaystyle \frac{1}{\Gamma(\alpha)} (\frac{1-\beta t}{\beta})^\alpha x^{\alpha-1} e^{-\frac{1-\beta t}{\beta} x}$가 $Gamma(\alpha, \frac{\beta}{1-\beta t})$의 pdf임을 이용하였다.

 

 

---

 

마치며

 

위에서 여러 이산형, 연속형 확률변수들의 mgf를 계산해보았다. 수리통계 등 시험을 준비중인 학생이라면 주요 분포들의 mgf를 암기하고 있는 것이 계산에 큰 도움이 될 수 있다. 특히 계산과정 중 사용한 적분 안의 식의 꼴을 pdf형태로 만드는 스킬은 수리통계에서 매우 자주 사용되며, 편리한 계산 방법 중 하나이니 반드시 익혀두기를 바란다.