[Statistics] Moment Generating Function (MGF)

📘 Moment Generating Function (MGF)

1. Definition

확률변수 $X$에 대해 Moment Generating Function (MGF)은 다음과 같이 정의 됩니다.

$$ M_X(t) = \mathbb{E}\left[ e^{tX} \right], \quad \text{for all } t \in \mathcal{T} \subset \mathbb{R} $$

여기서 $t$는 실수이며, $M_X(t)$가 존재하는 구간 $\mathcal{T}$는 $M_X(t)$가 유한한 모든 실수의 집합입니다.

• $X$가 이산형인 경우: $M_X(t) = \sum_x e^{tx} \mathbb{P}(X = x)$
• $X$가 연속형인 경우: $M_X(t) = \int_{-\infty}^{\infty} e^{tx} f_X(x) dx$

---

2. Existence Condition

• MGF는 항상 존재하지는 않으며, 적어도 $t=0$근방에서 수렴하는 구간이 있어야 유의미합니다.
• $M_X(0) = \mathbb{E}[e^{0}] = 1$ (항상 성립)

---

3. Properties

(1) Moment

$X$의 $n$차 모멘트는 MGF의 도함수를 통해 다음과 같이 계산됩니다:

$$ \mathbb{E}[X^n] = M_X^{(n)}(0) = \left. \frac{d^n}{dt^n} M_X(t) \right|_{t=0} $$

(2) Same Distribution

만약 두 확률변수 $X, Y$에 대해 $M_X(t) = M_Y(t)$가 어떤 열린 구간 내 모든 $t$에서 성립한다면,

$X$와 $Y$는 동일한 분포를 가집니다. (Uniqueness Theorem)

(3) Independence & Product

독립한 확률변수 $X, Y$에 대해:

$$ M_{X+Y}(t) = M_X(t) \cdot M_Y(t) $$

이는 독립성 하에서만 성립합니다.

(4) Exponential Family Form

다음과 같은 Canonical Form의 Exponential family form을 고려해봅시다. 

$$f_{\eta}(x) = h(x)\exp\bigg(\eta^\top T(x) - A(\eta) \bigg)$$

$X$가 위와 같은 형태의 density를 갖는다면, $T(x)$의 mgf가 존재하며 다음과 같이 주어집니다.

$$M_{T(x)}(t) = \mathbb{E}[e^{t^\top}T(x)] = \exp{\bigg(A(\eta + t) - A(\eta)\bigg)}$$

 

Proof.

\begin{align*}
M_{T(x)}(t) 
&= \mathbb{E}_\eta\left[ e^{t^\top T(x)} \right] \\
&= \int h(x)\exp\left( \eta^\top T(x) - A(\eta) \right) \cdot e^{t^\top T(x)} dx \\
&= \int h(x) \exp\left( (\eta + t)^\top T(x) - A(\eta) \right) dx \\
&= \exp(-A(\eta)) \int h(x)\exp\left( (\eta + t)^\top T(x) \right) dx \\
&= \exp(-A(\eta)) \cdot \exp(A(\eta + t)) \\
&= \exp(A(\eta + t) - A(\eta))
\end{align*}

 

 

4. Examples

mgf의 정의를 이용하여 여러 분포들의 mgf와 모멘트를 구해보겠습니다.

🎲 $X \sim \text{Bernoulli}(p)$  

\[
\begin{aligned}
M_X(t) 
&= \mathbb{E}[e^{tX}] \\
&= e^{t \cdot 0} \cdot \mathbb{P}(X = 0) + e^{t \cdot 1} \cdot \mathbb{P}(X = 1) \\
&= (1 - p) + p e^t
\end{aligned}
\]

We know that for \( X \sim \text{Bernoulli}(p) \), the expected value is:

\[
\mathbb{E}[X] = p
\]

Let us verify this using the MGF:

\[
M_X(t) = (1 - p) + p e^t
\]

Then, the first derivative of \( M_X(t) \) is:

\[
M_X'(t) = \frac{d}{dt} \left[(1 - p) + p e^t\right] = p e^t
\]

Evaluating at \( t = 0 \):

\[
M_X'(0) = p e^0 = p = \mathbb{E}[X]
\]

---

🎲 $X \sim \text{Poisson}(\lambda)$  

\[
\begin{aligned}
M_X(t) 
&= \mathbb{E}[e^{tX}] \\
&= \sum_{x=0}^\infty e^{tx} \cdot \frac{\lambda^x e^{-\lambda}}{x!} \\
&= e^{-\lambda} \sum_{x=0}^{\infty} \frac{(\lambda e^t)^x}{x!} \\
&= e^{-\lambda} \cdot \exp(\lambda e^t) \\
&= \exp\left( \lambda(e^t - 1) \right)
\end{aligned}
\]

We know that for \( X \sim \text{Poisson}(\lambda) \), the expected value is:

\[
\mathbb{E}[X] = \lambda
\]

From the MGF:

\[
M_X(t) = \exp\left( \lambda(e^t - 1) \right)
\]

Differentiate:

\[
M_X'(t) = \lambda e^t \cdot \exp\left( \lambda(e^t - 1) \right)
\]

Then evaluate at \( t = 0 \):

\[
M_X'(0) = \lambda \cdot 1 \cdot \exp(0) = \lambda = \mathbb{E}[X]
\]

---

🎲 $X \sim \mathcal{N}(\mu, \sigma^2)$  
\[
\begin{aligned}
M_X(t) 
&= \mathbb{E}[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} \cdot \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right) dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( tx - \frac{(x - \mu)^2}{2\sigma^2} \right) dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{1}{2\sigma^2} \left[(x - \mu - \sigma^2 t)^2 - \sigma^4 t^2 \right] \right) dx \\
&= \exp\left( \mu t + \frac{1}{2} \sigma^2 t^2 \right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - \mu - \sigma^2 t)^2}{2\sigma^2} \right) dx \\
&= \exp\left( \mu t + \frac{1}{2} \sigma^2 t^2 \right)
\end{aligned}
\]

We know that \( X \sim \mathcal{N}(\mu, \sigma^2) \) has:

\[
\mathbb{E}[X] = \mu
\]

The MGF is:

\[
M_X(t) = \exp\left( \mu t + \frac{1}{2} \sigma^2 t^2 \right)
\]

Differentiate:

\[
M_X'(t) = \left( \mu + \sigma^2 t \right) \cdot \exp\left( \mu t + \frac{1}{2} \sigma^2 t^2 \right)
\]

At \( t = 0 \):

\[
M_X'(0) = \mu \cdot \exp(0) = \mu = \mathbb{E}[X]
\]

이 MGF의 형태는 나중에 정규분포의 안정성, 대수법칙, 중심극한정리(CLT)에서도 매우 중요하게 쓰입니다.

---

5. Applications

📌 모멘트 계산 및 특성 추정

MGF는 모든 차수의 모멘트를 도함수로 얻을 수 있기 때문에, 분포의 성질(평균, 분산, 왜도, 첨도 등)을 계산하는 데 유용합니다.

📌 확률분포의 비교 및 식별

서로 다른 확률변수들의 MGF를 비교하면 분포의 동일성 여부를 판별할 수 있습니다.

📌 합성 분포의 분석

독립한 확률변수의 합의 분포를 계산할 때, MGF의 곱을 통해 새로운 분포의 MGF를 얻고,

역변환을 통해 밀도함수를 유도하는 데 사용할 수 있습니다.

---

6. MGF vs. Characteristic Function (CF)

항목 Moment Generating Function (MGF) Characteristic Function (CF)

정의	$M_X(t) = \mathbb{E}[e^{tX}]$	$\varphi_X(t) = \mathbb{E}[e^{itX}]$
항상 존재?	아니오	예 (모든 확률변수에 대해 존재)
모멘트 계산	가능	가능하지만 복소수 다룸
수렴 구간	보통 $t$에 대해 국소적	전체 실수선에서 항상 수렴
고급 이론	덜 일반적 (하지만 실용적)	CLT, Fourier 분석 등에 더 일반적

 

MGF는 라플라스 변환과, CF는 푸리에 변환과 연관성을 갖고 있습니다.

관심있으신 분들은 추가로 공부해보셔도 좋을 것 같습니다.

---