[확률과 통계 26] Sum of independent continuous RVs

01) 독립 연속 확률 변수 합의 PDF와 Convolution

00_서론

여러 개의 독립적인 continuous random variable을 더해 총합을 모델링하는 문제는 지연 시간 누적, 측정 오차 누적, 잡음 합성처럼 공학 전반에서 반복적으로 등장한다.
이때 각 변수의 PDF를 알고 있을 때 합으로 정의된 새로운 random variable의 PDF를 구하는 과정에서 Convolution이 자연스럽게 나타난다.

01_문제 설정

• $X,Y$는 continuous random variable이고 Joint PDF를 $f_{X,Y}(x,y)$라 둔다.
• 새로운 random variable을 $W=X+Y$로 정의한다.
• 목표는 $W$의 PDF $f_W(w)$를 구하는 것이다.

02_CDF 기반 유도

CDF 정의와 적분 영역

먼저 CDF 정의로부터 시작한다.

$$
F_W(w)=P(W\le w)=P(X+Y\le w)
$$

부등식 $x+y\le w$는 $(x,y)$ 평면에서 반평면 영역을 정의하므로, 확률은 해당 영역에서 Joint PDF를 적분한 값으로 표현된다.

$$
F_W(w)=\int_{-\infty}^{\infty}\int_{-\infty}^{w-y} f_{X,Y}(x,y)\,dx\,dy
$$

→ 내부 적분의 상한 $w-y$는 고정된 $y$에서 조건 $x\le w-y$를 만족하는 $x$ 범위를 의미하며, 이는 적분을 통해 조건을 만족하는 확률을 누적하는 과정이다.

CDF 미분을 통한 PDF 도출

이제 Independence를 가정하여 $f_{X,Y}(x,y)=f_X(x)f_Y(y)$로 분해한다.

$$
\begin{aligned}F_W(w)&= \int_{-\infty}^{\infty} \int_{-\infty}^{\,w-y}f_X(x)\, f_Y(y)\, dx\, dy \\[6pt]&= \int_{-\infty}^{\infty}f_Y(y)\left(\int_{-\infty}^{\,w-y} f_X(x)\, dx\right) dy \\[6pt]&= \int_{-\infty}^{\infty}F_X(w - y)\, f_Y(y)\, dy\end{aligned}
$$

이 식에서 $F_X(w-y)$는 $Y=y$로 고정했을 때 합이 $w$ 이하가 되도록 요구되는 조건 $X\le w-y$를 $X$의 CDF로 평가한 결과이며, 바깥 적분은 이러한 조건부 확률 값을 $Y$의 density $f_Y(y)$로 가중 평균하여 전체 확률 $P(X+Y\le w)$를 구성한다.

이제 $w$에 대해 미분하면 PDF가 된다.

$$
\begin{aligned}f_W(w)&= \frac{d}{dw}\int_{-\infty}^{\infty}F_X(w - y)\, f_Y(y)\, dy \\[6pt]&= \int_{-\infty}^{\infty}\frac{d}{dw} F_X(w - y)\, f_Y(y)\, dy \\[6pt]&= \int_{-\infty}^{\infty}f_X(w - y)\, f_Y(y)\, dy\end{aligned}
$$

여기서 $\frac{d}{dw}F_X(w-y)=f_X(w-y)$는 chain rule에 의해 얻어지며, $y$는 적분 변수이므로 $w$에 대한 미분은 $F_X$의 인자 $w-y$ 방향으로만 작용한다.

→ 최종 적분은 합이 $w$가 되도록 만드는 모든 분해 $w=(w-y)+y$에 대해 $X$가 $w-y$ 근처에 있을 density와 $Y$가 $y$ 근처에 있을 density를 곱한 값을 누적한 구조이며, 이는 Convolution 정의와 일치한다.

$$
\begin{aligned}f_X(w) * f_Y(w)\end{aligned}
$$

Independence 가정과 Convolution

Independence를 가정하면 $f_{X,Y}(x,y)=f_X(x)f_Y(y)$이므로 위 식은 다음으로 단순화된다.

$$
f_W(w)=\int_{-\infty}^{\infty} f_X(w-y)\,f_Y(y)\,dy
$$

Convolution 정의에 따라 다음 표기를 사용한다.

$$
(f_X*f_Y)(w)=\int_{-\infty}^{\infty} f_X(w-\tau)\,f_Y(\tau)\,d\tau
$$

따라서 Independence 하에서 $W=X+Y$의 PDF는 $f_W(w)=(f_X*f_Y)(w)$로 정리된다.
→ Convolution 적분은 $Y=\tau$일 때 $X=w-\tau$가 되어야 한다는 제약을 반영하며, 가능한 모든 $\tau$에 대해 동시 발생 밀도 $f_X(w-\tau)f_Y(\tau)$를 누적한 값이다.

03_Jacobian 기반 유도

보조 변수 도입과 n to n 변환 구성

Jacobian 기반 변환은 입력과 출력의 차원이 같아야 하므로, $W=X+Y$만으로는 직접 적용할 수 없고 auxiliary variable을 추가해 $2\rightarrow2$ transformation으로 확장한다.
보조 변수로 $Z=Y$를 선택하고 $(X,Y)\rightarrow(W,Z)$를 다음과 같이 정의한다.

$$
w=x+y,\quad z=y
$$

역변환은 다음과 같이 즉시 얻어진다.

$$
x=w-z,\quad y=z
$$

Jacobian 계산과 Joint PDF 변환

변환 공식은 다음 형태로 쓴다.

$$
f_{W,Z}(w,z)=f_{X,Y}(x(w,z),y(w,z))\left|\det\frac{\partial(x,y)}{\partial(w,z)}\right|
$$

Jacobian determinant는 다음과 같다.

$$ \det\frac{\partial(x,y)}{\partial(w,z)}
=
\det
\begin{pmatrix}
\frac{\partial x}{\partial w} & \frac{\partial x}{\partial z}\\
\frac{\partial y}{\partial w} & \frac{\partial y}{\partial z}
\end{pmatrix}
=
\det
\begin{pmatrix}
1 & -1\\
0 & 1
\end{pmatrix}
=1 $$

따라서 $(W,Z)$의 Joint PDF는 다음으로 정리된다.

$$
f_{W,Z}(w,z)=f_{X,Y}(w-z,z)
$$

Marginalization을 통한 변수 소거

최종 목표는 $f_W(w)$이므로 보조 변수 $Z$를 Marginalization으로 소거한다.

$$
f_W(w)=\int_{-\infty}^{\infty} f_{W,Z}(w,z)\,dz=\int_{-\infty}^{\infty} f_{X,Y}(w-z,z)\,dz
$$

Independence를 가정하면 $f_{X,Y}(w-z,z)=f_X(w-z)f_Y(z)$이므로 다음을 얻는다.

$$
f_W(w)=\int_{-\infty}^{\infty} f_X(w-z)\,f_Y(z)\,dz
$$

→ Jacobian 기반 유도는 auxiliary variable로 차원을 맞춘 뒤 Joint PDF를 변환하고, Marginalization으로 불필요한 변수를 적분 제거하여 동일한 Convolution 적분을 얻는 구조이다.

04_예제 Exponential distribution의 합과 Erlang-k distribution

문제 정의

서로 independent인 $T_1,T_2,\dots,T_k$가 동일한 Exponential distribution을 따르고 $S_k=T_1+\cdots+T_k$의 PDF를 구한다.

모델링

Exponential distribution의 PDF는 다음과 같다.

$$
f_T(t)=\lambda e^{-\lambda t},\quad t\ge 0
$$

$S_k$는 independent 합이므로 PDF는 반복 Convolution으로 계산된다.

수식 전개

$k=2$에서 $S_2=T_1+T_2$이므로 Convolution을 적용한다.

$$
f_{S_2}(s)=\int_{-\infty}^{\infty} f_T(\tau)\,f_T(s-\tau)\,d\tau
$$

$t\ge 0$이므로 integrand가 0이 아닌 구간은 $0\le\tau\le s$이고, 또한 $s<0$이면 전체 적분이 0이 된다.

$$
f_{S_2}(s)=\int_{0}^{s} \lambda e^{-\lambda\tau}\,\lambda e^{-\lambda(s-\tau)}\,d\tau=\lambda^2 e^{-\lambda s}\int_{0}^{s}1\,d\tau=\lambda^2 s e^{-\lambda s},\quad s\ge 0
$$

$k=3$에서 $S_3=S_2+T_3$이므로 다시 Convolution을 적용한다.

$$
f_{S_3}(s)=\int_{0}^{s} f_{S_2}(\tau)\,f_T(s-\tau)\,d\tau=\int_{0}^{s} \lambda^2\tau e^{-\lambda\tau}\,\lambda e^{-\lambda(s-\tau)}\,d\tau
$$

$$
f_{S_3}(s)=\lambda^3 e^{-\lambda s}\int_{0}^{s}\tau\,d\tau=\lambda^3 e^{-\lambda s}\frac{s^2}{2},\quad s\ge 0
$$

이 패턴은 일반 $k$에 대해 다음과 같이 정리된다.

$$
f_{S_k}(s)=\frac{\lambda^k s^{k-1}}{(k-1)!}e^{-\lambda s},\quad s\ge 0
$$

05_확장

• $n$개의 independent continuous random variable 합 $S=\sum_{i=1}^n X_i$의 PDF는 $f_S=f_{X_1}*f_{X_2}*\cdots*f_{X_n}$로 반복 Convolution으로 계산된다.
• identical distribution가정은 필요하지 않으며, Independence만 성립하면 서로 다른 PDF에 대해서도 Convolution 구조는 동일하다.
• discrete random variable의 경우 적분이 합으로 바뀌며, Convolution은 summation 형태로 대응된다.

06_결론

독립인 continuous random variable의 합 $W=X+Y$에 대해 $f_W(w)$는 CDF 기반 유도에서는 적분 영역 $x+y\le w$를 설정한 뒤 미분으로 조건을 소거하며, Jacobian 기반 유도에서는 auxiliary variable로 차원을 맞춘 뒤 Marginalization으로 변수를 적분 제거하여 동일한 적분식을 얻는다.
Independence를 적용하면 두 유도는 모두 $f_W(w)=\int_{-\infty}^{\infty} f_X(w-y)f_Y(y)\,dy$로 수렴하며, 이 적분이 Convolution의 정의와 일치한다.