똑바른 날개

1. 왜 사용하는가? (핵심: VRAM 절약)대규모 모델을 학습하거나 이미지 해상도가 클 때, GPU 메모리(VRAM) 한계로 인해 배치 사이즈(Batch Size)를 크게 잡을 수 없는 경우가 많다.문제: 배치 사이즈를 1이나 2로 줄이면 학습이 불안정해지고 수렴이 느려진다.해결: 물리적인 배치 사이즈는 작게 유지하되, 여러 번 계산한 기울기를 합쳐서 마치 큰 배치 사이즈로 학습한 것과 같은 효과를 낼 수 있다.2. 작동 공식Gradient Accumulation를 반복횟수를 N이라고 가정했을 때, 실제 학습에 적용되는 가상 배치 사이즈(Virtual Batch Size)는 다음과 같다.Physical Batch Size: 실제 GPU 메모리에 한 번에 올라가는 데이터 수 (예: 4)gradient_a..

01) Central Limit Theorem: 표본합이 정규 분포로 수렴하는 이유와 응용00_서론중심 극한 정리 Central Limit Theorem는 서로 독립인 random variable들이 충분히 많이 합쳐질 때 그 합이나 평균이 정규 분포 Gaussian Distribution로 근사된다는 사실을 설명하며, 이 성질은 잡음 모델링, 통계적 추론, 신호 처리에서 반복적으로 사용된다.현실의 관측값은 여러 독립 요인의 누적 결과로 나타나는 경우가 많으므로, 개별 요인의 분포를 정확히 알기 어렵더라도 합의 분포를 정규 분포로 다룰 수 있다는 점이 Central Limit Theorem의 핵심 가치이다.01_Central Limit Theorem의 정의Central Limit Theorem는 i.i...

01) 독립 확률 변수의 합: 분포, Expectation, 그리고 Variance00_서론확률론과 통계학에서는 여러 random variable의 합으로 새로운 random variable을 정의하는 상황이 반복적으로 등장하며, 대표적으로 $W=X+Y$와 같은 형태가 기본 모델로 사용된다.이 글의 목표는 합으로 정의된 random variable의 분포, Expectation, Variance를 하나의 흐름으로 정리하는 것이며, 특히 Independence 가정이 들어갈 때 Convolution이 왜 자연스럽게 등장하는지를 수식 기반으로 유도한다.01_확률 변수 합의 분포: 일반 원리$W=X+Y$의 분포를 구하는 과정은 두 변수 $X,Y$가 함께 어떤 값을 가질 수 있는지를 나타내는 Joint Dist..

01) 독립 연속 확률 변수 합의 PDF와 Convolution00_서론여러 개의 독립적인 continuous random variable을 더해 총합을 모델링하는 문제는 지연 시간 누적, 측정 오차 누적, 잡음 합성처럼 공학 전반에서 반복적으로 등장한다.이때 각 변수의 PDF를 알고 있을 때 합으로 정의된 새로운 random variable의 PDF를 구하는 과정에서 Convolution이 자연스럽게 나타난다.01_문제 설정$X,Y$는 continuous random variable이고 Joint PDF를 $f_{X,Y}(x,y)$라 둔다.새로운 random variable을 $W=X+Y$로 정의한다.목표는 $W$의 PDF $f_W(w)$를 구하는 것이다.02_CDF 기반 유도CDF 정의와 적분 영역먼..

01) Multivariate random variable transformation: Jacobian and applications00_서론단일 random variable transformation에서는 $Y=g(X)$가 만들어내는 PDF $f_Y(y)$를 CDF 기반으로 유도하고, 길이 스케일 변화율 $|g'(x)|$로 확률 밀도를 보정한다는 관점이 핵심이다.다변수 환경에서는 입력이 $\mathbf{X}=(X_1,\dots,X_n)$이고 출력이 $\mathbf{Y}=(Y_1,\dots,Y_n)$인 transformation $\mathbf{y}=\mathbf{g}(\mathbf{x})$를 다루며, 이때 길이 스케일 $|g'(x)|$는 부피 스케일을 나타내는 Jacobian determinant $|..

01) random variable transformation: 단일 변수 PDF 유도00_서론공학 문제에서는 측정된 signal $X$를 직접 쓰기보다 $Y=g(X)$처럼 transform function으로 만든 새로운 random variable의 분포가 필요해지는 경우가 많다.예를 들어 오차 $X$를 제곱해 에너지에 해당하는 값 $Y=X^2$를 정의하면, 부호 정보는 사라지고 크기 정보만 남으므로 시스템의 안정성 평가나 error 크기 기반 분석에 적합한 형태가 된다.이 글의 목표는 continuous random variable $X$의 PDF $f_X(x)$가 주어졌을 때 $Y=g(X)$의 PDF $f_Y(y)$를 CDF에서 출발해 체계적으로 유도하는 방법을 정리하는 것이다.01_문제 설정과 ..

01) 확률 변수의 Transformation00_서론확률 변수 $X$와 그 PDF $f_X(x)$가 주어졌을 때, Transformation $Y=g(X)$로 정의된 새로운 random variable $Y$의 PDF $f_Y(y)$를 유도하는 과정은 확률 모델링과 시뮬레이션에서 반복적으로 등장한다.이 글의 목표는 $f_Y(y)$를 유도하는 가장 일관된 절차를 CDF에서 시작해 정리하고, 선형 Transformation과 제곱 Transformation 예제를 통해 설명한다.특히 continuous random variable에서는 한 점에서의 확률이 0이므로 discrete random variable에서처럼 확률을 더하는 방식이 아니라 CDF와 미분을 이용해 PDF를 직접 도출해야 함으로, 이를 주..

01) Multivariate Gaussian Distribution: Joint, Marginal, Conditional00_서론Multivariate Gaussian Distribution는 여러 공학 문제에서 불확실성을 벡터 형태로 모델링할 때 가장 자주 쓰이는 분포이며, 평균과 공분산만으로 구조가 정해진다는 점에서 계산이 일관되고 예측 가능하다.01_Bivariate Gaussian과 Joint PDFJoint PDF 정의연속 확률 변수 ${X, Y}$가 Joint Gaussian이라면 Joint PDF ${f_{XY}(x,y)}$는 다음과 같이 쓸 수 있다.$$f_{XY}(x,y)=\frac{1}{2\pi\sigma_x\sigma_y\sqrt{1-\rho^2}}\exp\left(-\frac{1}..

01) Covariance00_서론분산 ${\mathrm{Var}(X)}$이 single random variable의 퍼짐 정도를 측정한다면 공분산 ${\mathrm{Cov}(X,Y)}$는 two random variables가 함께 변하는 경향을 정량화한다.공분산의 핵심 목적은 ${X}$가 평균보다 커지거나 작아질 때 ${Y}$도 같은 방향으로 움직이는지, 반대 방향으로 움직이는지, 혹은 선형적 경향이 거의 없는지를 수식으로 판별하는 데 있다.01_Variance 복습정의$$\mathrm{Var}(X)=\mathbb{E}\big[(X-\mu_X)^2\big],\quad \mu_X=\mathbb{E}[X]$$변수가 평균으로부터 벗어난 편차의 제곱의 기댓값$x,P(x)$평면으로의 해석 : 높은 확률값을 ..

01) Correlation Coefficient00_서론공분산 ${\mathrm{Cov}(X,Y)}$는 two random variables의 선형적 동반 변동을 측정하지만 값의 크기가 단위와 scale에 직접 의존한다는 한계를 가진다.이 문제를 해결하기 위해 공분산을 표준편차로 정규화한 상관계수 ${\rho_{XY}}$를 정의하며 이는 항상 -1$과 1 사이에 존재하므로 서로 다른 변수 쌍의 선형 관계를 비교 가능한 형태로 제공한다.01_상관계수의 정의$$\begin{aligned}\rho_{XY}= \frac{E\!\left[(X - \mu_X)(Y - \mu_Y)\right]}{\sigma_X \sigma_Y} &= \frac{E[XY] - \mu_X \mu_Y}{\sigma_X \sigma_Y}..