목록Gradient (1)

똑바른 날개

Gradient (기울기)와 행렬 미분 (Matrix Derivatives)

최적화에서 기울기(Gradient) 는 중요한 역할을 하며, 특히 경사하강법(Gradient Descent)과 같은 최적화 알고리즘에서 필수적으로 사용된다. 기울기는 다변수 함수에서 특정 지점에서의 변화를 나타내며, 함수의 극값(최대 또는 최소)을 찾는 데 활용된다.1. 행렬 미분 (Matrix Derivatives)행렬 미분의 기본적인 미분 공식을 정리하면 다음과 같다.$$ \begin{array}{|c|c|} \hline y & \frac{\partial y}{\partial x} \\ \hline Ax & A^T \\ x^T A & A \\ x^T x & 2x \\ x^T A x & Ax + A^T x \\ \hline \end{array} $$ 2. 기울기 (Gradient)와 최적화기울기는 다변..
최적화 2025. 3. 3. 03:14
이전 Prev 1 Next 다음