똑바른 날개

최적화에서 기울기(Gradient) 는 중요한 역할을 하며, 특히 경사하강법(Gradient Descent)과 같은 최적화 알고리즘에서 필수적으로 사용된다. 기울기는 다변수 함수에서 특정 지점에서의 변화를 나타내며, 함수의 극값(최대 또는 최소)을 찾는 데 활용된다.1. 행렬 미분 (Matrix Derivatives)행렬 미분의 기본적인 미분 공식을 정리하면 다음과 같다.$$ \begin{array}{|c|c|} \hline y & \frac{\partial y}{\partial x} \\ \hline Ax & A^T \\ x^T A & A \\ x^T x & 2x \\ x^T A x & Ax + A^T x \\ \hline \end{array} $$ 2. 기울기 (Gradient)와 최적화기울기는 다변..

최적화의 기본요소목적함수(Objective Function) : 무엇을 최대화 or 최소화 할 것인가변수(Descision Variable or unknown)제약조건(Constraints)과정모델링하기optimization algorithm을 사용한 solution찾기수학적 모델- 최소 모델\begin{aligned} \min_{x} \quad & f(x) \\ \text{subject to} \quad & g_i(x) \le 0, \quad i = 1, \cdots,m \end{aligned} \( x \in \mathbb{R}^n \) : 의사 결정 변수 (Decision Variables) \( f : \mathbb{R}^n \rightarrow \mathbb{R} \) : 목적 함수 (Objec..