Convex Optimization 이란 무엇인가?

Image generated by DALL E

 

# 모바일에서 수식이 깨져보이니 PC모드 활용을 권장드립니다.

 

 

Optimization은 ML/DL 이론의 기본 중 하나이다.

 

ML/DL 의 많은 문제는 모델의 좋은 파라미터를 찾는 과정이다. 

모델의 좋은 파라미터는 특정 최적화 문제의 솔루션이 되는 경우가 많다.

 

최적화에는 Constrained, Unconstrained, Convex optimization 등이 존재한다.

 

우선 Unconstrained optimization 을 살펴보면,

---

 

그 목표는

 

$$  minf(x),  \ f(x):\mathbb{R^{n}}\mapsto \mathbb{R}, \ f\in \mathbb{C1} $$

 

R차원 벡터를 어떤 Singular R로 매핑하는 함수 f에 대해 이 함수 f를 minimization 하는 것이 목표이다.

 

그래서 이 함수를 최소화하기위한 iterative algorithm은 다음과 같이 표현된다.

 

$$ x_{k+1} = x_k + \gamma_kd_k, \ k=0, 1, 2 ...  $$

 

여기서 감마와 d의 선택이 중요한데, 

일반적으로 $ \gamma_k $ 는 일반적으로 step_size 라 부르는 스칼라 값이고,

$ d_k $ 는 방향성을 나타낸다.

 

예를 들어 우리가 찾는 방향성 $ d $ 가 기울기와 내적 값이 0이 되고

어떤 $ d $ 에 대해서도 step_size $ \alpha $ 를 잘 정할 수 있다면,

현재 값보다 더 낮아지도록 업데이트 할 수 있는 $ \alpha $ 가 존재한다.

 

즉, 방향은 기울기와 반대 방향으로 잡고, 스텝 사이즈를 잘 통제하면 우리는 항상 함수 f를 최소화 할 수 있다.

그래서 기울기의 반대 방향으로 방향성을 선택하는 것을 steepest gradient descent라고 한다.

 

$$ Steepest \ gradient \ descent. \ d_k = -\bigtriangledown  f(x_k)^{T} $$