728x90
01. Convex function(볼록함수)
- Convex function란 : 미분을 했을 때 0인 지점이 Global optima 지점과 일치
- Example
- Quadratic function(이차함수)
- Exponential function(지수함수)
- Negative logarithm function(음의 로그함수)
02. Non-convex function
- Global optima 이외에도 Local optima, Saddle point가 존재함
- Saddle point : 모두 미분값이 0인 지점, 더 내려갈 수 있는 지점이 있지만 멈춘 상태
- Neural networks의 경우 Saddle point가 많이 존재함
- Gradient Descent 방식으로 최적의 해를 구하기 어려움
728x90
'Study > ML' 카테고리의 다른 글
| [ML] Analytic Solution (0) | 2023.11.07 |
|---|---|
| [ML] Linear Regression Models (0) | 2023.10.13 |
| [ML] Gradient Descent Method(경사하강법) (0) | 2023.10.13 |
| [ML] Supervised Learning(지도학습) (0) | 2023.10.11 |
| [ML] Deep Learning 기초 (0) | 2023.10.06 |
