[ML] Linear Regression Models

01. 선형회귀모델

 

• 하나 또는 여러 개의 설명변수 x와 그와 관련된 dependent variable y의 관계를 추론하는 모델
• y는 continuous value로 표현됨, 숫자를 표현할 때 사용하는 실수형의 데이터로 표현
• X의 경우 하나의 값으로 표현되거나 여러 개의 변수로 구성될 수 있음
• 예) 날씨예측, 온도예측, 가격예측 모델

 

 

 

 

 

02. 회귀모델 구성

 

1. Simple Regression Model : 설명변수 한 개인 경우
   • Linear Regression Model : xy가 선형함수 관계
   • Non-Linear Regression Model : xy의 관계가 이차함수 이상의 다항식으로 표현되는 경우
2. Multiple Regression Model : x가 여러 개의 설명변수로 구성된 경우
   • Linear Regression Model : x가 두 개의 설명 변수를 가지고 있고 y는 실수로 표현될 수 있는 경우
     • 3차원의 경우 평면으로 표현
     • 3차원 이상인 경우 Hyperplane으로 표현됨
   • Non-Linear Regression Model : 포물선 모양으로 표현됨

 

 

 

 

 

03. Simple Linear Regression Model

 

• 주어진 training data를 잘 설명하는 선형 함수를 찾는 것
• f(x; w0, w1) = w1 + w0
  • w1 : slope, 기울기
  • w0 : bias, intercept, y절편
• Error Function 정의 : 주어진 데이터에 대해서 실제 y와 모델링한 y 차이의 제곱값에 대한 전체합이 최소가 되도록

 

 

 

04. 최적화 문제 풀이

 

1. Analytical solution
   • Normal equation : 각각의 parameter에 대해서 편미분 한 뒤 연립 1차 방정식을 푸는 방식, 최적의 해를 찾을 수 있음
   • 메모리 부족 현상이 발생할 수도 있음
2. Numerical solution
   • analytic 한 솔루션 적용이 어려울 때 사용, 최적의 해와 근사한 해를 찾을 수 있음
   • 예) Gradient descent