[ML] Logistic Regression

01. Linear Classification

 

• Simple Classification 문제점 
  • binary classification 문제에서 임의의 선을 그었을 때 어떤 선도 두 개의 클래스를 분류할 수 없는 경우 error fuction이 계단 함수 모양이 되므로 특정 부분에서 미분이 불가능함
• 확률 관점에서 계산 필요
  • Simple Classification은 1 또는 0 두 개의 값 중 하나만 가지게끔 판단했음
  • Linear Classification은 0에서 1 사이의 특정 값을 가지는 형태로 가설 함수를 표현함 → sigmoid 또는 logistic function
    1. data가 positive sample이면 주어진 data에 대해서 확률이 최대화되는 방향으로 w값 결정
    2. data가 negative sample이면 주어진 data에 대해서 확률이 최소화되는 방향으로 w값 결정
• sigmoid/logistic function 장점
  1. 기존 가설 함수의 경우 miss classification 되었을 때 각각의 값이 동일한 가중치를 가지지만 sigmoid/logistic function의 경우 가중치를 두어 표현할 수 있음 
  2. 기존 가설 함수의 경우 특정 구간에서 미분이 불가능하지만 sigmoid/logistic function의 경우 모든 점에서 미분이 가능함 → maximum likehood estimation으로 확률을 부여할 때 특정 예외처리 없이 모든 지점에서 미분하여 w값을 구할 수 있음 

 

 

 

 

 

02. Sigmoid Function

 

• 특징
  1. S-곡선 모양의 함수
  2. Y값이 바운드됨
  3. 모든 점에 대해서 미분 가능함
  4. input에 대해서 -무한대에서 +무한대까지 존재함
  5. 모든 미분값들이 0보다 크거나 같음

 

 

 

 

 

03. Logistic Function

 

• 비선형 함수에 대해 각각의 점을 projection 할 수 있음

편의상 x0를 없애고 k를 1로 표현하면

이렇게 정의할 수 있음

 

 

 

 

 

04. Formulating Logistic Regression

 

• logistic regression은 closed form이 존재하지 않으므로 numerical solution을 활용해야 함
• gradient descent를 이용하여 global optima에 근접해 가는 해를 찾을 수 있음
  • gradient descent : 임의의 w값을 지정하여 gradient를 계산하고 최종적으로 0이 되는 지점을 찾는 방법
• maximum likehood estimation를 이용해서 w값을 찾을 수 있음
  • positive sample인 경우 y=1일 확률로 w값이 최대가 되도록 조정
  • negative sample인 경우 y=0일 확률로 w값이 최소가 되도록 조정 → 전체에서 1이 될 확률을 뺌