[ML] Parameter Estimation

01. Parameter Estimation

 

• 확률 기반으로 데이터를 모델링할 때 주어진 확률 모델 하에서 원하는 parameter를 추정할 때 사용하는 방법
• 샘플링된 데이터를 통해 주어진 모분포의 parameter를 추정하는 기법
  • Population : 전체 데이터셋
  • Sample : 모집단 중 임의로 선택한 데이터셋
• Parameter estimation 방법
  1. Point estimate
     • 평균 또는 분산을 추정하는 방식
     • 모분포를 알 수 없으므로 최소한 모분포의 모양을 추정 결정
     • 모분포가 Gaussian distribution 또는 임의의 분포라는 가정하에 주정
  2. Interval estimate
     • 특정한 값의 구간을 추정하는 방식
     • 특정한 신뢰구간에서 얼마나 신뢰할 수 있는 수준인지를 보여줄 때 활용 

 

 

 

 

 

02. Maximum Likelihood Estimation(MLE)

 

• 데이터가 고정된 상태에서 p값을 조정하여 확률값이 최대가 되었을 때 p값을 결정하는 기법
• p에 대하여 미분했을 때 0이 되는 지점을 찾는 것이 목적
• log 형태를 취하면 간편하게 계산할 수 있음
  • Likelihood는 단조 증가함수이므로 log를 취해도 극값은 변화가 없을 수 있음