Machine learning16 [ML] Evaluation Metrics 01. Evaluation Metrics in Regression Models MAE(Mean abolute error)예측 값과 실제 값 차이의 절댓값MSE(Mean squared error) 회귀모델에서 학습하는 error function과 동일한 형태RMSE(Root mean squared error) MSE의 값에 루트를 씌운 형태가장 널리 활용 02-1. Evaluation Metrics in Classification Models(binary classification) binary classification : confusion matrix를 이용하여 accuracy이나 precision, recall 등을 평가함 Accuracy전체 test set에 있는 샘플 중에서 얼마나 맞췄.. 2024. 3. 26. [ML] Cross-Validation 01. Hold-out Method 모델을 평가하기 위해서는 training data set과 test data set이 필요함전체 data를 두 개의 형태로 나눈 뒤 training data는 모델을 학습할 때, test data는 학습이 끝난 후 모델의 성능을 평가할 때 사용data set은 random 하게 나누어야 하며 서로 중복되면 안 됨test data로 가장 성능이 좋은 모델을 선택하는 것이 hold-out methodHold-out Method 단점Random split : data set을 random 하게 나눌 때 data가 한쪽으로 지우 칠 경우 성능이 달라질 수 있음Waste of data : 하나의 data set이 training data set에서는 사용되고 test data .. 2024. 3. 26. [ML] Generalize Models 01. Generalize 개념 training data에 대해서 error를 줄이는 것이 아니라 test data에 대해서 error를 최소화하는 model을 찾는 것model의 복잡도를 무조건 늘리는 게 중요한 것이 아니라 model의 복잡도를 적당히 늘려 test data에 대한 error가 최소화되는 지점을 찾아야 함 02. Regularization 방법 Increasing the Size of Data주어진 data와 학습하고자 하는 w 사이에서 w의 개수는 고정으로 두고 data의 개수를 늘려 overfitting 문제를 해소함데이터 수집이 용이한 환경에서 사용할 수 있음Penalizing the Model Complexitymodel이 지나치게 복잡하면 그것에 대한 penalty를 .. 2024. 1. 31. [ML] Overfitting Problem 01. Overfitting 정의 일반적으로 training data에 대한 error가 줄어들면 test data에 대한 error도 비슷한 비율로 줄어듦 다항식의 경우, 다항식의 차수가 커지면 커질수록 model complexity가 증가하게 됨model 복잡도가 증가할수록 error function을 최소화하는 방향으로 잘 학습할 수 있음그러나 model complexity가 지나치게 높은 경우 error function관점에서는 error가 0인 경우에 해당되지만 training data가 아닌 새롭게 학습한 data에 적용한 경우 error가 많이 발생하는 현상이 생길 수 있음(주어진 데이터에 대해서만 특화해서 학습함) 02. Overfitting vs. Generalization 머신러.. 2024. 1. 31. [ML] Multinomial Logistic Regression 01. Multi-class Classification label의 개수가 2개 이상인 경우 ex. 학생이 어떤 전공을 선택할지 푸는 문제ex. 혈액형이 무엇인지 맞히는 문제ex. 뉴스기사가 어떤 카테고리인지 예측하는 문제두 개 이상의 decision boundary 필요함class가 k개인 경우 최소 k-1개의 classifier가 필요함k개의 label에 대해서 k개의 서로 다른 class로 분류하는 decision boundary 사용(decision boundary는 서로에 대한 의존성 없이 특정 class에 대해서 효과적으로 분류하는 것이 목적)각각의 classifier를 서로 결합하여 어떤 class에 속하는 게 좋을지 최종 결정함 02. Formulating Multinomial Lo.. 2024. 1. 4. [ML] Logistic Regression 01. Linear Classification Simple Classification 문제점 binary classification 문제에서 임의의 선을 그었을 때 어떤 선도 두 개의 클래스를 분류할 수 없는 경우 error fuction이 계단 함수 모양이 되므로 특정 부분에서 미분이 불가능함확률 관점에서 계산 필요Simple Classification은 1 또는 0 두 개의 값 중 하나만 가지게끔 판단했음Linear Classification은 0에서 1 사이의 특정 값을 가지는 형태로 가설 함수를 표현함 → sigmoid 또는 logistic functiondata가 positive sample이면 주어진 data에 대해서 확률이 최대화되는 방향으로 w값 결정data가 negative sample.. 2024. 1. 2. [ML] Parameter Estimation 01. Parameter Estimation 확률 기반으로 데이터를 모델링할 때 주어진 확률 모델 하에서 원하는 parameter를 추정할 때 사용하는 방법샘플링된 데이터를 통해 주어진 모분포의 parameter를 추정하는 기법Population : 전체 데이터셋Sample : 모집단 중 임의로 선택한 데이터셋Parameter estimation 방법Point estimate평균 또는 분산을 추정하는 방식모분포를 알 수 없으므로 최소한 모분포의 모양을 추정 결정모분포가 Gaussian distribution 또는 임의의 분포라는 가정하에 주정Interval estimate 특정한 값의 구간을 추정하는 방식특정한 신뢰구간에서 얼마나 신뢰할 수 있는 수준인지를 보여줄 때 활용 02. Maximum .. 2023. 11. 14. [ML] Classification 01. Classification supervised learning의 한 종류예) 나이와 혈압 간의 상관관계주어진 regression 모델을 통해 주어진 y와 예측되는 y의 error를 최소화하는 w를 찾는 것이 목적 02. Simple Classification Model 주어진 선형모델 중 주어진 데이터를 플러스와 마이너스 방향으로 얼마나 잘 분류할 수 있는지 학습하는 것이 목적주어진 데이터와 학습하고자 하는 직선에 해당되는 w 벡터와의 각도를 통해서 파악분모에 해당되는 값은 항상 양수 → cosɑ의 값은 wTx(두 벡터의 내적)에 비례 임의의 w와 각각의 데이터 간의 각도가 90도 보다 작은 경우 : positive 샘플positive 샘플이 잘못 분류된 경우 w+x의 방향으로 w를 조정임.. 2023. 11. 9. [ML] Numerical Solution 01. Numerical Solution 최적해를 계산하기 어려운 환경에서 analytic solution을 대체하여 원하는 해를 찾고자 하는 방식gradient descent를 이용해 임의로 주어진 w값을 조정해 나가면서 주어진 error function의 기울기가 편미분 한 gradient 값이 0이 되는 지점을 찾음임의의 w0 선택주어진 w에 대해서 편미분하여 방향 결정(미분값이 음수인 경우 오른쪽, 양수인 경우 왼쪽)η로 이동의 폭 결정(step마다 고정값 or 다른 값 사용 가능)0에 가까워질 때까지 반복 02. Batch Gradient Descent 모든 트레이닝 데이터 사용하여 gradient를 계산함모든 error의 평균을 표현하기 위해 1/2n으로 normalization 처리주.. 2023. 11. 9. [ML] Analytic Solution 01. Multiple Linear Regression 다차원 설명변수를 가진 데이터 위에서 y를 예측하는 모델을 학습하기 위한 목적주어진 데이터가 d차원일 때 matrix 형태로 표현w0에 해당되는 부분을 표현하기 위해 x0로 표현, w0와 곱이 이루어지는 부분으로 모든 값이 1로 구성matrix가 정방행렬이 아닐 수 있으므로 정방행렬로 만들어주기 위해 X traspose matrix를 곱해줌(= Normal equation) 02. 풀이 d차원의 n개의 데이터가 주어졌을 때 w를 조정하여 error function을 최소화하는 것이 목적 2023. 11. 7. [ML] Linear Regression Models 01. 선형회귀모델 하나 또는 여러 개의 설명변수 x와 그와 관련된 dependent variable y의 관계를 추론하는 모델y는 continuous value로 표현됨, 숫자를 표현할 때 사용하는 실수형의 데이터로 표현X의 경우 하나의 값으로 표현되거나 여러 개의 변수로 구성될 수 있음예) 날씨예측, 온도예측, 가격예측 모델 02. 회귀모델 구성 Simple Regression Model : 설명변수 한 개인 경우Linear Regression Model : xy가 선형함수 관계Non-Linear Regression Model : xy의 관계가 이차함수 이상의 다항식으로 표현되는 경우Multiple Regression Model : x가 여러 개의 설명변수로 구성된 경우Linear Regres.. 2023. 10. 13. [ML] Convex Function 01. Convex function(볼록함수) Convex function란 : 미분을 했을 때 0인 지점이 Global optima 지점과 일치ExampleQuadratic function(이차함수)Exponential function(지수함수)Negative logarithm function(음의 로그함수) 02. Non-convex function Global optima 이외에도 Local optima, Saddle point가 존재함Saddle point : 모두 미분값이 0인 지점, 더 내려갈 수 있는 지점이 있지만 멈춘 상태Neural networks의 경우 Saddle point가 많이 존재함Gradient Descent 방식으로 최적의 해를 구하기 어려움 2023. 10. 13. [ML] Gradient Descent Method(경사하강법) 01. Gradient Descent Method 특정한 지점에 대해서 각각 w1에 대해서 편미분 한 벡터와 w2에 대해서 편미분 한 벡터를 합친 벡터 02. Gradient Descent 동작 원리 주어진 함수에서 임의의 시작점 w0 지정단, w함수가 모든 지점에 대해서 미분이 가능해야 함 error function의 w 미분 → 미분값이 음수인 경우 오른쪽, 미분값이 양수인 경우 왼쪽으로 이동 gradient가 0이 되는 지점까지 반복 03. Learning Rate 너무 작으면 gradient까지 도달하는데 많은 시간이 소요됨지나치게 크면 원하는 지점을 찾지 못하고 발산하는 문제가 생김 2023. 10. 13. [ML] Supervised Learning(지도학습) 01. 지도학습 동작과정 데이터 수집 단계x, y 쌍으로 구성된 데이터 구축x를 어떻게 표현할지 결정, y라는 레이블을 수 집하는 labeling 과정 모델 선택 단계주어진 x, y의 최적의 parmeter를 찾는 최적화 문제를 푸는 과정 알고리즘 최적화 단계x, y 관계 표현한 함수(cost function, error fuction)를 최적화하는 과정 02. 데이터 수집 데이터 수집검색엔진주어진 데이터 확장crowd sourcing를 통한 데이터 생성데이터 레이블링레이블이 존재하지 않는 경우부분적으로 레이블이 존재하는 경우데이터 존재Re-labeling데이터 가공 03. ML 모델 선택 ML 모델 종류Logistic regressionSupport vector machine(SVM)D.. 2023. 10. 11. [ML] Deep Learning 기초 01. Deep Learning History(1940) Electronic Brain: 사람의 뇌를 흉내 낸 인공 뇌의 모델(1950) Perceptron : 최초로 구현 가능한 Neural Network 모델, 이후 황금시대 도래(1970) XOR Problem : Perceptron 모델만으로는 XOR 문제를 풀 수 없다고 증명함, AI 암흑기 도래(1980) Multi-layered Perceptron : Perceptron을 여려 개 연결한 모델을 학습하는 BackPropagation 알고리즘 개발(1990) SVM(Support Vector Machine) : 비선형 관계를 간편하게 학습할 수 있는 모델(2000) Deep Neutral Network : Multi-layered Percep.. 2023. 10. 6. 이전 1 2 다음 728x90
