Machine learning16 [ML] Evaluation Metrics 목차01. Evaluation Metrics in Regression Models02. Evaluation Metrics in Classification Models02-1. Binary classification02-2. Multiclass classification 01. Evaluation Metrics in Regression Models MAE(Mean abolute error)예측 값과 실제 값 차이의 절댓값MSE(Mean squared error) 회귀모델에서 학습하는 error function과 동일한 형태RMSE(Root mean squared error) MSE의 값에 루트를 씌운 형태가장 널리 활용 02. Evaluation Metrics in Classification.. 2024. 3. 26. [ML] Cross-Validation 목차01. Hold-out Method02. Cross-Validation03. Leave-one-out Cross-Validation(LOOCV)04. Three Dataset for Evaluation 01. Hold-out Method 모델을 평가하기 위해서는 training data set과 test data set이 필요함전체 data를 두 개의 형태로 나눈 뒤 training data는 모델을 학습할 때, test data는 학습이 끝난 후 모델의 성능을 평가할 때 사용data set은 random 하게 나누어야 하며 서로 중복되면 안 됨test data로 가장 성능이 좋은 모델을 선택하는 것이 hold-out methodHold-out Method 단점Random split : dat.. 2024. 3. 26. [ML] Generalize Models 목차01. Generalize 개념02. Regularization 방법 01. Generalize 개념 training data에 대해서 error를 줄이는 것이 아니라 test data에 대해서 error를 최소화하는 model을 찾는 것model의 복잡도를 무조건 늘리는 게 중요한 것이 아니라 model의 복잡도를 적당히 늘려 test data에 대한 error가 최소화되는 지점을 찾아야 함 02. Regularization 방법 Increasing the Size of Data주어진 data와 학습하고자 하는 w 사이에서 w의 개수는 고정으로 두고 data의 개수를 늘려 overfitting 문제를 해소함데이터 수집이 용이한 환경에서 사용할 수 있음Penalizing the Mode.. 2024. 1. 31. [ML] Overfitting Problem 목차01. Overfitting 정의02. Overfitting vs. Generalization 01. Overfitting 정의 일반적으로 training data에 대한 error가 줄어들면 test data에 대한 error도 비슷한 비율로 줄어듦 다항식의 경우, 다항식의 차수가 커지면 커질수록 model complexity가 증가하게 됨model 복잡도가 증가할수록 error function을 최소화하는 방향으로 잘 학습할 수 있음그러나 model complexity가 지나치게 높은 경우 error function관점에서는 error가 0인 경우에 해당되지만 training data가 아닌 새롭게 학습한 data에 적용한 경우 error가 많이 발생하는 현상이 생길 수 있음(주어진 데이터.. 2024. 1. 31. [ML] Multinomial Logistic Regression 목차01. Multi-class Classification02. Formulating Multinomial Logistic Regression03. Formulating the Error Function04. Training Multinomial Logistic Regression 01. Multi-class Classification label의 개수가 2개 이상인 경우 ex. 학생이 어떤 전공을 선택할지 푸는 문제ex. 혈액형이 무엇인지 맞히는 문제ex. 뉴스기사가 어떤 카테고리인지 예측하는 문제두 개 이상의 decision boundary 필요함class가 k개인 경우 최소 k-1개의 classifier가 필요함k개의 label에 대해서 k개의 서로 다른 class로 분류하는 decision.. 2024. 1. 4. [ML] Logistic Regression 목차01. Linear Classification02. Sigmoid Function03. Logistic Function04. Formulating Logistic Regression 01. Linear Classification Simple Classification 문제점 binary classification 문제에서 임의의 선을 그었을 때 어떤 선도 두 개의 클래스를 분류할 수 없는 경우 error fuction이 계단 함수 모양이 되므로 특정 부분에서 미분이 불가능함확률 관점에서 계산 필요Simple Classification은 1 또는 0 두 개의 값 중 하나만 가지게끔 판단했음Linear Classification은 0에서 1 사이의 특정 값을 가지는 형태로 가설 함수를 표현함 →.. 2024. 1. 2. [ML] Parameter Estimation 목차01. Parameter Estimation02. Maximum Likelihood Estimation(MLE) 01. Parameter Estimation 확률 기반으로 데이터를 모델링할 때 주어진 확률 모델 하에서 원하는 parameter를 추정할 때 사용하는 방법샘플링된 데이터를 통해 주어진 모분포의 parameter를 추정하는 기법Population : 전체 데이터셋Sample : 모집단 중 임의로 선택한 데이터셋Parameter estimation 방법Point estimate평균 또는 분산을 추정하는 방식모분포를 알 수 없으므로 최소한 모분포의 모양을 추정 결정모분포가 Gaussian distribution 또는 임의의 분포라는 가정하에 주정Interval estimate 특정한 값.. 2023. 11. 14. [ML] Classification 목차01. Classification02. Simple Classification Model 01. Classification supervised learning의 한 종류예) 나이와 혈압 간의 상관관계주어진 regression 모델을 통해 주어진 y와 예측되는 y의 error를 최소화하는 w를 찾는 것이 목적 02. Simple Classification Model 주어진 선형모델 중 주어진 데이터를 플러스와 마이너스 방향으로 얼마나 잘 분류할 수 있는지 학습하는 것이 목적주어진 데이터와 학습하고자 하는 직선에 해당되는 w 벡터와의 각도를 통해서 파악분모에 해당되는 값은 항상 양수 → cosɑ의 값은 wTx(두 벡터의 내적)에 비례 임의의 w와 각각의 데이터 간의 각도가 90도 보다 작은.. 2023. 11. 9. [ML] Numerical Solution 목차01. Numerical Solution02. Batch Gradient Descent03. Batch Gradient Descent 문제04. Batch Size별 GD 01. Numerical Solution 최적해를 계산하기 어려운 환경에서 analytic solution을 대체하여 원하는 해를 찾고자 하는 방식gradient descent를 이용해 임의로 주어진 w값을 조정해 나가면서 주어진 error function의 기울기가 편미분 한 gradient 값이 0이 되는 지점을 찾음임의의 w0 선택주어진 w에 대해서 편미분하여 방향 결정(미분값이 음수인 경우 오른쪽, 양수인 경우 왼쪽)η로 이동의 폭 결정(step마다 고정값 or 다른 값 사용 가능)0에 가까워질 때까지 반복 0.. 2023. 11. 9. [ML] Analytic Solution 목차01. Multiple Linear Regression02. 풀이 01. Multiple Linear Regression 다차원 설명변수를 가진 데이터 위에서 y를 예측하는 모델을 학습하기 위한 목적주어진 데이터가 d차원일 때 matrix 형태로 표현w0에 해당되는 부분을 표현하기 위해 x0로 표현, w0와 곱이 이루어지는 부분으로 모든 값이 1로 구성matrix가 정방행렬이 아닐 수 있으므로 정방행렬로 만들어주기 위해 X traspose matrix를 곱해줌(= Normal equation) 02. 풀이 d차원의 n개의 데이터가 주어졌을 때 w를 조정하여 error function을 최소화하는 것이 목적 2023. 11. 7. [ML] Linear Regression Models 목차01. 선형회귀모델02. 회귀모델 구성03. Simple Linear Regression Model04. 최적화 문제 풀이 01. 선형회귀모델 하나 또는 여러 개의 설명변수 x와 그와 관련된 dependent variable y의 관계를 추론하는 모델y는 continuous value로 표현됨, 숫자를 표현할 때 사용하는 실수형의 데이터로 표현X의 경우 하나의 값으로 표현되거나 여러 개의 변수로 구성될 수 있음예) 날씨예측, 온도예측, 가격예측 모델 02. 회귀모델 구성 Simple Regression Model : 설명변수 한 개인 경우Linear Regression Model : xy가 선형함수 관계Non-Linear Regression Model : xy의 관계가 이차함수 이상의 .. 2023. 10. 13. [ML] Convex Function 목차01. Convex function(볼록함수)02. Non-convex function 01. Convex function(볼록함수) Convex function란 : 미분을 했을 때 0인 지점이 Global optima 지점과 일치ExampleQuadratic function(이차함수)Exponential function(지수함수)Negative logarithm function(음의 로그함수) 02. Non-convex function Global optima 이외에도 Local optima, Saddle point가 존재함Saddle point : 모두 미분값이 0인 지점, 더 내려갈 수 있는 지점이 있지만 멈춘 상태Neural networks의 경우 Saddle point가 많이.. 2023. 10. 13. [ML] Gradient Descent Method(경사하강법) 목차01. Gradient Descent Method02. Gradient Descent 동작 원리03. Learning Rate 01. Gradient Descent Method 특정한 지점에 대해서 각각 w1에 대해서 편미분 한 벡터와 w2에 대해서 편미분 한 벡터를 합친 벡터 02. Gradient Descent 동작 원리 주어진 함수에서 임의의 시작점 w0 지정단, w함수가 모든 지점에 대해서 미분이 가능해야 함 error function의 w 미분 → 미분값이 음수인 경우 오른쪽, 미분값이 양수인 경우 왼쪽으로 이동 gradient가 0이 되는 지점까지 반복 03. Learning Rate 너무 작으면 gradient까지 도달하는데 많은 시간이 소요됨지나치게 크면 원하는 지.. 2023. 10. 13. [ML] Supervised Learning(지도학습) 목차01. 지도학습 동작과정02. 데이터 수집03. ML 모델 선택04. Optimizing Parameters 01. 지도학습 동작과정 데이터 수집 단계x, y 쌍으로 구성된 데이터 구축x를 어떻게 표현할지 결정, y라는 레이블을 수 집하는 labeling 과정 모델 선택 단계주어진 x, y의 최적의 parmeter를 찾는 최적화 문제를 푸는 과정 알고리즘 최적화 단계x, y 관계 표현한 함수(cost function, error fuction)를 최적화하는 과정 02. 데이터 수집 데이터 수집검색엔진주어진 데이터 확장crowd sourcing를 통한 데이터 생성데이터 레이블링레이블이 존재하지 않는 경우부분적으로 레이블이 존재하는 경우데이터 존재Re-labeling데이터 가공 0.. 2023. 10. 11. [ML] Deep Learning 기초 목차01. Deep Learning02. Artificial Intelligence(인공지능)03. ML vs. DL04. Convolutional Neural Network(CNN)05. Recurrent Neural Network(RNN, 순환신경망) 01. Deep Learning History(1940) Electronic Brain: 사람의 뇌를 흉내 낸 인공 뇌의 모델(1950) Perceptron : 최초로 구현 가능한 Neural Network 모델, 이후 황금시대 도래(1970) XOR Problem : Perceptron 모델만으로는 XOR 문제를 풀 수 없다고 증명함, AI 암흑기 도래(1980) Multi-layered Perceptron : Perceptron을 여려 개 .. 2023. 10. 6. 이전 1 2 다음 728x90
