본문 바로가기

Study40

[선형대수학] 역행렬, 대각행렬, 직교행렬 01. 역행렬 Matrix Inversion 선행 방정식을 풀이에 사용되는 연산법X에 위첨자 -1로 표기X = np.array([[4, 2], [-5, -3]])X# array([[ 4, 2],# [-5, -3]])Xinv = np.linalg.inv(X)Xinv# array([[ 1.5, 1. ],# [-2.5, -2. ]])y = np.array([4, -7])y# array([ 4, -7])w = np.dot(Xinv, y)w# array([-1., 4.])np.dot(X, w)# array([ 4., -7.])     02. 대각행렬 Diagonal Matirx 주대각선 성분이 아닌 모든 성분이 0인 행렬단위행렬은 대각 행렬에 속함대각행렬 xy = x와 y의 내적 혹.. 2023. 11. 7.
[ML] Analytic Solution 01. Multiple Linear Regression 다차원 설명변수를 가진 데이터 위에서 y를 예측하는 모델을 학습하기 위한 목적주어진 데이터가 d차원일 때 matrix 형태로 표현w0에 해당되는 부분을 표현하기 위해 x0로 표현, w0와 곱이 이루어지는 부분으로 모든 값이 1로 구성matrix가 정방행렬이 아닐 수 있으므로 정방행렬로 만들어주기 위해 X traspose matrix를 곱해줌(= Normal equation)     02.  풀이 d차원의 n개의 데이터가 주어졌을 때 w를 조정하여 error function을 최소화하는 것이 목적 2023. 11. 7.
[ML] Linear Regression Models 01. 선형회귀모델 하나 또는 여러 개의 설명변수 x와 그와 관련된 dependent variable y의 관계를 추론하는 모델y는 continuous value로 표현됨, 숫자를 표현할 때 사용하는 실수형의 데이터로 표현X의 경우 하나의 값으로 표현되거나 여러 개의 변수로 구성될 수 있음예) 날씨예측, 온도예측, 가격예측 모델     02. 회귀모델 구성 Simple Regression Model : 설명변수 한 개인 경우Linear Regression Model : xy가 선형함수 관계Non-Linear Regression Model : xy의 관계가 이차함수 이상의 다항식으로 표현되는 경우Multiple Regression Model : x가 여러 개의 설명변수로 구성된 경우Linear Regres.. 2023. 10. 13.
[ML] Convex Function 01. Convex function(볼록함수) Convex function란 : 미분을 했을 때 0인 지점이 Global optima 지점과 일치ExampleQuadratic function(이차함수)Exponential function(지수함수)Negative logarithm function(음의 로그함수)     02. Non-convex function Global optima 이외에도 Local optima, Saddle point가 존재함Saddle point : 모두 미분값이 0인 지점, 더 내려갈 수 있는 지점이 있지만 멈춘 상태Neural networks의 경우 Saddle point가 많이 존재함Gradient Descent 방식으로 최적의 해를 구하기 어려움 2023. 10. 13.
[ML] Gradient Descent Method(경사하강법) 01. Gradient Descent Method 특정한 지점에 대해서 각각 w1에 대해서 편미분 한 벡터와 w2에 대해서 편미분 한 벡터를 합친 벡터     02. Gradient Descent 동작 원리 주어진 함수에서 임의의 시작점 w0 지정단, w함수가 모든 지점에 대해서 미분이 가능해야 함 error function의 w 미분 → 미분값이 음수인 경우 오른쪽, 미분값이 양수인 경우 왼쪽으로 이동 gradient가 0이 되는 지점까지 반복     03. Learning Rate 너무 작으면 gradient까지 도달하는데 많은 시간이 소요됨지나치게 크면 원하는 지점을 찾지 못하고 발산하는 문제가 생김 2023. 10. 13.
[ML] Supervised Learning(지도학습) 01. 지도학습 동작과정 데이터 수집 단계x, y 쌍으로 구성된 데이터 구축x를 어떻게 표현할지 결정, y라는 레이블을 수집하는 labeling 과정  모델 선택 단계주어진 x, y의 최적의 parmeter를 찾는 최적화 문제를 푸는 과정 알고리즘 최적화 단계x, y 관계 표현한 함수(cost function, error fuction)를 최적화하는 과정     02. 데이터 수집 데이터 수집검색엔진주어진 데이터 확장crowd sourcing를 통한 데이터 생성데이터 레이블링레이블이 존재하지 않는 경우부분적으로 레이블이 존재하는 경우데이터 존재Re-labeling데이터 가공     03. ML 모델 선택 ML 모델 종류Logistic regressionSupport vector machine(SVM)D.. 2023. 10. 11.
[ML] Deep Learning 기초 01. Deep Learning History(1940) Electronic Brain:  사람의 뇌를 흉내 낸 인공 뇌의 모델(1950) Perceptron : 최초로 구현 가능한 Neural Network 모델, 이후 황금시대 도래(1970) XOR Problem : Perceptron 모델만으로는 XOR 문제를 풀 수 없다고 증명함, AI 암흑기 도래(1980) Multi-layered Perceptron : Perceptron을 여려 개 연결한 모델을 학습하는 BackPropagation 알고리즘 개발(1990) SVM(Support Vector Machine) : 비선형 관계를 간편하게 학습할 수 있는 모델(2000) Deep Neutral Network : Multi-layered Percep.. 2023. 10. 6.
[ML] Machine Learning 기초 01. Basic of Machine Learning Machine Learning주어진 task 하에서 어느 방향으로 성능 개선이 되는지에 대한 performance measure가 결정되었을 때 어떤 경험이 축적됨에 따라 컴퓨터 스스로 performance measure가 개선되는 방향으로 학습할 수 있는 컴퓨터 프로그램Machine Learning 종류Supervised Learning : (x, y) pair 데이터 사용Classification : y 데이터가 categorical data인 경우Regression : y 데이터가 continuous data인 경우Unsupervised Learning : 데이터 자체만 가지고 학습Clustering : Classification과 유사하지만 y.. 2023. 9. 11.
[선형대수학] 프로베니우스 노름, 행렬곱 01. 프로베니우스 노름 Frobenius norm 모든 element 절대값을 제곱한 총합의 제곱근X = np.array([[1, 2], [3, 4]])# array([[1, 2],# [3, 4]])np.linalg.norm(X) # (1**2 + 2**2 + 3**2 + 4**2)**(1/2)# 5.477225575051661 X_pt = torch.tensor([[1, 2], [3, 4.]])torch.norm(X_pt)# tensor(5.4772)X_tf = tf.Variable([[1, 2], [3, 4.]])tf.norm(X_tf)#      02. 행렬곱 Matrix Multiplication 교환법칙이 성립하지 않음A = np.array([[.. 2023. 9. 7.
[선형대수학] 아마다르 곱, 내각 01. 아마다르 곱 Hadamard product 두 벡터가 동일한 사이즈일 때, 각각의 element를 곱하는 방법X# array([[25, 2],# [ 5, 26],# [ 3, 7]])A = X+2# array([[27, 4],# [ 7, 28],# [ 5, 9]])A + X# array([[52, 6],# [12, 54],# [ 8, 16]])A * X# array([[675, 8],# [ 35, 728],# [ 15, 63]])A_pt * X_pt# tensor([[675, 8],# [ 35, 728],# [ 15, 63]])A_tf * X_tf#  .. 2023. 9. 5.
728x90

티스토리툴바