[Math] 행렬을 알아보자

기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.
개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)
** 강의자료를 사용하지 않습니다 **
** 상업적 이용을 금지합니다 **

Today's Keyword
행렬 곱셈, 행렬 내적, 행x열y, 

---

행렬

• 벡터를 원소로 가지는 2차원 배열
• 행벡터(row), 열벡터(column)
• 벡터가 공간에서 한 점을 의미한다면, 행렬은 여러 점들을 나타냄. 
• 같은 모양이면
  • 덧셈, 뺄셈
  • 성분곱 (각 인덱스 위치끼리 곱하기) X * Y = (Xij Yij)
  • 스칼라곱 aX = aXij
• vector 공간에서 사용되는 연산자 operator로 이해. 
• 행렬곱으로 벡터를 다른 차원 보내버리기.
• 패턴을 추출할 수 있고, 데이터를 압축할 수도 있음. 
• 모든 선형변환 linear transform은 행렬곱으로 계산할 수 있다. 

전치행렬 X^T

• 행과 열의 인덱스가 바뀜
• 대각으로 
• xn1 <-> x1m

행렬 곱셈 ; Matrix multiplication

• i번째 행 벡터와 j번째 열벡터 사이의 내적을 성분으로 가지는 행렬 계산
• 크로스로 계산한다 

import numpy as np
X = np.array([[1, -2, 3],
			[7, 5, 0],
            [-2, -1, 2]])
Y = np.array([[0, 1],
			[1, -1],
            [-2, 1]])
            
X @ Y
# n11 = 1*0 + -2*1 + 3*-2 = -8
# n12 = 1*1 + -2*-1 + 3*1 = 6
# n21 = 7*0 + 5*1 + 0*-2 = 5
# n22 = 7*1 + 5*-1 + 0*1 = 2
# n31 = -2*0 + -1*1 + 2*-2 = -5
# n32 = -2*1 + -1*-1 + 2*1 = 1

행렬 내적 np.inner

• i 번째 행벡터와 j 번째 행백터 사이의 내적을 성분으로 가지는 행렬 
• 수학의 내적과는 다르다 !!! (어우 헷갈리게)

import numpy as np
X = np.array([[1, -2, 3],
			[7, 5, 0],
            [-2, -1, 2]])
Y = np.array([[0, 1, -1],
			[1, -1, 0]])
            
np.inner(X, Y)

# n11 = 1*0 + -2*1 + 3*-1 = -5
# n12 = 1*1 + -2*-1 + 3*0 = 3
# n21 = 7*0 + 5*1 + 0*-1 = 5
# n22 = 7*1 + 5*-1 + 0*0 = 2
# n31 = -2*0 + -1*1 + 2*-1 = -3
# n32 = -2*1 + -1*-1 + 2*0 = -1

 

역행렬 ; inverse matrix A^-1

• 행 = 열
• 행렬식 determinant 가 -이 아닌 경우에만 계산. 
• AA^-1 = A^-1A = I (항등행렬)
• 역행렬 계산할 수 없다면
  • 유사역행렬 (pseudo-inverse)
  • 무어-펜로즈 (Moore-Penrose) 

 

이를 응용해서 선형회귀분석을 해보자 (linear model)

Expression of point to linear

Moore-Penrose 역행렬 이용하면 y 근접하는 y hat을 찾을 수 있음.

• X : input array
• y : output array
• b : 회귀 계수 벡터

L2 norm을 최소화 하는 것이 목표

# 필요한 라이브러리 임포트
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 데이터 생성
x = np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]).reshape(-1, 1)
y = np.array([-1, 2, 5, 7, 10, 12, 15, 16, 18, 21])

# 선형회귀 모델 학습
model = LinearRegression()
model.fit(x, y)
y_test = model.predict(x_test)

# Moore-Penrose 역행렬을 사용한 방법
X_ = np.array([np.append(x, [1]) for x in X])  # intercept 항 추가 (y절편)
beta = np.linalg.pinv(X_) @ y
y_test = np.append(x, [1]) @ beta

 

• y절편 항(intercept)를 추가해줘야 위의 linearregression하는 것과 똑같이 나온다. 

ipynb로 하나하나 보는 것도 좋지먼 여기서 수정하여 시각화 해봐서 비교하는 것도 좋겠다. !