본문 바로가기

AI 공부 항상하자/관련 이론
5

[Math] Deep-Learning 학습방법 이해하기 더보기기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)** 강의자료를 사용하지 않습니다 **** 상업적 이용을 금지합니다 **Today's Keyword신경망, softmax, activation function, Backpropagation, chain Rule비선형모델 - 신경망 neural network전체 데이터 X, x를 다른 공간으로 보내주는 가중치 W의 곱으로 표현 + b(y절편)이 때 출력 벡터의 차원은 d -> p x to O로 연결할 때 P개의 모델.softmax 함수모델의 출력을 확률로 해석할 수 있게분류 문제 풀때 모델 X 소프트맥스 → 예측softmax(o) = softmax(Wx +b)학습할.. 2025. 1. 20.

[Math] Gradient Descent (매운미분맛) 더보기기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)** 강의자료를 사용하지 않습니다 **** 상업적 이용을 금지합니다 **Today's Keyword미분, 기울기, 경사하강법, L2 norm, L2 norm 제곱, SGD np.linalg.pinv로 데이터를 선형 모델로 해석해서 선형회귀식을 찾을 수 있음. 여기서 L2 노름을 최소화하는 게 목표.L2 Norm||정답 - 두 벡터의 차이||²를 최소화하는 B를 찾아야 함. 목적식을 최소화하는 B를 구하는 경사하강법 알고리즘L2 노름을 최소화하는 벡터나, L2 노름 제곱을 최소화하는 벡터나 결과는 같음. 그래서 계산 간단하게 하려면 L2 노름 제곱을 쓰는 게 더 .. 2025. 1. 8.

[Math] Gradient Descent (착한미분맛) 더보기기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)** 강의자료를 사용하지 않습니다 **** 상업적 이용을 금지합니다 ** Today's Keyword미분, 기울기, 경사하강법, 편미분, gradient vector 미분 (Differentiation)변수의 움직임에 따른 함수값의 변화 측정최적화에서 많이 사용 미분 == 접선의 기울기함수의 모양이 매끄러워야 한다 (연속)한 점에서 접선의 기울기를 알면 증가 : 미분 값 더하기감소 : 미분 값 빼기 미분값이 음수(좌로 상승하는 형태) = x+f'(x) 미분값이 앙수(우로 상승하는 형태) = x+f'(x) > x 는 오른쪽으로 이동하여 함수값이 감소sympy.s.. 2024. 12. 16.

[Math] 행렬을 알아보자 더보기기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)** 강의자료를 사용하지 않습니다 **** 상업적 이용을 금지합니다 **Today's Keyword행렬 곱셈, 행렬 내적, 행x열y, 행렬벡터를 원소로 가지는 2차원 배열행벡터(row), 열벡터(column)벡터가 공간에서 한 점을 의미한다면, 행렬은 여러 점들을 나타냄. 같은 모양이면덧셈, 뺄셈성분곱 (각 인덱스 위치끼리 곱하기) X * Y = (Xij Yij)스칼라곱 aX = aXijvector 공간에서 사용되는 연산자 operator로 이해. 행렬곱으로 벡터를 다른 차원 보내버리기.패턴을 추출할 수 있고, 데이터를 압축할 수도 있음. 모든 선형변환 linea.. 2024. 12. 2.

[Math] 벡터를 알아보자 더보기기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)** 강의자료를 사용하지 않습니다 **** 상업적 이용을 금지합니다 **Today's Keyword벡터, Norm, L1-norm, L2-norm, 내적, 정사영벡터공간에서 한 점. 원점으로부터 상대적 위치 표현스칼라 곱 하면 길이만 변함.숫자를 원소로 가지는 리스트, 배열같은 모양이면 성분곱 Hadamard product벡터의 덧셈 == 다른 벡터로부터 상대적 이동Norm = 원점에서 부터의 거리노름의 종류따라 다름 -> 기하학적 성질도 달라짐L1 norm - 변화량의 절대값 모두 더해 !for Robust 학습, Lasso 회귀L2 norm - 피타고라스 정리.. 2024. 11. 22.

이전 1 다음

최근댓글

최근글

인기글

skin by © 2024 ttutta

티스토리툴바