본문 바로가기

AI
5

[Math] Gradient Descent (착한미분맛) 더보기기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)** 강의자료를 사용하지 않습니다 **** 상업적 이용을 금지합니다 ** Today's Keyword미분, 기울기, 경사하강법, 편미분, gradient vector 미분 (Differentiation)변수의 움직임에 따른 함수값의 변화 측정최적화에서 많이 사용 미분 == 접선의 기울기함수의 모양이 매끄러워야 한다 (연속)한 점에서 접선의 기울기를 알면 증가 : 미분 값 더하기감소 : 미분 값 빼기 미분값이 음수(좌로 상승하는 형태) = x+f'(x) 미분값이 앙수(우로 상승하는 형태) = x+f'(x) > x 는 오른쪽으로 이동하여 함수값이 감소sympy.s.. 2024. 12. 16.

[Math] 행렬을 알아보자 더보기기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)** 강의자료를 사용하지 않습니다 **** 상업적 이용을 금지합니다 **Today's Keyword행렬 곱셈, 행렬 내적, 행x열y, 행렬벡터를 원소로 가지는 2차원 배열행벡터(row), 열벡터(column)벡터가 공간에서 한 점을 의미한다면, 행렬은 여러 점들을 나타냄. 같은 모양이면덧셈, 뺄셈성분곱 (각 인덱스 위치끼리 곱하기) X * Y = (Xij Yij)스칼라곱 aX = aXijvector 공간에서 사용되는 연산자 operator로 이해. 행렬곱으로 벡터를 다른 차원 보내버리기.패턴을 추출할 수 있고, 데이터를 압축할 수도 있음. 모든 선형변환 linea.. 2024. 12. 2.

[부캠] 11주차 회고 2024/01/15 이제 대회 마지막 주다! 솔직히 다들 지쳐서 무언가 테스트를 계속 하기에 힘든 상태랄까나.. 그래도 주말동안 각자 뭐할지 정해놓고 분담하여 진행했다. 대충 mmdetection 튜닝이나 메트릭 등 필요한 툴들은 다 진행하였으니 본격적으로 모델들 테스트 및 적용으로 성능을 끌어올릴 때다. 나는 ddq 5scale + cross entropy + augmentation 을 진행했다. cross entropy loss로 각각 다르게 로스를 적용하는게 포인트였다. 근데 진짜 구라 안치고 서버 이날에만 3번 터졌다. 메모리 이슈가.. 2024/01/16 cascade convnext를 진행했다. cascade RCNN 이라 DDQ보다는 덜 헤비한 모델이었다. Cascade를 테스트하고자 함도 .. 2024. 1. 19.

[부캠] 2주차 회고 2023.11.13 2주차의 첫날이자 토치를 시작하는 날이다. 파이토치는 그저 텐서플로우의 대체 느낌으로 시작했었다. 텐서플로우는 너무 자료도 예전이고 호환성부분에서 별로라고 느꼈었다. (당연히 개인적 의견) 그래서 토치 기본설정부터 해서 친절히 알려주시는데 강의 흡입력이 너무 좋아서 후루룩 3까지 봤던 것 같다. 피어세션 때는 코드리뷰, 논문리뷰 대해서 어떻게 할지 고민했던 것 같다. 2023.11.14 저번주말인가 토치 학습 계획이 나오고 팀원 노션에 내가 진도표를 올려놨었다. 강의항목별과 과제를 포함하여 차트로 만들고 팀원별로 얼마나 했는지 시각적으로 바로 보이게 해두었었다. 그래서 그런지 좀 더 강의 효율이 오르는 느낌이었다. 보면서 팀원들과 체크하며 강의를 들으니 좀 더 열심히 하게되는 것 같다.. 2023. 11. 17.

[부캠] 1주차 회고 2023.11.06 첫날이라 떨리지만 OT에서 친절히 설명해주셔서 너무 좋았다. 강의 시간을 전체 계산하고 4일정도로 나눠보니 4-5시간이 나오길래 당황했지만…. 우선 해보자는 마인드로 열심히 들었다. 하지만 생각보다 3시간정도를 했음에도 python 2를 끝내지 못해 다음 날은 속도를 더 올려야겠다고 생각한다. 무엇이 문제일까 고민해봤다. 노션도 정리가 되지 않아 부캠의 룰이나 시간표 정리가 스스로 안되었고 계속 공지를 확인하며 정리했던 것같다. 피어세션에서 만난 팀원들과 바로 ppt를 함께 만들었다. 내가 구글 문서로 다같이 작업할 수 있는 환경을 만들어 함께 수정해나갔고, (팀장, 모더레이터 이런 개념도 없었기에) 한 분이 뉴진스 토끼 아이디어를 내주셔서 그 뒤로 수월하게 잘 진행했던 것같다. 서로.. 2023. 11. 17.

이전 1 다음

최근댓글

최근글

인기글

skin by © 2024 ttutta

티스토리툴바