2023.11.20
๊ธํ ์ผ์ด ์์ด ์ ์ฃผ๋ก ๋ด๋ ค์์๋ ์ํ์๊ณ , ์ค๋๋ถํฐ๋ ๋ ๊ฐ์กฑ ์ง์ ์น์์ค์ผํด์ (์ฐ๋ ๊ธฐ๊ฐ 1ํค๊ฐ๋๋์ด) ์ต๋ํ ์์นจ์๋ ๋ฆฌ์กฐํธ์์ ๊ฐ์๋ฃ๊ณ , ์ ์ฌ๋ ์ด๋ํด์ ์ง์์ ๋ฃ๊ณ ๋ฐฉ์ ์งฑ๋ฐํ์ ํผ์ด์ธ์
ํ๊ณ ๊ทธ๋ฌ๋ค.. ๊ณผ์ 1๊น์ง ๋ฑ ํ์๋๋ฐ ์ค์ต์ด ๊ณผ์ ์ฌ์ ๊ทธ๋๋ ๋คํ์ด๋ผ๊ณ ์๊ฐํ๋ค. (๋ ๋จธ๋ฆฌ์ธ์๊ฐ์ด์์) ๊ฐ์๋ฅผ ๊ณ์ ๋ฃ๊ธดํด์ผํ๋๋ฐ .. ์งฌ์ด ๋์ ํ ์๋์ ๋ฐค์ ๊ฐ์๋ฅผ ๋ฃ๊ณ ์ ๋ฆฌํ๋ค. (๋ณผ ๋ถ๋์ ๋ฏธ๋ฆฌ ํ์ด๋์์ ๋ค์ ๋ณผ ์ ์์) ๊ทธ๋ฆฌ๊ณ ๋ด์ผํ ๋
ผ๋ฌธ ๋ํ ํ๋ฆฐํธ ํด๋์๋ค.
2023.11.21
์ ๋ค๋ ๋ง๊ณ ๋ฐ์ด๋ค๋๊ธฐ๋ ํ๊ณ , ์ง๋ ๊ฐํ์ด๊ณ ํ๋ค๋ณด๋ ๊ฐ์์ ์ง์ค์ด ์์๋๋ค. ์ต๋ํ ํ๊ธฐ ! ๋ก ํญ์ ๋ชฉํ๋ฅผ ์ก๊ณ ์ ๋ฐ๋ ๋ชปํ๋ ๊ฒ ๊ฐ๋ค. ๊ทธ๋๋ optimization ๋ถ๋ถ์ ๋ง์ด ํด๋ดค๋ ๋ถ๋ถ์ด๊ณ ๊ฐ์๋ ์์์ ๋ชจ๋ ์ดํดํ ํ์์์ด ํ๋ ๋ค๋ ๋๋์ด๋ผ ๋ผ์ดํธํ๊ฒ ๋ค์ผ๋ ค๊ณ ๋
ธ๋ ฅํ๋ค.์๋ฅผ ๋ค๋ฉด ๋ค์๊ณผ ๊ฐ์ ์ ๋ฆฌ ์ฒ๋ผ.. ๋ด๊ฐ ์ดํดํ๋ ๋๋ก ๋ผ์ดํธํ๊ฒ ์์ฑํ๋ค.
๋๋ฆฌ๊ณ ์๋ฅด๊ณ ์ด์ฉ๊ตฌ ์ ์ฉ๊ตฌ.. ~
2023.11.22
CNN์ ์๋นํ ์ด๋ ต๋ค๊ณ ์๊ฐํ๋ค. ์๋ ์ ์ด์ ๋ชจ๋ธ์ ์ด๋ ๊ฒ ์ ๋๋ก ํ๋ ๊ฒ์ด ์ค๋๋ง์ด์๋ค. ๋ณดํต์ ์ฐ๊ธฐ์ํด์ "์ ~ ํฝ์
ํฉ์ฑ๊ณฑ์ฐ์ฐํ๋๊ตฐ~" ์ด์๋ค๋ฉด ์ด์ ๋ ํ๋ฆ ์ ๋๋ก ํ์
ํ๊ณ ์ ํ๋ค. ๊ทธ๋์ exercise๋ฅผ ์ข ๋นก์ธ๊ฒํ๋ค. ๋ถ๋ช
30๋ถ๊ฐ์์ฌ์ ์ ~ ๊ฐ๊ฟ ํ๋๋ฐ ํ์๊ฐ์ด ๋์ด๋ฒ๋ฆฌ๋ ๋ง๋ฒ์ด๋ค... ํผ์ด์ธ์
๋๋ ๋ด๊ฐ ์ด๋ฒ์ ์ฝํ
๋ฆฌ๋ทฐํ๋ ํ์์ด์๋๋ฐ ๋ชฉ์๋ฆฌ๊ฐ ๋๊ฐ๋ฒ๋ ค์ ๋ฌด์จ ๋ณ์ฑ๊ธฐ์จ ์ ๋ง๋ฅ ๋ชฉ์๋ฆฌ๊ฐ ๋์๋ค. ํ์๋ค์ด ๋ฐํ... ์ฑํ
์ผ๋ก ํ์
๋ ๋ผ์ .. ๋ผ๊ณ ํ์
์ ์ข ์๊ฒผ๋ค. ๋ฐค์์ ํ๋ ค๊ณ ํ๋๋ฐ ๋ชธ์ด ๋๋ฌด ์์ข์์ 3์์ ๋ฝ๋กค๋กค๋ก๊ธฐ์ ํด๋ฒ๋ ธ๋ค.. ๊ทธ๋ฆฌ๊ณ ์ด๋ ์๋ฉด์ ์ฃฝ์ ๋ปํ์.. ๋ชฉ ์ฝ ๋ค๋งํ์ ์จ์ ์ด ์๊ฐ ์์๋ค.. ๋ค๋ค ๊ฐ๊ธฐ ์กฐ์ฌํ์ธ์ ใ
2023.11.23
๋
ผ๋ฌธ์ ์์นจ์๊ฐ ๋ชจ๋๋ฅผ ํฌ์ํด์ ๋ดค๋๋ฐ motivate? ๊น์ง ๋ฐ์ ๋ชป๋ดค๋ค.. ์์ด๋ฅผ ๋๋ฌด ์ค๋๋ง์ ๋ณด๋๊ฑธ์ ๐ ๊ทธ๋ฆฌ๊ณ ๋
ธ์
์ ์ ๋ฆฌํ๋๋ฐ ์ ๋ฆฌํ ๊ฒ ์์ด ์ค์ด...
์ฝ๊ฐ ์ ๋ฆฌ ํ๊ธด ํ๋๋ฐ ๋ฑ ์ค์ฌ์ด ์์กํ๋ ๊ธฐ๋ถ? ์ ๋ฆฌ๋ฅผ ํ๊ณ ํ๋ฒ๋ ๋ค์ ๋ณด๋์ง ์ฃผํฌ๋๊ป ์ปจํ๋ฐ๋ ์๊ฐ์ด ํ์ํ ๊ฒ ๊ฐ๋ค. ๊ทธ์น๋ง ๋ด๊ฐ ์ํ๊ฐ ๋๋ฌด ์์ข์์ ๋ง์ด ๋ชปํด์ ๋๋ฌด ์ฃ์กํ๋ค.. ๊ทธ๋ฆฌ๊ณ ๋ฎ์๋ RNN๊น์ง ํ์ .. ! ํ๊ณ ์ต๋ํ ๋ณด๊ณ ๊ณผ์ ๊น์ง ํ๋ค. ๋ฐค์ ์ค๋๋ ์์ ๋จ์ ๊ฒ์ ๋ง๋ฌด๋ฆฌํด์ผ์ง ํ๋๋ฐ ์ญ์๋ ํผ๊ณคํด์ ๊ธฐ์ ...๋๋ ์์ด๋ ๊ฒ ๋์ฝํ ๊น ๐๐
2023.11.24
์์นจ 9์ ๋ฐ์ฏค์ ์ผ์ด๋์ ์์ฆ์ ๋ฐ๋ก ํ๋ ๊ฒ์ด ๋ฐ์ผ๋ฆฌ ์คํฌ๋ผ ๋ฏธ๋ฆฌ ์์ฑํ๊ธฐ๋ค. ๊ทธ๋์ผ ๋ญ๊ฐ ์์
์ ๋ฐ๋ก ๋ฃ๊ณ ๋๊ธฐ์ง ์๊ฒ ๋ฃ๋ ๋๋? ํ๋ฆ์ด ์๋๊ธฐ๋ ๋๋์ด๋ค. ๊ทธ๋์ transfomer๋ฅผ ๋ฌ๋ฆฌ๋๋ฐ w0w์๋ค. ์ง๊ธ ๋ค์๋ณด๋๋ฐ๋ ๋ญ์๋ฆฐ์ง ๋ชจ๋ฅด๊ฒ ๋ค. ์๋ฌด๋ฆฌ ํ๋ฆ์ ํ์
ํ๋ ค๊ณ ํ๋ ๊ฒ์ผ์ง๋ผ๋ ๋ญ์๋ฆฐ๊ฐ ... ์ถ์ด์ ๊ฑฐ์ฆ 1์๊ฐ์ ๋ดค๋ ๊ฒ ๊ฐ๋ค. ๊ทธ๋ฆฌ๊ณ ํนํ positional encoding์ด ์์ง ํท๊ฐ๋ฆฌ๊ธด ํ๋๋ฐ ๋ฐ๋ก ์ฐพ์๋ด์ผํ ํ์๊ฐ ์์ด๋ณด์ธ๋ค. DV๋ ์ธ์ ๋ฃ๋ ? ๐๐๐ ๋๋ฌผ์ด ๋๋ค ์ด๋ฒ ์ฃผ๋ง ์์์ผ !!!!!! ์๋ฌดํผ ์คํ์
ํผ์ด์ธ์
ํ๋๋ฐ ๋๋ฌด ๋ง์ ์ฌ๋ฐ๊ฒ ํ๋ ๋ถ์ด ๊ณ์
์ ๋ ์๊ฒจ์ ๋๋ฌผ์ด ๋ ๋ปํ๋ค.. ์ด์ฉ๋ค๋ณด๋ ๊ฒ์๋ชํ ํ์ ๋ถ๋ ์ด๋ฒ๊ธฐํ์ ๋ง๋ฌ๋ค ! ๋ฏธ๋ ์นด์ carry ๋ถ์บ ์ฌ๋๋ค๊ณผ ์ฒซ ๊ฒ์ํํ ํ๋ฉด์๋ '์ค๋ง ํผ์ด์ธ์
๋ ๋ง๋๊ฒ ์ด?' ํ๋๋ฐ ๋ง๋ฌ๋ค.. ๋ญ๊ฐ ๋ฐ๊ฐ์ ๋ค ! ์ด๋ฐ์์ผ๋ก ์๋ ์ฌ๋ ํ๋ํ๋ ๋์ด๊ฐ๋ ๋์ง๋ค์ ๋ง๋๋ ๊ธฐ๋ถ... ๋๋ ์คํ์
ํผ์ด์ธ์
ํญ์ ๋ง์กฑํ๋ค ! ์ฐ๋ฆฌ ํ์๋ค๋ ํผ์ด์ธ์
์์ ์ค๋์ ์ผ๋ช
'๋
ธ๊ฐ๋ฆฌ'๋ฅผ ์ข ๊น ๋๋ฐ ์ง์ง ๋ณ์ ๋ณ ์๊ธฐ ๋คํ๋ค. ์ถ์ ์ด์ผ๊ธฐ.. ์คํ๊ต ๊น์ง.. ์ฐ๋ฆฌ ์ง ์ฃผ์๋ ๊น๋ปํ๋ค ์๋ฌดํผ ๋
ผ๋ฌธ๋ณด๋ฌ๊ฐ์ผํ๋๋ฐ ๋ ์ ๋์ด ๊ฐ๊ธฐ์ฃ ? ๐
'AI ๊ณต๋ถ ํญ์ํ์ > [๋ถ์บ ] AI Tech 6th ํ๊ณ ' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
[๋ถ์บ ] 5์ฃผ์ฐจ ํ๊ณ (3) | 2023.12.08 |
---|---|
[๋ถ์บ ] 4์ฃผ์ฐจ ํ๊ณ (4) | 2023.12.01 |
[๋ถ์บ ] 2์ฃผ์ฐจ ํ๊ณ (2) | 2023.11.17 |
[๋ถ์บ ] 1์ฃผ์ฐจ ํ๊ณ (0) | 2023.11.17 |
[๋ถ์บ ] ๋ถ์ด๋ฒ๋ ธ๋ค .. ! _ ํฉ๊ฒฉ์๊ธฐ + ์จ๋ณด๋ฉํคํธ (2) | 2023.11.15 |