Scroll indicator done

2023.11.20
๊ธ‰ํžˆ ์ผ์ด ์žˆ์–ด ์ œ์ฃผ๋กœ ๋‚ด๋ ค์™€์žˆ๋Š” ์ƒํƒœ์˜€๊ณ , ์˜ค๋Š˜๋ถ€ํ„ฐ๋Š” ๋˜ ๊ฐ€์กฑ ์ง‘์„ ์น˜์›Œ์ค˜์•ผํ•ด์„œ (์“ฐ๋ ˆ๊ธฐ๊ฐ€ 1ํ†ค๊ฐ€๋Ÿ‰๋‚˜์˜ด) ์ตœ๋Œ€ํ•œ ์•„์นจ์—๋Š” ๋ฆฌ์กฐํŠธ์—์„œ ๊ฐ•์˜๋“ฃ๊ณ , ์ ์‹ฌ๋•Œ ์ด๋™ํ•ด์„œ ์ง‘์—์„œ ๋“ฃ๊ณ  ๋ฐฉ์— ์งฑ๋ฐ•ํ˜€์„œ ํ”ผ์–ด์„ธ์…˜ํ•˜๊ณ  ๊ทธ๋žฌ๋‹ค.. ๊ณผ์ œ 1๊นŒ์ง€ ๋”ฑ ํ–ˆ์—ˆ๋Š”๋ฐ ์‹ค์Šต์ด ๊ณผ์ œ์—ฌ์„œ ๊ทธ๋ž˜๋„ ๋‹คํ–‰์ด๋ผ๊ณ  ์ƒ๊ฐํ–ˆ๋‹ค. (๋” ๋จธ๋ฆฌ์“ธ์‹œ๊ฐ„์ด์—†์Œ) ๊ฐ•์˜๋ฅผ ๊ณ„์† ๋“ฃ๊ธดํ•ด์•ผํ•˜๋Š”๋ฐ .. ์งฌ์ด ๋„์ €ํžˆ ์•ˆ๋‚˜์„œ ๋ฐค์— ๊ฐ•์˜๋ฅผ ๋“ฃ๊ณ  ์ •๋ฆฌํ–ˆ๋‹ค. (๋ณผ ๋ถ„๋Ÿ‰์€ ๋ฏธ๋ฆฌ ํ‹€์–ด๋†“์•„์„œ ๋‹ค์‹œ ๋ณผ ์ˆ˜ ์žˆ์Œ) ๊ทธ๋ฆฌ๊ณ  ๋ด์•ผํ•  ๋…ผ๋ฌธ ๋˜ํ•œ ํ”„๋ฆฐํŠธ ํ•ด๋‘์—ˆ๋‹ค.


2023.11.21
์• ๋“ค๋„ ๋งŽ๊ณ  ๋›ฐ์–ด๋‹ค๋‹ˆ๊ธฐ๋„ ํ•˜๊ณ , ์ง‘๋„ ๊ฐœํŒ์ด๊ณ  ํ•˜๋‹ค๋ณด๋‹ˆ ๊ฐ•์˜์— ์ง‘์ค‘์ด ์ž˜์•ˆ๋๋‹ค. ์ตœ๋Œ€ํ•œ ํ•˜๊ธฐ ! ๋กœ ํ•ญ์ƒ ๋ชฉํ‘œ๋ฅผ ์žก๊ณ  ์ ˆ๋ฐ˜๋„ ๋ชปํ•˜๋Š” ๊ฒƒ ๊ฐ™๋‹ค. ๊ทธ๋ž˜๋„ optimization ๋ถ€๋ถ„์€ ๋งŽ์ด ํ•ด๋ดค๋˜ ๋ถ€๋ถ„์ด๊ณ  ๊ฐ•์˜๋„ ์ˆ˜์‹์„ ๋ชจ๋‘ ์ดํ•ดํ•  ํ•„์š”์—†์ด ํ›‘๋Š” ๋‹ค๋Š” ๋Š๋‚Œ์ด๋ผ ๋ผ์ดํŠธํ•˜๊ฒŒ ๋“ค์œผ๋ ค๊ณ  ๋…ธ๋ ฅํ–ˆ๋‹ค.์˜ˆ๋ฅผ ๋“ค๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์ •๋ฆฌ ์ฒ˜๋Ÿผ.. ๋‚ด๊ฐ€ ์ดํ•ดํ•˜๋Š” ๋Œ€๋กœ ๋ผ์ดํŠธํ•˜๊ฒŒ ์ž‘์„ฑํ–ˆ๋‹ค.

๋Œ๋ฆฌ๊ณ  ์ž๋ฅด๊ณ  ์–ด์ฉŒ๊ตฌ ์ €์ฉŒ๊ตฌ.. ~ 

mini-batch gradient descent
data augmentation




2023.11.22
CNN์€ ์ƒ๋‹นํžˆ ์–ด๋ ต๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค. ์•„๋‹ˆ ์• ์ดˆ์— ๋ชจ๋ธ์„ ์ด๋ ‡๊ฒŒ ์ œ๋Œ€๋กœ ํŒŒ๋Š” ๊ฒƒ์ด ์˜ค๋žœ๋งŒ์ด์—ˆ๋‹ค. ๋ณดํ†ต์€ ์“ฐ๊ธฐ์œ„ํ•ด์„œ "์Œ ~ ํ”ฝ์…€ ํ•ฉ์„ฑ๊ณฑ์—ฐ์‚ฐํ•˜๋Š”๊ตฐ~" ์ด์—ˆ๋‹ค๋ฉด ์ด์ œ๋Š” ํ๋ฆ„ ์ œ๋Œ€๋กœ ํŒŒ์•…ํ•˜๊ณ ์ž ํ–ˆ๋‹ค. ๊ทธ๋ž˜์„œ exercise๋ฅผ ์ข€ ๋นก์„ธ๊ฒŒํ–ˆ๋‹ค. ๋ถ„๋ช… 30๋ถ„๊ฐ•์˜์—ฌ์„œ ์Œ ~ ๊ฐœ๊ฟ€ ํ–ˆ๋Š”๋ฐ ํ•œ์‹œ๊ฐ„์ด ๋˜์–ด๋ฒ„๋ฆฌ๋Š” ๋งˆ๋ฒ•์ด๋‹ค... ํ”ผ์–ด์„ธ์…˜๋•Œ๋Š” ๋‚ด๊ฐ€ ์ด๋ฒˆ์— ์ฝ”ํ…Œ๋ฆฌ๋ทฐํ•˜๋Š” ํƒ€์ž„์ด์—ˆ๋Š”๋ฐ ๋ชฉ์†Œ๋ฆฌ๊ฐ€ ๋‚˜๊ฐ€๋ฒ„๋ ค์„œ ๋ฌด์Šจ ๋ณ€์„ฑ๊ธฐ์˜จ ์• ๋งˆ๋ƒฅ ๋ชฉ์†Œ๋ฆฌ๊ฐ€ ๋‚˜์™”๋‹ค. ํŒ€์›๋“ค์ด ๋ฐœํ‘œ... ์ฑ„ํŒ…์œผ๋กœ ํ•˜์…”๋„ ๋ผ์š” .. ๋ผ๊ณ  ํ•˜์…”์„œ ์ข€ ์›ƒ๊ฒผ๋‹ค. ๋ฐค์ƒˆ์„œ ํ•˜๋ ค๊ณ  ํ–ˆ๋Š”๋ฐ ๋ชธ์ด ๋„ˆ๋ฌด ์•ˆ์ข‹์•„์„œ 3์‹œ์— ๋ฝ€๋กค๋กค๋กœ๊ธฐ์ ˆํ•ด๋ฒ„๋ ธ๋‹ค.. ๊ทธ๋ฆฌ๊ณ  ์ด๋‚  ์ž๋ฉด์„œ ์ฃฝ์„ ๋ป”ํ–ˆ์Œ.. ๋ชฉ ์ฝ” ๋‹ค๋ง‰ํ˜€์„œ ์ˆจ์„ ์‰ด ์ˆ˜๊ฐ€ ์—†์—ˆ๋‹ค.. ๋‹ค๋“ค ๊ฐ๊ธฐ ์กฐ์‹ฌํ•˜์„ธ์š” ใ… 

๊ณฑ์„ ํ•˜๋Š” ๋‚˜๋ฆ„์˜ ์ด์œ ๋“ค์„ ๊ธฐ์–ตํ•˜๋ ค๊ณ  ๋…ธ๋ ฅํ–ˆ๋‹ค.

 


2023.11.23
๋…ผ๋ฌธ์„ ์•„์นจ์‹œ๊ฐ„ ๋ชจ๋‘๋ฅผ ํˆฌ์žํ•ด์„œ ๋ดค๋Š”๋ฐ motivate? ๊นŒ์ง€ ๋ฐ–์— ๋ชป๋ดค๋‹ค.. ์˜์–ด๋ฅผ ๋„ˆ๋ฌด ์˜ค๋žœ๋งŒ์— ๋ณด๋Š”๊ฑธ์š” ๐Ÿ˜‚ ๊ทธ๋ฆฌ๊ณ  ๋…ธ์…˜์— ์ •๋ฆฌํ•˜๋Š”๋ฐ ์ •๋ฆฌํ• ๊ฒŒ ์—†์–ด ์˜ค์—ด... 
์•ฝ๊ฐ„ ์ •๋ฆฌ ํ•˜๊ธด ํ•˜๋Š”๋ฐ ๋”ฑ ์ค‘์‹ฌ์ด ์•ˆ์žกํžˆ๋Š” ๊ธฐ๋ถ„? ์ •๋ฆฌ๋ฅผ ํ•˜๊ณ  ํ•œ๋ฒˆ๋” ๋‹ค์‹œ ๋ณด๋˜์ง€ ์ฃผํฌ๋‹˜๊ป˜ ์ปจํŽŒ๋ฐ›๋Š” ์‹œ๊ฐ„์ด ํ•„์š”ํ•  ๊ฒƒ ๊ฐ™๋‹ค. ๊ทธ์น˜๋งŒ ๋‚ด๊ฐ€ ์ƒํƒœ๊ฐ€ ๋„ˆ๋ฌด ์•ˆ์ข‹์•„์„œ ๋งŽ์ด ๋ชปํ•ด์„œ ๋„ˆ๋ฌด ์ฃ„์†กํ•˜๋‹ค.. ๊ทธ๋ฆฌ๊ณ  ๋‚ฎ์—๋Š” RNN๊นŒ์ง€ ํ•˜์ž .. ! ํ•˜๊ณ  ์ตœ๋Œ€ํ•œ ๋ณด๊ณ  ๊ณผ์ œ๊นŒ์ง€ ํ–ˆ๋‹ค. ๋ฐค์„ ์˜ค๋Š˜๋„ ์ƒˆ์„œ ๋‚จ์€ ๊ฒƒ์„ ๋งˆ๋ฌด๋ฆฌํ•ด์•ผ์ง€ ํ–ˆ๋Š”๋ฐ ์—ญ์‹œ๋‚˜ ํ”ผ๊ณคํ•ด์„œ ๊ธฐ์ ˆ...๋‚˜๋Š” ์™œ์ด๋ ‡๊ฒŒ ๋‚˜์•ฝํ• ๊นŒ ๐Ÿ˜“๐Ÿ˜“

์ •๋ฆฌ๊ฐ€ ์ค‘๊ตฌ๋‚œ๋ฐฉ์ธ ๊ธฐ๋ถ„ ใ…œใ…กใ…œ


2023.11.24
์•„์นจ 9์‹œ ๋ฐ˜์ฏค์— ์ผ์–ด๋‚˜์„œ ์š”์ฆ˜์€ ๋ฐ”๋กœ ํ•˜๋Š” ๊ฒƒ์ด ๋ฐ์ผ๋ฆฌ ์Šคํฌ๋Ÿผ ๋ฏธ๋ฆฌ ์ž‘์„ฑํ•˜๊ธฐ๋‹ค. ๊ทธ๋ž˜์•ผ ๋ญ”๊ฐ€ ์ˆ˜์—…์„ ๋ฐ”๋กœ ๋“ฃ๊ณ  ๋Š๊ธฐ์ง€ ์•Š๊ฒŒ ๋“ฃ๋Š” ๋Š๋‚Œ? ํ๋ฆ„์ด ์•ˆ๋Š๊ธฐ๋Š” ๋Š๋‚Œ์ด๋‹ค. ๊ทธ๋ž˜์„œ transfomer๋ฅผ ๋‹ฌ๋ฆฌ๋Š”๋ฐ w0w์˜€๋‹ค. ์ง€๊ธˆ ๋‹ค์‹œ๋ณด๋Š”๋ฐ๋„ ๋ญ”์†Œ๋ฆฐ์ง€ ๋ชจ๋ฅด๊ฒ ๋‹ค. ์•„๋ฌด๋ฆฌ ํ๋ฆ„์„ ํŒŒ์•…ํ•˜๋ ค๊ณ  ํ•˜๋Š” ๊ฒƒ์ผ์ง€๋ผ๋„ ๋ญ”์†Œ๋ฆฐ๊ฐ€ ... ์‹ถ์–ด์„œ ๊ฑฐ์ฆ˜ 1์‹œ๊ฐ„์€ ๋ดค๋˜ ๊ฒƒ ๊ฐ™๋‹ค. ๊ทธ๋ฆฌ๊ณ  ํŠนํžˆ positional encoding์ด ์•„์ง ํ—ท๊ฐˆ๋ฆฌ๊ธด ํ•˜๋Š”๋ฐ ๋”ฐ๋กœ ์ฐพ์•„๋ด์•ผํ•  ํ•„์š”๊ฐ€ ์žˆ์–ด๋ณด์ธ๋‹ค. DV๋Š” ์–ธ์ œ๋“ฃ๋ˆ„ ? ๐Ÿ˜‚๐Ÿ˜‚๐Ÿ˜‚ ๋ˆˆ๋ฌผ์ด ๋‚œ๋‹ค ์ด๋ฒˆ ์ฃผ๋ง ์••์ˆ˜์•ผ !!!!!! ์•„๋ฌดํŠผ ์ŠคํŽ˜์…œ ํ”ผ์–ด์„ธ์…˜ํ•˜๋Š”๋ฐ ๋„ˆ๋ฌด ๋ง์„ ์žฌ๋ฐŒ๊ฒŒ ํ•˜๋Š” ๋ถ„์ด ๊ณ„์…”์„œ ๋˜ ์›ƒ๊ฒจ์„œ ๋ˆˆ๋ฌผ์ด ๋‚ ๋ป”ํ–ˆ๋‹ค.. ์–ด์ฉŒ๋‹ค๋ณด๋‹ˆ ๊ฒŒ์ž„๋ช‡ํŒ ํ•˜์‹  ๋ถ„๋„ ์ด๋ฒˆ๊ธฐํšŒ์— ๋งŒ๋‚ฌ๋‹ค ! ๋ฏธ๋“œ ์นด์‹œ carry ๋ถ€์บ  ์‚ฌ๋žŒ๋“ค๊ณผ ์ฒซ ๊ฒŒ์ž„ํ•œํŒ ํ•˜๋ฉด์„œ๋„ '์„ค๋งˆ ํ”ผ์–ด์„ธ์…˜๋•Œ ๋งŒ๋‚˜๊ฒ ์–ด?' ํ–ˆ๋Š”๋ฐ ๋งŒ๋‚ฌ๋‹ค.. ๋ญ”๊ฐ€ ๋ฐ˜๊ฐ€์› ๋‹ค ! ์ด๋Ÿฐ์‹์œผ๋กœ ์•„๋Š” ์‚ฌ๋žŒ ํ•˜๋‚˜ํ•˜๋‚˜ ๋Š˜์–ด๊ฐ€๋‹ˆ ๋™์ง€๋“ค์„ ๋งŒ๋‚˜๋Š” ๊ธฐ๋ถ„... ๋‚˜๋Š” ์ŠคํŽ˜์…œ ํ”ผ์–ด์„ธ์…˜ ํ•ญ์ƒ ๋งŒ์กฑํ•œ๋‹ค ! ์šฐ๋ฆฌ ํŒ€์›๋“ค๋„ ํ”ผ์–ด์„ธ์…˜์—์„œ ์˜ค๋Š˜์€ ์ผ๋ช… '๋…ธ๊ฐ€๋ฆฌ'๋ฅผ ์ข€ ๊น ๋Š”๋ฐ ์ง„์งœ ๋ณ„์— ๋ณ„ ์–˜๊ธฐ ๋‹คํ–ˆ๋‹ค. ์ถœ์‹ ์ด์•ผ๊ธฐ.. ์ค‘ํ•™๊ต ๊นŒ์ง€.. ์šฐ๋ฆฌ ์ง‘ ์ฃผ์†Œ๋„ ๊น”๋ป”ํ–ˆ๋‹ค ์•„๋ฌดํŠผ ๋…ผ๋ฌธ๋ณด๋Ÿฌ๊ฐ€์•ผํ•˜๋Š”๋ฐ ๋‚˜ ์™œ ๋ˆˆ์ด ๊ฐ๊ธฐ์ฃ  ? ๐Ÿ˜‚

๋‡Œ์ ˆ์‡ผ