๋ฐ์ํ
๋๋ณด๊ธฐ
๊ธฐ์กด ๋ถ์บ ๋ ๋
ธ์
์ ๊ฐ์ธ์ ์ผ๋ก ์ ๋ฆฌํ ๊ฒ์ ๊ณต๋ถํ ๊ฒธ ์์ฑํ ๊ธ์
๋๋ค.
๊ฐ์ธ์ ์ผ๋ก ํด์ํด์ ์์ฑํฉ๋๋ค. (ํ๋ฆด ์ ์์. ์ ์ ์์ฒญ ์๋งใ
)
** ๊ฐ์์๋ฃ๋ฅผ ์ฌ์ฉํ์ง ์์ต๋๋ค **
** ์์
์ ์ด์ฉ์ ๊ธ์งํฉ๋๋ค **
Today's Keyword
๋ฒกํฐ, Norm, L1-norm, L2-norm, ๋ด์ , ์ ์ฌ์
๋ฒกํฐ
- ๊ณต๊ฐ์์ ํ ์ . ์์ ์ผ๋ก๋ถํฐ ์๋์ ์์น ํํ
- ์ค์นผ๋ผ ๊ณฑ ํ๋ฉด ๊ธธ์ด๋ง ๋ณํจ.
- ์ซ์๋ฅผ ์์๋ก ๊ฐ์ง๋ ๋ฆฌ์คํธ, ๋ฐฐ์ด
- ๊ฐ์ ๋ชจ์์ด๋ฉด ์ฑ๋ถ๊ณฑ Hadamard product
- ๋ฒกํฐ์ ๋ง์ == ๋ค๋ฅธ ๋ฒกํฐ๋ก๋ถํฐ ์๋์ ์ด๋
Norm = ์์ ์์ ๋ถํฐ์ ๊ฑฐ๋ฆฌ
- ๋ ธ๋ฆ์ ์ข ๋ฅ๋ฐ๋ผ ๋ค๋ฆ -> ๊ธฐํํ์ ์ฑ์ง๋ ๋ฌ๋ผ์ง
- L1 norm - ๋ณํ๋์ ์ ๋๊ฐ ๋ชจ๋ ๋ํด !
for Robust ํ์ต, Lasso ํ๊ท
- L2 norm - ํผํ๊ณ ๋ผ์ค ์ ๋ฆฌ (a^2 + b^2 = c^2) ์จ์ ์ ํด๋ฆฌ๋ ๊ฑฐ๋ฆฌ ๊ณ์ฐํด !
for Laplace ๊ทผ์ฌ, Ridge ํ๊ท
- ๋ ์ ์ฌ์ด ๊ฑฐ๋ฆฌ(๋ฒกํฐ์ ๋บ์ ) -> ์ 2์ฝ์ฌ์ธ ๋ฒ์น์ผ๋ก ๊ฐ๋๋ ๊ณ์ฐ ๊ฐ๋ฅ (๊ฐ๋๋ L2 norm)
์ ์ ๋ง ๋ด์ ์ด์?
- ์ ์ฌ์(orthogonal projection)๋ ๋ฒกํฐ์ ๊ธธ์ด์ ๊ด๋ จ์๋ค.
- ์ ์ฌ์์ด ๋๊ตฌ์ธ์ : "๊ณง๊ฒ ์ ๊ทธ๋ฆผ์" (์ง์ง์)
- ๋ด์ ์ ๋ ๋ฒกํฐ์ Similarity๋ฅผ ์ธก์ ํ๋ ๋ฐ ์ฌ์ฉ ๊ฐ๋ฅํ๋ค
๊ฐ์๊ธฐ ๋ถ์๊ธฐ ๋ฌธ์ (๊ฐ๋ถ๋ฌธ)
Q. ๋ ๋ฒกํฐ์ ๋ด์ (๋จ์ผ์ ํ , 10์ )
๋ด์ ์ด ๋ค์๊ณผ ๊ฐ์ด ์ ์ ๋ ๋, ๋ค์ ๋ ๋ฒกํฐ ( xx , yy )์ ๋ด์ ์ ๊ตฌํ์์ค.
๊ฐ์๊ธฐ ๋ถ์๊ธฐ ์ฝ๋ (๊ฐ๋ถ์ฝ)
import numpy as np
# ๋ ๋ฒกํฐ ์ ์
u = np.array([3, 4])
v = np.array([4, 3])
# L1 ๋
ธ๋ฆ (๋ฒกํฐ ์์์ ์ ๋๊ฐ ํฉ)
l1_norm_u = np.sum(np.abs(u))
l1_norm_v = np.sum(np.abs(v))
# L2 ๋
ธ๋ฆ (๋ฒกํฐ ํฌ๊ธฐ, Euclidean Norm)
l2_norm_u = np.linalg.norm(u)
l2_norm_v = np.linalg.norm(v)
# ๋ด์ ๊ณ์ฐ
dot_product = np.dot(u, v)
# ๊ฒฐ๊ณผ ์ถ๋ ฅ
print("๋ฒกํฐ u:", u) # ๋ฒกํฐ u: [3 4]
print("๋ฒกํฐ v:", v) # ๋ฒกํฐ v: [4 3]
print("\nL1 ๋
ธ๋ฆ (u):", l1_norm_u) # L1 ๋
ธ๋ฆ (u): 7
print("L1 ๋
ธ๋ฆ (v):", l1_norm_v) # L1 ๋
ธ๋ฆ (v): 7
print("\nL2 ๋
ธ๋ฆ (u):", l2_norm_u) # L2 ๋
ธ๋ฆ (u): 5.0
print("L2 ๋
ธ๋ฆ (v):", l2_norm_v) # L2 ๋
ธ๋ฆ (v): 5.0
print("\n๋ด์ (u · v):", dot_product) # ๋ด์ (u · v): 24
์ฐธ๊ณ : L1 norm, L2 norm, ๋ด์ https://hwanii-with.tistory.com/5 https://m.blog.naver.com/ryumochyee-logarithm/221542210272
๋ฐ์ํ
'AI ๊ณต๋ถ ํญ์ํ์ > ๊ด๋ จ ์ด๋ก ' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
[Math] Gradient Descent (์ฐฉํ๋ฏธ๋ถ๋ง) (2) | 2024.12.16 |
---|---|
[Math] ํ๋ ฌ์ ์์๋ณด์ (1) | 2024.12.02 |