[Math] Gradient Descent (착한미분맛)

기존 부캠 때 노션에 개인적으로 정리한 것을 공부할 겸 작성한 글입니다.
개인적으로 해석해서 작성합니다. (틀릴 수 있음. 정정요청 요망ㅋ)
** 강의자료를 사용하지 않습니다 **
** 상업적 이용을 금지합니다 **

 

 

Today's Keyword
미분, 기울기, 경사하강법, 편미분, gradient vector

 

 

미분 (Differentiation)

• 변수의 움직임에 따른 함수값의 변화 측정
• 최적화에서 많이 사용 

미분을 손으로 계산하려면 일일이 h -> 0 극한 계산해야 함

h를 0으로 보내면 (x, f(x))에서 접선의 기울기로 수렴.

• 미분 == 접선의 기울기
  • 함수의 모양이 매끄러워야 한다 (연속)
• 한 점에서 접선의 기울기를 알면 
  • 증가 : 미분 값 더하기
  • 감소 : 미분 값 빼기 
  • 미분값이 음수(좌로 상승하는 형태) = x+f'(x) < x 는 왼쪽으로 이동하여 함수값이 증가 
  • 미분값이 앙수(우로 상승하는 형태) = x+f'(x) > x 는 오른쪽으로 이동하여 함수값이 감소
• sympy.sym.diff() : 로 간단하게 미분 계산 가능 (import sympy as sym)

 

경사상승 하강 법

 

목적함수를 최대화

• Gradient Ascent +
  • 미분값을 더하기
  • 함수의 극대값의 위치
  • 제일 높은 곳 찾기

목적함수를 최소화

• Gradient Descent -
  • 미분값을 빼기
  • 함수의 극솟값의 위치 
  • 제일 낮은 곳 찾기 
• 극 값에 도달하면 멈춤 (= 미분 값이 0)

코드로 봐볼까

#init 시작점, lr : 학습률, eps : 알고리즘 종료조건
var = init 						# 시작점
grad = gradient(var) 			# 미분계산하는 함수
while (abs(grad)>eps): 			# 0계산 못하니 전에서 멈춤
		var = var - lr * grad 	# 학습률로 속도 조절
		grad = gradient(var) 	# 계속 미분값 업데이트

함수 f(x) = x^2  + 2x + 3 경사하강법으로 찾기

import sympy as sym
import numpy as np
from sympy.abc import x

def func(val):					# 2차함수 정의
    fun = sym.poly(x**2 + 2*x + 3)
    return fun.subs(x, val), fun

def func_gradient(fun, val):	# 미분 계산 하는 함수
    _, function = fun(val)
    diff = sym.diff(function, x)
    return diff.subs(x, val), diff # x, val의 미분 차이 / 미분값

def gradient_descent(fun, init_point, lr_rate=1e-2, epsilon=1e-5):
    cnt=0
    val = init_point
    diff, _ = func_gradient(fun, init_point)
    while np.abs(diff) > epsilon:
        val = val - lr_rate*diff
        diff, _ = func_gradient(fun, val)
        cnt+=1
    print("함수: {}, 연산횟수: {}, 최소값: ({}, {})".format(fun(val)[1], cnt, val, fun(val)[0]))

gradient_descent(fun=func, init_point=np.random.uniform(-2,2))

 

 

편미분 (partial Differentiation) : 벡터가 입력인 다변수 함수

• 이렇게 다변수 함수의 경우 각 변수 별로 계산한 gradient vector를 이용. 
• e_i 로 i만 1이고 나머지 0 때린 단위 벡터 이용하는 식 

윗 식에 대한 아래는 x에 대한 편미분 결과

import sympy as sym
from sympy.abc import x, y

# 함수 정의와 편미분
sym.diff(sym.poly(x**2 + 2*x*y + 3) + sym.cos(x + 2*y), x)

nabla f를 이용하여 x = (x1...xd) 변수 동시 업데이트

 

 

Gradient Vector

f(x,y,z) 공간에서 -nabla Fvector를 그리면 다음과 같다

• 벡터화 되면 다음과 같이 극점으로 가는 방향성이 생김.
• +면 가장 빨리 증가하는 방향. - 면 가장 빨리 감소하는 방향 !

코드로 보면....

• 벡터는 절대값 대신 norm 이용하기에 그 부분만 바꾸어 준다.
• while(norm(grad)>eps):
• f(x) = x^2 + 2y^2 일 때 경사하강법으로 최솟점 찾기

import sympy as sym
import numpy as np
from sympy.abc import x, y

# Multivariate Gradient Descent

def eval_(fun, val):			# 함수값을 계산
    val_x, val_y = val
    fun_eval = fun.subs(x, val_x).subs(y, val_y)
    return fun_eval

def func_multi(val):			# 함수 정의
    x_, y_ = val
    func = sym.poly(x**2 + 2*x*y + 2)
    return eval_(func, [x_, y_]), func

def func_gradient(fun, val):	# gradient vector 
    x_, y_ = val
    _, function = fun(val)
    diff_x = sym.diff(function, x)
    diff_y = sym.diff(function, y)
    grad_vec = np.array([eval_(diff_x, [x_, y_]), eval_(diff_y, [x_, y_])], dtype=float)
    return grad_vec, [diff_x, diff_y]

def gradient_descent(fun, init_point, lr_rate=1e-2, epsilon=1e-5):
    cnt=0
    val = init_point
    diff, _ = func_gradient(fun, val)
    while np.linalg.norm(diff) > epsilon:
        val = val - lr_rate*diff
        diff, _ = func_gradient(fun, val)
        cnt+=1
    print("함수: {}, 연산횟수: {}, 최소값: ({}, {})".format(fun(val)[1], cnt, val, fun(val)[0]))

# 실행
pt = [np.random.uniform(-2, 2), np.random.uniform(-2, 2)]
gradient_descent(fun=func_multi, init_point=pt)