[Calculus] Sigmoid 함수 미분하기

1. Sigmoid 함수

Sigmoid 함수

Sigmoid 함수는 S자와 유사한 완만한 커브 형태의 함수이다. Sigmoid는 대표적인 Logistic 함수이다.

Sigmoid 함수는 모든 실수 입력 값을 0보다 크고, 1보다 작은 미분 가능한 수로 변환하는 특징을 갖는다. 모든 입력에 대하여 Sigmoid는 S와 같은 형태로 미분 가능한 0~1 사이의 값을 반환하기에 Logistic Classification과 같은 분류 문제의 가설과 비용 함수(Cost Function)에 많이 사용된다. Sigmoid의 반환 값을 확률 형태이기 때문에 결과를 확률로 해석할 때 유용하다.

 

 

2. Sigmoid 함수 미분하기

미분한 Sigmoid 함수

Sigmoid 함수의 도함수는 위와 같다. 그래프의 최대값을 보면 0.25이다.

 

 

Appendix 1. Sigmoid 함수 파이썬으로 구현하기

def sigmoid(x, diff=False):
    if diff:
        return sigmoid(x)*(1-sigmoid(x))
    else:
        return 1/(1+math.exp(-x))