로지스틱 함수란?

$$ f(x) = \frac{1}{1 + e^{-x}} $$

• 어떤 크기의 실수값이 들어온든, 그 값을 무조건 $0$과 $1$사이의 확률로 변환해 주는 비선형 함수

한계

• 지수 연산의 연산비용
• 기울기 소실 : 로지스틱 함수를 미분했을 때 나올 수 있는 최대 기울기는 $0.25$. 신경망 층이 깊어질수록 역전파시 이 작은 값들이 계속 곱해지면서 입력층 부근에서는 오차 신호가 0으로 온전히 소멸해버려 학습이 멈추는 고질병 존재
• 디테일 상실 : 입력값이 $5$만 넘어가도 출력값이 $0.99$에 도달하기 때문에 intensity를 구분하지 못함.