아미(아름다운미소)

은닉 계층에 대한 활성화 함수는 네트워크에 비선형성을 적용하는 데 필요합니다. 활성화 함수가 적용되고, 결과는 네트워크 내의 다음 뉴런으로 전달됩니다. 대부분의 비선형 함수들이 사용되는데, 주로 시그모이드(로지스틱 회귀분석에서 쓰이는 법)함수가 많이 사용됩니다. 최근에는ReLU활성화 함수가 자주 쓰입니다. 풀어쓰면 Rectified linear unit으로 “선형유닛을 개선”한다는 의미로써 비선형의 구조를 가진 데이터를 분석하는데 용되는 활성화 함수입니다. 기울기를 이용해 가중치를 업데이트하므로 평평한 활성화 함수는 문제가 있는데 가중치의 변화는 활성화 함수의 기울기에 좌우되기 때문입니다. 작은 기울기는 곧 학습 능력이 제한된다는 것을 의미하고 이를 일컬어 신경망에 포화(Saturation)가 발생했다고..