issue

1. ReLU 및 그 변종 이전에 다룬 내용을 요약해 보겠습니다. 시그모이드 함수를 사용하고 기울기가 0.25 미만일 경우 역전파 과정에서 입력 레이어 쪽으로 가면 역전파가 제대로 이루어지지 않는 기울기 손실 문제가 발생할 수 있다. 이를 완화하기 위해 히든 레이어 활성화 함수로 ReLU 또는 ReLU의 변환 함수를 사용합니다. 2. 그라데이션 클리핑 그래디언트 클리핑은 그래디언트 값을 클리핑하여 그래디언트 … Read more