신경망 학습에서 특히 중요한 것이 가중치의 초깃값이다. [가중치 감소]는 오버피팅(과대적합)을 억제해 범용 성능을 높이는 테크닉이다. 가중치 매개변수 값이 작아지도록 학습하는 방법이다. # 가중치의 초깃값을 0으로 하면? 이는 나쁜 생각이다. 오차역전파법에서 모든 가중치의 값이 똑같이 갱신되기 때문이다. 예를 들어 2층 신경망에서 첫 번째와 두 번째의 층의 가중치가 0이라면 순전파 때는 입력층의 가중치가 0이기 때문에 두 번째 층의 뉴런에 모두 같은 값이 전달된다.두 번째 층의 모든 뉴런에 같은 값이 입력된다는 것은 역전파 때 두 번째 층의 가중치가 모두 똑같이 갱신된다는 뜻이다. 그래서 가중치들은 같은 초깃값에서 시작하고 갱신을 거쳐도 여전히 같은 값을 유지하는 것이다. 이는 가중치를 여러 개 갖는 의..
