가중치 초기화의 정의와 방법론

본 게시물은 2021.04.15. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 본 게시물은 CS231n(2017) lecture 6을 공부하며 정리한 내용입니다. 확률통계학 스터디에서 분포에 대해 공부하는 도중, 가중치 초기화에서 분포를 고려했던 점에 대해서 자세히 알아보기로 했다. 가중치 초기화(Weight Initialization) 우리는 모델 안에서 가중치를 학습한다. 학습하기 전의 가중치는 어떤 모양일까? 학습하기 전 가중치를 어떤 값으로 설정(초기화)하는 것을 가중치 초기화(Weight Initialization)이라고 한다. 여러 방법을 시도(가정)하면서 어떤 방법이 가장 좋을지 찾아보도록 하겠다. 0으로 초기화하자! 만약 모든 가중치를 0으로 초기화한다면 어떻게 될까? ..