Neural Network의 Hyperparameters
신경망에서의 hyperparameter란 신경망 학습을 통해서 튜닝 또는 최적화 해야 하는 주 변수가 아니라, 학습 진도율이나 일반화 변수처럼 사람들이 선험적 지식으로(priori) 설정을 하거나 또는 외부 모델 메커니즘을 통해 자동으로 설정이 되는 변수를 말한다.
- Learning rate
- Cost function (cross-entropy)
- Regularization parameter
- Mini-batch 크기
- Training 반복 횟수
- Hidden unit의 개수
- 가중치 초기화(Weight initialization)
Hyperparameters 최적화 방법
- Manual Search
- Grid Search
- Random Search
- Bayesian optimization
출처
관련 문서
Plugin Backlinks: 아무 것도 없습니다.