Neural Network의 Hyperparameters

신경망에서의 hyperparameter란 신경망 학습을 통해서 튜닝 또는 최적화 해야 하는 주 변수가 아니라, 학습 진도율이나 일반화 변수처럼 사람들이 선험적 지식으로(priori) 설정을 하거나 또는 외부 모델 메커니즘을 통해 자동으로 설정이 되는 변수를 말한다.

1. Learning rate
2. Cost function (cross-entropy)
3. Regularization parameter
4. Mini-batch 크기
5. Training 반복 횟수
6. Hidden unit의 개수
7. 가중치 초기화(Weight initialization)

Hyperparameters 최적화 방법

출처

관련 문서