Boosting 기법 이해
Xgboot를 이해하기 위해 필요한 개념들을 정리
요즘 kaggle에서 유명한 Xgboost가 뭘까?
Ensemble중 하나의 Boosting기법?
Ensemble 유형인 Bagging과 Boosting 차이는?
왜 Bagging이 low bias, high variance 모델인가?
Bias와 Variance 관계는?
Boosting 기법은 어떤게 있나?
Xgboost에서 사용하는 CART 알고리즘은?
여러 모델을 이용하여 데이터를 학습하고, 모든 모델의 예측결과를 평균하여 예측
비교 | Bagging | Boosting |
---|---|---|
특징 | 병렬 앙상블 모델 (각 모델은 서로 독립적) | 연속 앙상블 (이전 모델의 오류를 고려) |
목적 | Variance 감소 | Bias 감소 |
적합한 상황 | 복잡한 모델 (High variance, Low bias) | Low variance, High bias 모델 |
대표 알고리즘 | Random Forest | Gradient Boosting, AdaBoost |
Sampling | Random Sampling | Random Sampling with weight on error |