# GBM (Gradient Boosting)

Gradient Boosting의 개념 및 학습 절차

## 개념

- [[AdaBoost]]와 기본 개념은 동일하고,
- 가중치(D)를 계산하는 방식에서
- Gradient Descent를 이용하여 최적의 파라미터를 찾아낸다.

### Easy Example

- Model의 예측정확도 80%인 함수 $Y=M(x)+error$
- 만약 error를 줄일 수 있다면? (error와 Y와 연관성이 있을 경우)
- 정확도 84%로 증가 $error = G(x) + error2$
- 이렇게 error를 세분화하여 $error2 = H(x) + error3$
- 정리한 모델의 함수 $Y = M(x) + G(x) + H(x) + error3$
- 각 함수별 최적 weight를 찾으면, 예측정확도는 더 높아짐.
- -> Gradient Descent 알고리즘으로 최적 weight 계산 $Y = \alpha * M(x) + \beta * G(x) + \gamma * H(x) + error4$