GBM (Gradient Boosting)

Gradient Boosting의 개념 및 학습 절차

• AdaBoost와 기본 개념은 동일하고,
• 가중치(D)를 계산하는 방식에서
• Gradient Descent를 이용하여 최적의 파라미터를 찾아낸다.

• Model의 예측정확도 80%인 함수 $Y=M(x)+error$
• 만약 error를 줄일 수 있다면? (error와 Y와 연관성이 있을 경우)
• 정확도 84%로 증가 $error = G(x) + error2$
• 이렇게 error를 세분화하여 $error2 = H(x) + error3$
• 정리한 모델의 함수 $Y = M(x) + G(x) + H(x) + error3$
• 각 함수별 최적 weight를 찾으면, 예측정확도는 더 높아짐.
• → Gradient Descent 알고리즘으로 최적 weight 계산 $Y = \alpha * M(x) + \beta * G(x) + \gamma * H(x) + error4$