Light GBM
Light GBM 개념
- Light GBM?
- Decision Tree 알고리즘기반의 GBM 프레임워크 (빠르고, 높은 성능)
- Ranking, classification 등의 문제에 활용
- 무엇이 다른가?
- Leaf-wise 로 tree를 성장(수직 방향), 다른 알고리즘(Level-wise)
- 최대 delta loss의 leaf를 성장
- 동일한 leaf를 성장할때, leaf-wise가 loss를 더 줄일 수 있다.
- 왜 Light GBM이 인기 있나?
- 대량의 데이터를 병렬로 빠르게 학습가능 (Low Memory, GPU 활용가능)
- 예측정확도가 더 높음 (Leaf-wise tree의 장점 → 과접합에 민감)
- 얼마나 빠른가?
- XGBoost 대비 2~10개 (동일한 파라미터 설정시)
- 어디에 활용해야 하나?
- Leaf-wise Tree는 overfitting에 민감하여, 대량의 데이터 학습에 적합
- 적어도 10,000 건 이상