목차
LM, Language Model, 언어 모델
모델이란?
모델의 종류
모델의 특징
Markov 확률 기반의 언어 모델
출처
관련 문서
LM, Language Model, 언어 모델
모델이란?
모델의 종류
일기예보 모델, 데이터 모델, 비즈니스 모델, 물리 모델, 분자 모델 등
모델의 특징
자연 법칙을 컴퓨터로 모사함으로써 시뮬레이션이 가능
이전 state를 기반으로 미래의 state를 예측할 수 있음
(e.g. 습도와 바람 세기 등으로 내일 날씨 예측)
즉, 미래의 state를 올바르게 예측하는 방식으로 모델 학습이 가능함
Markov 확률 기반의 언어 모델
마코프 체인 모델 (Markov Chain Model)
초기의 언어 모델은 다음의 단어나 문장이 나올 확률을 통계와 단어의
n-gram
을 기반으로 계산
딥러닝 기반의 언어모델은 해당 확률을 최대로 하도록 네트워크를 학습
출처
https://www.youtube.com/watch?v=zia49ZyKiX0
관련 문서
딥러닝 기반 자연어 언어모델 BERT