# LM, Language Model, 언어 모델

## 모델이란?

### 모델의 종류

  - 일기예보 모델, 데이터 모델, 비즈니스 모델, 물리 모델, 분자 모델 등

### 모델의 특징

  - 자연 법칙을 컴퓨터로 모사함으로써 시뮬레이션이 가능
  - 이전 state를 기반으로 미래의 state를 예측할 수 있음
    - (e.g. 습도와 바람 세기 등으로 내일 날씨 예측)
  - 즉, 미래의 state를 올바르게 예측하는 방식으로 모델 학습이 가능함

### Markov 확률 기반의 언어 모델

  - 마코프 체인 모델 (Markov Chain Model)
  - 초기의 언어 모델은 다음의 단어나 문장이 나올 확률을 통계와 단어의 [[n-gram]]을 기반으로 계산
  - 딥러닝 기반의 언어모델은 해당 확률을 최대로 하도록 네트워크를 학습



### 출처

- https://www.youtube.com/watch?v=zia49ZyKiX0