Cross-Entropy
Cross-Entropy의 역사
Cross-Entropy라는 이름은 1997년 Rubinstein이 희소 사건의 확률을 추정하기 위한 용도로 발표 되었는데, 후에 희소 사건뿐만 아니라, 일반적인 조합 최적화(combinatorial optimization)에도 적용이 가능하다는 것이 밝혀지면서 널리 쓰이게 되었다.
원래 엔트로피(Entropy)는 클라우지우스가 열역학 제2의 법칙, 즉 '열은 높은 온도에서 낮은 온도로만 흐른다'는 것을 설명하기 위해 고안된 개념이지만, 1877년 볼츠만에 의해서 확률적인 방법으로 새롭게 정의가 되었으며, 열과 관계 없는 자연 현상도 설명할 수 있게 되었다.
현재는 분야를 가리지 않고 쓰이는 용어가 되었으며 자연의 변화의 방향을 가리킬 때 사용된다.
출처
관련 문서
Plugin Backlinks: 아무 것도 없습니다.