ML,DL을 공부하면서, 자주접하게 되는 개념들이기 때문에 정리해야 할 필요성이 있어서 정리합니다. 정보이론의 의미 1. Probability Theory : 불확실성에 대한 일어날 가능성을 모델링 베이즈 모델의 예시 $ P(Y \vert X) = \frac{P(X \vert Y)P(y)}{P(X)} $ 2. Decision Theory : 불확실한 상황에서 추론에 근거해 결론을 내리는 방식 $$ Y = 1\text{if } \frac{P(x \vert y = 1)p(y = 1)}{P(x \vert y = 0)p(y = 0)} > 1 $$ 3.Information Theory : 확률 분포 P(X) 의 불확실 정도를 평가하는 방법 $$ H(X) = -\sum_{x}P(X) \log{P(X)} $$ 정보량..