결합엔트로피
이산확률변수 \(X,Y\)에 대한 결합엔트로피는
- 이 식에서 \(K_X,K_Y\)는 각각 \(X\)와 \(Y\)가 가질수 있는 값의 개수
- \(p\)는 확률질량함수
\[ H[X,Y] = - \sum_{i=1}^{K_X} \sum_{j=1}^{K_Y} p(x_i,y_j) log_2p(x_i,y_j)\]
연속확률변수 \(X,Y\)에 대한 결합엔트로피는
- 이 식에서 \(p\)는 확률밀도함수
\[ H[X,Y] = - \int_x \int_y p(x,y)log_2p(x,y)dxdy\]
조건부엔트로피
확률변수 \(X\)가 다른 확률변수 \(Y\)의 값을 예측하는데 도움이 되는지를 측정하는 방법 중의 하나(상관관계와는 조금 다른 개념)
조건부엔트로피는 조건에 따라 나눈 데이터의 엔트로피의 가중평균
- 의사결정나무에서 어떤 것이 더 좋은 분류인가를 판단할때 조건부엔트로피를 활용
- 조건부엔트로피가 가장 낮은걸 분류 기준으로 두고 다음 의사 결정 과정을 진행
이산확률변수일떄의 조건부엔트로피
\[H[Y | X] = - \sum_{i=1}^{K_X}\sum_{j=1}^{K_Y}p(x_i,y_j)log_2p(y_i|x_i)\]
- 연속확률변수일떄의 조건부엔트로피
\[H[Y | X] = - \int_x \int_y p(x_i,y_j)log_2p(y_i|x_i)\]