0%

결합엔트로피와 조건부엔트로피

결합엔트로피

  • 결합확률분포를 사용하여 정의한 엔트로피

  • 이산확률변수 \(X,Y\)에 대한 결합엔트로피는

    • 이 식에서 \(K_X,K_Y\)는 각각 \(X\)\(Y\)가 가질수 있는 값의 개수
    • \(p\)는 확률질량함수

    \[ H[X,Y] = - \sum_{i=1}^{K_X} \sum_{j=1}^{K_Y} p(x_i,y_j) log_2p(x_i,y_j)\]

  • 연속확률변수 \(X,Y\)에 대한 결합엔트로피는

    • 이 식에서 \(p\)는 확률밀도함수

    \[ H[X,Y] = - \int_x \int_y p(x,y)log_2p(x,y)dxdy\]

조건부엔트로피

  • 확률변수 \(X\)가 다른 확률변수 \(Y\)의 값을 예측하는데 도움이 되는지를 측정하는 방법 중의 하나(상관관계와는 조금 다른 개념)

  • 조건부엔트로피는 조건에 따라 나눈 데이터의 엔트로피의 가중평균

    • 의사결정나무에서 어떤 것이 더 좋은 분류인가를 판단할때 조건부엔트로피를 활용
    • 조건부엔트로피가 가장 낮은걸 분류 기준으로 두고 다음 의사 결정 과정을 진행
  • 이산확률변수일떄의 조건부엔트로피

\[H[Y | X] = - \sum_{i=1}^{K_X}\sum_{j=1}^{K_Y}p(x_i,y_j)log_2p(y_i|x_i)\]

  • 연속확률변수일떄의 조건부엔트로피

\[H[Y | X] = - \int_x \int_y p(x_i,y_j)log_2p(y_i|x_i)\]