결합확률(joint probability)
- 사건 \(A\)와 사건 \(B\)가 동시에 발생할 확률, 즉 \(A\)도 진실이고, \(B\)도 진실이므로 사건 \(A\)와 \(B\)의 교집합의 확률을 계산하는 것과 같다.
$ P(A B) or P(A,B) $
주변확률(marginal probability)
- 결합확률과 대비되는 개념으로 결합되니 않는 개별 사건의 확률
$ P(A) , P(B)$
조건부확률(conditional probability)
B가 사실일 경우의 사건 A에 대한 확률을 사건 B에 대한 사건 A의 조건부확률 이라고 한다.
$ P(A|B)$
조건부 확률의 값은 다음처럼 정의한다
\[ P(A|B) = {P(A,B) \over P(B)} \]- 사건 \(B\)가 사실이므로 모든 가능한 표본은 사건 \(B\)에 포함되어야 한다. 즉, 새로운 실질적 표본공간은 \(\Omega_{new} \rightarrow B\) 가 된다.
- 사건 \(A\)의 원소는 모두 사건 \(B\)의 원소도 되므로 사실상 사건 \(A \cap B\)의 원소가 된다. 즉, 새로운 실질적 \(A_{new} \rightarrow A \cap B\)가 된다.
- 따라서 사건 \(A\)의 확률 즉, 신뢰도는 원래의 신뢰도(결합확률)를 새로운 표본공간의 신뢰도(확률)로 정규화(normalize)한 값이라고 할 수 있다. \[P(A|B)= {P(A_{new}) \over {P(\Omega_{new})}} = {P(A,B) \over P(B)}\]
독립(independent)
- 사건 A와 사건 B의 결합확률의 값이, P(A,B) = P(A) * P(B)이면, A와 B는 독립이다
\(P(A,B) = P(A)P(B)\)
- 독립인 경우 조건부 확률과 원래의 확률이 같아진다. 즉 \(B\)라는 사건이 발생하건 말건 사건 \(A\)는 전혀 영향을 주지 않는다.
\(P(A|B) = {P(A,B) \over P(B)} = {P(A)P(B) \over P(B)} = P(A)\)
- 조건부 확률 \(P(A|B)\)에서 사건 \(B,A\)는 각각
- '가정과 그 가정에 따른 조건부 결론'
- '원인과 결과'
- '근거와 추론' 으로 생각할수 있다.
- 결합확률의 정의를 바꿔쓰면
$ P(A,B) = P(A|B)P(B)$
$ A,B$가 모두 발생할 확률은 $ B$라는 사건이 발생할 확률과 그 사건이 발생한 경우 다시 $ A$가 발생할 경우의 곱이다.
사슬법칙(chain rule)
- 조건부확률과 결합확률의 관계를 확장한 법칙
확률변수(random variable)
- 확률적인 숫자값을 출력하는 변수, 정확히 어떤 숫자가 나올지 예측할수는 없는 기계
베이즈정리(Bayesian rule)
\[ P(A|B) = {P(B|A)P(A) \over {P(B)}}\]
- $ P(A|B)$: 사후확률(posterior) - 사건 $ B$가 발생한 후 갱신(업데이트)된 사건 A의 확률
- $ P(B|A)$ : 가능도(likelihood) - 사건 $ A$가 발생한 경우 $ B$의 확률
- $ P(A)$ : 사전확률(prior) - 사건 $ B$가 발생하기전에 가지고 있던 사건 A의 확률
- $ P(B)$ : 정규화상수(normaliziong constant) 또는 증거(evidence) - 확률의 크기 조정
베이즈 정리의 확장 1
정규화상수는 같은 값이 되므로, 사후확률은 가능도와 사전확률의 곱에 비례한다. 따라서 사건을 비교할때는, 분모를 제외하고 비교한다.
사건 $ A_i$가 서로 배타적이고 완전하다고 하면
$ P(A_1 | B) P(B|A_1)P(A_1)$
단순히 사건 $ A_1, A_2, A_3$ 등을 서로 비교만 할거라면 분모(정규화 상수)와 상관없이 분자의 값만 비교하면 된다
$ A_1 = A, A_2 = A^c$인 경우에는
\[ P(A|B) = {P(B|A)P(A) \over {P(B|A)P(A) + P(B|A^c)(1 - P(A))}}\]
베이즈 정리의 확장2
베이즈 정리는 사건 $ A$의 확률이 사건 $ B$에 의해 갱신된 확률을 계산한다. 그런데 이 상태에서 또 추가적인 사건 $ C$가 발생했다면 베이즈 정리는
\[P(A|B,C) = {P(C|A,B)P(A|B) \over {P(C|B)}}\]
위 식에서 $ P(A|B,C)$ 는 $ B$와 $ C$ 가 조건인 $ A$ 의 확률이다. 즉 $ P (A|(BC))$ 를 뜻한다.
공동전제를 제거 혹은 추가가 가능하기 떄문에, 위 식을 \[ P(A|C) = P(C|A)P(A) \over P( C ) \]로 바꿀수 있다.
제거후 베이즈 정리가 성립되면 Ok!
몬티홀 문제 풀이에 활용