조건부확률, 전체 확률의 법칙, 베이즈 정리

본 게시물은 2021.03.09. 에 작성되었으며, 블로그를 이전하며 현재 날짜로 등록되었습니다. 

조건부확률 (Conditional Probability)

\begin{equation}\label{eq1}
P(B|A)
\end{equation}

- 사건 $A$ 가 일어났다는 가정 하에 사건 $B$ 가 일어날 확률

\begin{equation}\label{eq2}
P(B|A) = \frac {P(B\cap A)} {P(A)}
\end{equation}

- $A$ 와 $B$ 가 동시에 일어날 확률(교집합)

\begin{equation}\label{eq3}
P(B|A) = \frac {P(B\cap A)} {P(A)} = \frac {P(B\cap A|S)} {P(A|S)}
\end{equation}

- 조건부확률에서 사건 $A$ 는 조건부확률 내의 Sample Space, $S$ 가 된다.
- 단, $A \subset S$ 는 변하지 않는다.

Sample Space란?

확률공간을 다룰 때 전제 조건이 되는 전체 집합을 뜻하며 $S$ 로 표기한다.

전체 확률의 법칙 (Total Probability)

표본 공간 $S$를 n개의 영역으로 나누었고 우리는 그 안의 사건$A$ 의 확률을 구하고 자 합니다.

이때, 교집합을 이용해 사건 $A$ 확률을 구할 수 있습니다.

• $P(Ai)$ 는 서로 배반사건이다.
• $P(A) = P(A_1) + P(A_2) + P(A_3) + P(A_4) + P(A_5) + P(A_6)$ 로 표현할 수 있다.
• 또한, ${A_1, A_2, ..., A_n}$ 은 $S$ 의 부분 집합이다.
  \begin{equation}\label{eq4}
  P(A)={P(A_1\cap A)}+{P(A_2\cap A)}+{P(A_3\cap A)}+...+{P(A_n\cap A)}=\sum\limits_{i=1}^{n}{P(A|A_i)P(A_i)}
  \end{equation}
• 위의 수식을 이용해 구하고자 하는 사건 $A$ 를 나타낼 수 있습니다.
• $P(A_1)$ 을 예로 들면, $P(A_1)={P(A_1\cap A)}=P(A|A_1)P(A_1)$ 이렇게 구할 수 있습니다.

그렇다면 전체 확률의 법칙은 언제 사용될까요?

• 조건부 확률이 존재할 때 $P(A|A_i)$ 사용됩니다.
• 보통 사전 조건으로 조건부 확률은 제시됩니다.
• 가장 중요한 것은, 베이즈 정리에서 사용된다는 점입니다.

베이즈 정리 (Bayesian Theorem)

베이즈 정리 : 구하고자 하는 확률 값을 단번에 구하지 못할 때, 사전 확률(prior probability)을 이용하는 것

\begin{equation}\label{eq5}
P(B|A) = \frac { P(B \cap A)} {P(A)}
\end{equation}
위에서 설명한 조건부확률에서 나온 식입니다. 하지만 이것만으로는 정보가 부족해 구할 수 없다면... 어떻게 해야 할까요?
이런 경우에 우리는 사건 $A$ 와 사건 $B$ 의 위치를 바꾸어볼 수 있습니다.
\begin{equation}\label{eq6}
P(A|B) = \frac { P(A \cap B)} {P(B)}
\end{equation}

• $P(B\cap A)= P(A\cap B)$ 이고, $P(A\cap B)=P(A|B)P(B)$ 를 구할 수 있습니다.

\begin{equation}\label{eq7}
P(B|A)=\frac{ P(B\cap A)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}
\end{equation}

• 이처럼 , 이미 관측된 사건 $A$ 로부터 unknown 사건이 발생할 확률을 계산할 때 베이즈 정리를 이용해 계산할 수 있습니다.
  • $P(B|A)$ 에서 $A$ = observation data(이미 관측된 사건/데이터), $B$ = unknown data
• 또한, 이미 관측된 사건 $A$ 는 위에서 배운 전체 확률의 법칙을 이용해 계산할 수 있습니다.
  \begin{equation}\label{eq8}
  P(B|A)=\frac {P(A|B)P(B)} {\sum\limits_{i=1}^{n}{P(A|A_i)P(A_i)}}
  \end{equation}