사건의 99%를 잡아도 참 경보와 거짓 경보가 같은 수일 수 있다.
가상의 탐지기가 10,000건을 살핀다. 정확히 100건에 찾는 사건이 있다. 탐지기는 그중 99%를 잡고 사건이 없는 경우에도 99%는 조용하다. 두 수치는 안심되지만 경보함을 세면 다른 비율이 나온다. 경보 중 절반만 실제 사건이다.
경보의 의미에는 찾는 사건의 희귀함도 들어 있다.
정확도에는 분모가 필요하다
민감도는 실제 사건 중 경보가 울리는 비율이고 특이도는 비사건 중 조용한 비율이다. 둘 다 경보가 뜰 때 묻는 “경보 중 몇 퍼센트가 진짜인가?”에 바로 답하지 않는다. 마지막 질문의 분모는 사건 집단이나 비사건 집단이 아니라 경보함이다.
사건 100건과 비사건 9,900건이 있다. 민감도 99%는 참 경보 99건과 놓친 사건 1건을 만든다. 특이도 99%에서는 훨씬 큰 비사건 집단의 1%가 경보를 내므로 거짓 경보도 99건이다. 같은 오류 비율이 전혀 다른 크기의 집단에 적용된다.
경보함의 절반이 진짜다
경보함에는 참 99건과 거짓 99건, 총 198건이 있다. 99를 198로 나누면 50%다. 흔히 양성예측도라고 부르는 값이다. 민감도와 특이도가 모두 99%라는 사실과 모순되지 않는다. 서로 다른 집단을 조건으로 계산하기 때문이다.
올바르게 조용한 9,801건도 중요하다. 탐지기가 갑자기 쓸모없어진 것은 아니며 이 예만으로 사용 가치도 판단할 수 없다. 경보 비용, 놓친 사건의 비용, 다음 절차에 달려 있다. 어떤 상황에서는 추가 검토가 싸고 다른 상황에서는 큰 혼란을 만들 수 있다.
희귀할수록 거짓 경보가 두드러진다
민감도와 특이도는 99%로 유지하고 발생률을 0.1%로 낮추면 경보 중 실제 사건의 기대 비율은 약 9.016%가 된다. 두 성능 조건은 그대로인데 경보 대부분이 거짓이다. 발생률 10%에서는 약 91.667%, 50%에서는 99%다.
이는 네 번의 현장 연구가 아니라 확률 공식의 계산이다. 분자는 민감도 곱하기 발생률이다. 분모에는 그 값과 거짓 양성률 곱하기 1 빼기 발생률을 더한다. 먼저 건수로 이해하면 공식도 덜 낯설다. 크기가 다른 두 모집단에서 나온 참과 거짓 경보가 같은 함에 들어온다.
벨 다음에는 적절한 절차가 필요하다
경보를 무조건 믿거나 무시하기보다 맥락 속에서 해석해야 한다. 실제 결정에는 다른 증거, 꼼꼼한 검토, 정해진 대응 절차가 필요할 수 있다. 여기서는 사건과 탐지기가 가상이므로 특정 대응을 처방하지 않는다.
검사를 반복한다고 단순히 확신이 곱해지는 것도 아니다. 같은 데이터나 실패 원인을 공유하는 탐지기의 오류는 의존할 수 있다. 두 번째 경보가 생각보다 적은 새 정보를 줄 수 있다. 원래 계산은 정해진 집단과 비율에 의존하므로 절차가 바뀌면 가정도 다시 봐야 한다.
실제 성능 수치도 추정치다
여기서는 분모 문제를 드러내려고 비율을 정확한 입력으로 주었다. 현실의 민감도와 특이도는 표본에서 추정되며 환경에 따라 바뀔 수 있다. 실제 검사 대상의 발생률도 참고 데이터와 다를 수 있다. 세 입력의 불확실성이 모두 답에 영향을 준다.
따라서 50%를 의료 검사, 사기 탐지, 개인 경고에 그대로 적용하면 오해를 낳는다. 옮겨 쓸 기술은 각 비율의 집단을 묻고 예상 건수를 복원하는 것이다. 작은 거짓 양성률도 충분히 큰 배경에 적용하면 큰 더미를 만든다.
더 읽어 보기
OpenStax: contingency tables ↗OpenStax: independent and mutually exclusive events ↗공식 문서와 함께 읽으면 좋은 자료입니다.