열 번 중 여섯 번과 천 번 중 육백 번은 모두 60%다.
성공 확률이 0.6으로 고정된 가상의 이진 선택을 생각하자. 실험은 세계를 만들었으므로 진실을 알지만 관찰자는 성공과 시도만 본다. 열 번씩의 두 표본은 꽤 다를 수 있다. 독립 표본이 커지면 더 좁게 모이는 경향이 있지만 표시된 비율은 여전히 간단하다.
분모도 증거의 일부다.
60%가 말하지 않는 것
6/10과 600/1,000은 같은 비율이다. 산술은 표본 크기를 지웠다. 그러나 결과 하나를 바꾸면 앞의 추정치는 10%포인트, 뒤의 추정치는 0.1%포인트 변한다. 같은 비율이 같은 정밀도를 뜻하지는 않는다.
실험은 6/10, 60/100, 600/1,000에 95% 윌슨 구간을 사용했다. 단순히 관측 비율 주변에 대칭 띠를 두는 대신 중심과 폭을 함께 조정한다. 제한 없는 근사가 확률 범위를 벗어날 수 있는 0과 1 부근에서도 합리적인 경계를 유지한다.
넓은 구간은 유용한 인정이다
6/10의 구간은 약 31.27~83.18%, 60/100은 50.20~69.06%, 600/1,000은 56.93~62.99%다. 모두 60%지만 구간은 소수점을 더 붙이지 않고도 정밀도 차이를 드러낸다.
구간은 독립 이진 시행 모형에서 사용하는 절차다. 보통의 빈도주의 해석은 고정된 미지의 비율이 이번 구간 안에 있을 확률이 95%라는 뜻이 아니다. 반복 표본에서 이 절차가 대략 95%를 포함하도록 목표한다는 뜻이다. 그림이 확률 구름처럼 보이면 이 구별을 놓치기 쉽다.
새 표본을 많이 지켜보기
스크립트는 참 확률 0.6에서 크기별로 독립 표본 20,000개를 생성했다. 열 번의 관측 비율은 넓게 흩어지고 천 번에서는 0.6 부근에 모인다. 히스토그램은 반복 표본 추출의 행동이지 한 관측 표본 안에 여러 현실이 있다는 뜻이 아니다.
계산된 구간이 0.6을 포함한 비율은 각각 98.33%, 94.73%, 95.16%였다. 95%라는 이름의 방법도 모든 표본 크기와 참 확률에서 정확히 95%를 달성하지는 않는다. 이진 건수는 이산 격자에 있고 모의실험 자체에도 유한 표본 변동이 있다.
네 배의 표본이 네 배의 정밀도는 아니다
경계에서 멀리 떨어진 독립 이진 관측의 표준오차는 익숙하게도 표본 크기 제곱근의 역수에 비례한다. 이런 불확실성을 대략 절반으로 줄이려면 두 배가 아니라 약 네 배의 관측이 필요하다. 윌슨 공식에는 추가적인 유한 표본 조정이 들어 있다.
이 관계는 작은 표본에 몇 응답을 보태는 효과가 크지만 이미 큰 연구의 오차를 조금 더 줄이는 일은 비쌀 수 있음을 설명한다. 다만 모형의 관계일 뿐 새 응답마다 참값에 가까워진다는 약속은 아니다. 더 긴 개별 수열도 일시적으로 멀어질 수 있다.
잘못 뽑은 표본은 커져도 잘못이다
실험은 독립성과 일정한 확률을 처음부터 보장한다. 실제 조사에는 특정 집단 과대표집, 같은 사람 반복, 무응답 누락, 중간 질문 변경이 있을 수 있다. 잘못된 표본 모형의 좁은 구간은 편향된 답에 대한 자신감일 수 있다. 크기만으로 이를 고칠 수 없다.
큰 분모를 믿기 전에 관측을 어떻게 골랐고 정말 새 정보를 주는지 묻자. 그런 다음 설계와 결정에 맞는 구간을 고른다. 작은 표본이 무가치한 것은 아니며 이 모형에서 덜 정밀할 뿐이다. 깔끔한 비율이 전부인 척하기보다 불확실성을 보이는 편이 유익하다.