조건을 많이 시험할수록 우연한 적중이 늘어나는 이유 > 연구 노트

홀짝, 합계, 끝수, 연속수, 기간을 여러 방식으로 바꾸다 보면 과거 결과와 놀랍도록 잘 맞는 조건을 찾을 수 있습니다. 많은 조건을 시험하면 우연한 적중을 만날 기회도 함께 늘어납니다.

다중 비교란

서로 다른 가설을 하나만 시험할 때보다 수십 개를 시험할 때 적어도 하나가 두드러질 가능성이 커지는 현상입니다. 성공한 조건만 보여 주고 실패한 조건을 숨기면 규칙이 실제보다 강해 보입니다.

조건 변경 기록을 남기세요

어떤 기간과 필터를 몇 번 바꿨는지 기록하면 최종 결과가 수많은 시도 중 하나였는지 알 수 있습니다. 화면 캡처 한 장보다 전체 탐색 경로가 중요합니다.

검증 자료를 분리하세요

규칙을 만든 회차와 성능을 확인할 회차를 나누십시오. 같은 과거 자료로 규칙을 만들고 같은 자료에서 적중률을 계산하면 과적합을 피하기 어렵습니다.

실패도 결과입니다

예상과 다른 결과를 삭제하지 말고 함께 공개해야 합니다. 실패 기록이 있어야 규칙의 안정성과 재현 가능성을 판단할 수 있습니다.

분석의 한계

별도 검증에서 좋아 보여도 무작위 변동일 수 있습니다. 여러 조건을 통과했다는 사실을 당첨 보장이나 확률 개선으로 표현해서는 안 됩니다.

조건을 많이 시험하면 우연한 적중도 늘어납니다

서로 독립인 조건 하나가 우연히 맞을 확률을 5%라고 가정해 보겠습니다. 조건을 20개 시험했을 때 적어도 하나가 우연히 맞을 확률은 1-(1-0.05)^20으로 약 64.2%입니다. 많은 필터 중 맞은 것만 보여 주면 특별한 규칙처럼 보이기 쉽습니다.

분석 전에 시험 목록을 고정합니다

1. 확인할 필터와 범위를 미리 적습니다.
2. 맞은 조건과 틀린 조건을 같은 표에 둡니다.
3. 결과를 본 뒤 추가한 조건은 탐색 분석으로 구분합니다.
4. 새 회차에서 같은 설정을 유지해 다시 확인합니다.

고대디랩 리포트의 적용 원칙

고급분석 사후 매칭에서는 통과 필터만 강조하지 않고 불일치와 제외 조건을 함께 공개해야 합니다. 여러 조건을 조합할수록 후보 수는 줄지만, 그 과정에서 시험한 선택지가 많아졌다는 사실도 기록해야 합니다.

수정일 2026-08-01 · 다중 비교 확률 예시와 사전 등록 절차 추가