allmy.prism · 측정 기록 2026-08-17
2500년 동안 아무도 정치 이론에 점수를 매긴 적이 없다. 뉴스 사건 하나를 여러 철학 렌즈에 통과시키고, 각 렌즈가 내놓은 원인을 실제 기록과 대조해 채점하는 장치를 만들었다. 첫 스물일곱 건의 결과다.
사후 해석은 언제나 그럴듯하다. 사건이 벌어진 뒤에 "그래서 그랬던 것"이라고 말하는 건 누구나 한다. 그래서 이 장치의 핵심은 예측 모델이 아니라 시간 봉인이다.
사건 발생 시각 이전에 발행된 문서만 검색된다. 데이터베이스 함수 하나를 통해서만 조회가
가능하고, 그 함수는 published_at < 사건시각을 강제한다. 사건 이후의 해설
기사는 구조적으로 존재하지 않는 세계에서 원인을 복원하는 것이다.
같은 사건, 같은 기계인데 어떤 문서를 정답지로 쓰느냐에 따라 점수가 갈렸다. 정답지를 종류별로 나눠 집계하자 순서가 뚜렷했다.
처음엔 "왜·이유·원인"이 제목에 박힌 해설 기사가 가장 좋은 정답지일 거라 봤다. 틀렸다. 그 층위는 0.074로 하위였다.
법원이 밝힌 "구속기간 만료 후 기소"라는 판단은 사건 전 지면 어디에도 없다. 원리적으로 도달 불가능한 정답이다. 반면 금리 인하의 원인(물가·환율·가계부채)은 몇 달 전부터 지면에 있었다. 그래서 경제 사건인데도 정치 역학 층위에서 가장 잘 잡혔다.
같은 봉인 문서 열여섯 건을 주고 관점만 바꿨다. 무렌즈 대조군, 군주론(권력 유지 극대화), 관료정치 모델(부처 간 흥정의 산물).
렌즈는 분명히 일했다. 군주론은 "야당이 표결 시점을 여유 있게 잡았다"를 원인으로 집어냈고, 관료정치는 "야당 압력과 시민 집회가 결합되어 두 번째 발의로 이어졌다"를 짚었다. 무렌즈는 둘 다 보지 못하고 여론 지표만 봤다. 출력 간 거리는 0.18~0.34로, 이론끼리의 거리가 각자 무렌즈와의 거리보다 멀었다.
| 렌즈 | recall | precision | 판정 |
|---|---|---|---|
| 무렌즈 대조군 | 0.108 ± 0.133 | 0.143 | 기준선 |
| 군주론 | 0.096 ± 0.140 | 0.114 | 차이 없음 |
| 관료정치 모델 | 0.178 ± 0.122 | 0.229 | 차이 없음 |
관료정치가 대조군보다 0.07 높다. 솔깃하지만 표준편차가 0.12다. 실험 전에 "표준편차를 넘게 앞서야 우위로 인정한다"고 기준을 적어뒀고, 그대로 적용했다. 우위 없음.
어떤 사건의 정의를 바꿨더니 점수가 0.00에서 0.17로 올랐다. 가설이 실증됐다고 기록했다.
그런데 정답지를 고정하고 다시 재자 0.00으로 돌아왔다. 사건 정의를 바꾸면서 정답지를 뽑는 심판도 다른 답을 냈고, 그 우연한 표현 일치가 매칭 두 건을 만들었던 것이다. 개선이 아니라 계측 잡음이었다.
같은 날 같은 실수를 세 번 했다 — 개선인 줄, 퇴행인 줄, 실증인 줄. 세 번 다 인프라가 뒤집었다. 그래서 지금은 반복 측정과 중앙값이 기본값이고, 모든 시행값이 결과 파일에 남는다. 잡음 폭을 감추지 않기 위해서다.
그럴듯한 이야기는 근거 문서를 지목해야만 살아남는다. 지목하지 못한 원인은 기록되지 않고 폐기된다. 현재 인용 없는 원인 비율 0.0%.
같은 계열이면 시스템이 자기 자신을 채점하게 된다 — 성능이 아니라 자기일관성을 재는 꼴이다. 설정이 겹치면 실행 자체가 거부된다.
통찰일 수도, 환각일 수도 있다. 사람이 라벨을 붙일 때까지 미결로 남는다. 실제로 기계가 정답지에 없는 "명태균 녹취록 공개"를 원인으로 짚었는데, 이후 공식 조사가 지목한 요인과 겹쳤다.
어떤 사건은 그 이전 기사가 24건뿐이었다. 성능이 낮은 게 아니라 측정이 불가능한 것이다. 이런 케이스는 감사에서 걸러 평균에서 제외하고, 제외했다는 사실을 함께 표시한다.
기사 33,710건이 쌓였고, 그중 2024년 8월부터 2025년 8월까지의 한국 정치·경제 구간이 두껍다. 사건 83건, 인과 연결 34건, 채점된 평가 사건 27건.
아직 답하지 못한 질문이 이 프로젝트의 본론이다 — 어떤 이론이 어떤 영역에서 예측력을 갖는가. 그걸 가리려면 지금 잡음 폭(±0.16)보다 작은 차이를 분간할 수 있어야 하고, 그러려면 사건 수가 훨씬 많아야 한다. 27건은 시작이다.