allmy.prism · 측정 기록 2026-09-06
2500년 동안 아무도 정치 이론에 점수를 매긴 적이 없다. 뉴스 사건 하나를 여러 철학 렌즈에 통과시키고, 각 렌즈가 내놓은 원인을 실제 기록과 대조해 채점하는 장치를 만들었다. 마흔여덟 건을 채점했고, 아직 아무것도 증명하지 못했다.
사후 해석은 언제나 그럴듯하다. 사건이 벌어진 뒤에 "그래서 그랬던 것"이라고 말하는 건 누구나 한다. 그래서 이 장치의 핵심은 예측 모델이 아니라 시간 봉인이다.
사건 발생 시각 이전에 발행된 문서만 검색된다. 데이터베이스 함수 하나를 통해서만 조회가
가능하고, 그 함수는 published_at < 사건시각을 강제한다. 사건 이후의 해설
기사는 구조적으로 존재하지 않는 세계에서 원인을 복원하는 것이다.
2026년 8월, 스물일곱 건을 채점하고 이렇게 적었다 — 같은 사건, 같은 기계인데 어떤 문서를 정답지로 쓰느냐에 따라 점수가 갈린다. 세력 관계를 다룬 기사를 정답지로 쓰면 0.190, 언론 해설을 쓰면 0.074. 격차 0.116. 표본은 여섯 건이었다.
그 격차를 세 번 더 쟀다.
표본을 여섯에서 열여섯으로 늘리자 격차가 0.116에서 0.047로 줄었다. 판정자 모델을 바꾸자 다시 0.128로 벌어졌다. 세 값 모두 노이즈 폭 안에 있다.
이 페이지의 이전 판은 그 순위를 「발견 하나」로 게시하고 있었다. 3주 동안 그랬다. 표본이 작다는 사실(n=6)은 적혀 있었지만, 제목과 순위표는 확정된 사실처럼 읽혔다. 지금 이 문단이 그 정정이다.
같은 봉인 문서 열여섯 건을 주고 관점만 바꿨다. 무렌즈 대조군, 군주론(권력 유지 극대화), 관료정치 모델(부처 간 흥정의 산물).
렌즈는 분명히 일했다. 군주론은 "야당이 표결 시점을 여유 있게 잡았다"를 원인으로 집어냈고, 관료정치는 "야당 압력과 시민 집회가 결합되어 두 번째 발의로 이어졌다"를 짚었다. 무렌즈는 둘 다 보지 못하고 여론 지표만 봤다. 출력 간 거리는 0.18~0.34로, 이론끼리의 거리가 각자 무렌즈와의 거리보다 멀었다.
| 렌즈 | recall | precision | 판정 |
|---|---|---|---|
| 무렌즈 대조군 | 0.108 ± 0.133 | 0.143 | 기준선 |
| 군주론 | 0.096 ± 0.140 | 0.114 | 차이 없음 |
| 관료정치 모델 | 0.178 ± 0.122 | 0.229 | 차이 없음 |
관료정치가 대조군보다 0.07 높다. 솔깃하지만 표준편차가 0.12다. 실험 전에 "표준편차를 넘게 앞서야 우위로 인정한다"고 기준을 적어뒀고, 그대로 적용했다. 우위 없음.
어떤 사건의 정의를 바꿨더니 점수가 0.00에서 0.17로 올랐다. 가설이 실증됐다고 기록했다.
그런데 정답지를 고정하고 다시 재자 0.00으로 돌아왔다. 사건 정의를 바꾸면서 정답지를 뽑는 심판도 다른 답을 냈고, 그 우연한 표현 일치가 매칭 두 건을 만들었던 것이다. 개선이 아니라 계측 잡음이었다.
같은 날 같은 실수를 세 번 했다 — 개선인 줄, 퇴행인 줄, 실증인 줄. 세 번 다 인프라가 뒤집었다. 그래서 지금은 반복 측정과 중앙값이 기본값이고, 모든 시행값이 결과 파일에 남는다. 잡음 폭을 감추지 않기 위해서다.
같은 마흔다섯 건을, 같은 정답지로 세 모델에게 채점했다. 120억 파라미터부터 350억까지.
| 예측 모델 | 크기 | recall | 판정 |
|---|---|---|---|
| qwen3.6-35b | 36.7GB | 0.227 ± 0.235 | — |
| gemma4-12b | 6.7GB | 0.179 ± 0.190 | 차이 없음 |
| qwen3-vl-30b | 18.3GB | 0.156 ± 0.218 | 차이 없음 |
최고와 최저의 격차는 0.071. 노이즈 폭의 절반도 안 된다. 순위는 크기순으로 보이지만, 주장할 수 없는 순위다.
그럴듯한 이야기는 근거 문서를 지목해야만 살아남는다. 지목하지 못한 원인은 기록되지 않고 폐기된다. 현재 인용 없는 원인 비율 0.0%.
같은 계열이면 시스템이 자기 자신을 채점하게 된다 — 성능이 아니라 자기일관성을 재는 꼴이다. 설정이 겹치면 실행 자체가 거부된다.
통찰일 수도, 환각일 수도 있다. 사람이 라벨을 붙일 때까지 미결로 남는다. 실제로 기계가 정답지에 없는 "명태균 녹취록 공개"를 원인으로 짚었는데, 이후 공식 조사가 지목한 요인과 겹쳤다.
어떤 사건은 그 이전 기사가 24건뿐이었다. 성능이 낮은 게 아니라 측정이 불가능한 것이다. 이런 케이스는 감사에서 걸러 평균에서 제외하고, 제외했다는 사실을 함께 표시한다.
기사 71,465건이 쌓였고, 그중 2024년 8월부터 2026년 9월까지의 한국 정치·경제 구간이 두껍다. 사건 245건, 인과 연결 248건, 채점된 평가 사건 48건.
아직 답하지 못한 질문이 이 프로젝트의 본론이다 — 어떤 이론이 어떤 영역에서 예측력을 갖는가. 그걸 가리려면 지금 잡음 폭(±0.16)보다 작은 차이를 분간할 수 있어야 하고, 그러려면 사건 수가 훨씬 많아야 한다. 48건도 아직 시작이다.