● ISSUE 01 LAB 03 — DATA PARTNER · theXEO
검색 1위인데,
AI는 안 골랐다.
측정한 네이버 검색 1위 관측치 87개 중 64개에서 AI 브리핑 인용이 없었습니다. 블로그 방문·이웃·공감·댓글·발행일을 더하면 이 차이를 설명할 수 있을지 확인했습니다. 2026년 9월, 미측정 기록을 빼고 질문 단위로 다시 검증했습니다.
1위인데 왜
안 뽑혔나.
네이버 통합검색 순위와 AI 브리핑 인용을 질의-URL 관측치 단위로 맞췄습니다. AI 답변을 측정한 전체 1,481개 관측치에서 인용된 쪽의 평균 검색순위는 4.2위, 비인용 쪽은 10.2위였습니다. 전 도메인에서 AI 답변을 측정한 검색 1위 관측치 87개 중 인용된 건 23개(약 26%)였습니다. 나머지 64개(약 74%)에서는 인용이 관측되지 않았습니다. 순위와 인용은 함께 움직였지만, 같은 1위 관측치 안에서도 결과가 갈렸습니다.
검색순위에
글의 속성을 더했다.
"수치·목록 많은 글이 인용된다"? — 이 표본에선 미확인
LAB 1호에서는 인용된 블로그 17건과 비인용 블로그 13건의 본문 형식이 달랐습니다. 그러나 후속 보고의 형식 기반 모델은 AUC가 0.5 근처였습니다. AUC는 인용 글에 비인용 글보다 높은 점수를 주는 구분 능력입니다. 0.5는 무작위 순서 수준이며, 정답을 맞힌 비율인 정확도와 다릅니다. → LAB 1호
"힘 센 채널·인기 글이 인용된다"? — 이 표본에선 미확인
LAB 2호에서는 엔진마다 표시한 출처 채널이 달랐습니다. 이는 채널 구성의 비교입니다. 같은 검색순위 안에서 어떤 글이 인용되는지 검증한 모델과는 구분해야 합니다. → LAB 2호
"권위 있는 블로그가 인용된다"? — 이 표본에선 미확인
블로그 누적방문·이웃수·공감·댓글·발행 경과일을 검색순위와 함께 넣었습니다. 9월 재검증에서는 미측정 기록과 결측값을 제외한 276개 관측치, 81개 질문을 사용했습니다. 인용된 관측치는 32개입니다. 같은 질문의 글이 학습용과 검증용에 나뉘지 않도록 5개 묶음으로 검증하니, 검색순위만 쓴 AUC는 0.750, 활동 지표를 더한 값은 0.753이었습니다. 추가 변수의 이득은 0.003에 그쳤습니다. 이 한 번의 분할로 반복 가능한 개선을 확인했다고 보기는 어렵습니다.
| 분석 | 확인한 결과 | 해석 |
|---|---|---|
| 콘텐츠 형식 · 선행 보고 | 형식만 쓴 모델 AUC 약 0.5 | 순위 모델에 더한 효과와는 별개 |
| 채널 구성 · 선행 보고 | 엔진별 표시 출처 차이 | 글 단위 예측 모델 아님 |
| 검색순위 · 9월 재검증 | AUC 0.750 | 이번 비교의 기준 |
| 검색순위 + 권위·활동 · 9월 재검증 | AUC 0.753 | 같은 표본·분할에서 +0.003 |
author_cited_count를 넣자 AUC가 0.98까지 올랐습니다. 이 변수는 "인용된 글의 작성자가 몇 번 인용됐나"를 세고 있어 결과값을 입력값으로 다시 쓰는 누수(leakage)였습니다. 해당 변수는 6월 분석부터 제외했습니다. 당시의 AUC 0.73→0.71은 예비 검증값이고, 위 표는 미측정을 제외하고 질문별로 분리해 다시 구한 결과입니다. 원래 수치와 검증 조건은 조사 자료에 함께 남겼습니다.
질문과 본문의
내용은 얼마나 맞을까.
방문자 수나 이웃 수를 보태는 것만으로는 예측력이 크게 달라지지 않았습니다. 다음으로 붙인 후보는 질의와 본문의 의미 적합성이었습니다. 후속 분석에서는 의미 적합성을 추가해도 예측력이 높아지지 않았습니다. 자세한 결과는 LAB 4호에 이어집니다.
검색순위가 같아도 인용 여부는 갈렸고, 이번에 넣은 활동 지표로는 그 차이를 충분히 설명하지 못했습니다.
같은 검색순위에서
인용 기록을 비교하자.
"이렇게 쓰면 AI가 인용한다"는 공식은 이번 측정으로 뒷받침되지 않았습니다. 9월 재검증에서 검색순위만 쓴 AUC는 0.750이었지만, 이것만으로 검색순위가 인용의 원인이라고 말할 수는 없습니다. 현재 확인할 수 있는 것은 특정 시점의 검색순위와 AI 브리핑 인용 상태입니다.
검색과 AI의
노출 기록을 함께.
특정 시점의 검색순위와 AI 답변 노출을 함께 측정합니다. 현재 상태와 비어 있는 항목을 AI Visibility Report에 정리합니다.
AI Visibility Report 신청 ↗