AI 봇이 긁어간 만큼 돌려주고 있나 — 클래리티에 '스크레이프 대비 리퍼럴' 지표가 생겼다

마이크로소프트 클래리티가 AI 스크레이프 대비 리퍼럴(AI Scrape-to-Referral) 지표를 추가했다. AI 봇이 사이트를 얼마나 긁어갔는지와 그 대가로 얼마나 방문자를 돌려보냈는지를 하나의 비율로 보여준다.

무엇을 계산하나

핵심은 봇 애널리틱스 리포트에 새로 붙은 'AI Scrape-to-Referral Ratio' 카드다. AI 스크레이프 활동량과 리퍼럴 트래픽을 하나의 지표로 비교해, AI 플랫폼이 콘텐츠 추출만 하는지 아니면 방문이라는 형태로 가치를 돌려주는지 판단하게 한다.

마이크로소프트가 공개한 예시 화면에서는 한 AI 도구가 사이트에 41건의 리퍼럴을 보냈고, 크롤링 활동 대비로 환산하면 약 6,000회 스크레이프당 1건의 리퍼럴이라는 비율이 나온다.

함께 들어온 기능

오퍼레이터 단위 분해

리퍼럴을 보내는 오퍼레이터를 순위로 나열해, 어떤 AI 소스가 트래픽을 돌려주고 어떤 소스가 스크레이프만 많고 리퍼럴은 적은지 구분한다. 결국 실무에서 필요한 결정은 '어떤 봇을 허용할 것인가'이므로, 전체 합계보다 이 분해가 더 중요하다.

도메인 매핑 안전장치

비율은 올바르게 매핑된 도메인에서만 계산된다. CDN과 클래리티의 커버리지가 어긋날 때 합계가 왜곡되는 것을 막기 위한 장치다. AI 봇 데이터와 리퍼럴 트래픽 데이터가 서로 다른 도메인을 포괄할 경우, 클래리티가 커버리지 차이가 비율에 어떤 영향을 주는지 맥락 정보를 함께 표시한다.

세션 레코딩 연결

리퍼럴 인사이트에서 바로 레코딩 탭으로 넘어갈 수 있고, 선택한 AI 리퍼럴 소스 기준 필터가 이미 적용된 상태로 열린다. 유입량뿐 아니라 그 방문자가 스크롤하는지, 반응하는지, 전환하는지, 아니면 즉시 이탈하는지까지 볼 수 있다.

어디서 보나

클래리티 AI Visibility 대시보드에서 봇 애널리틱스를 열고, Scrape-to-Referral Ratio 카드를 확인한 뒤 커버리지 맥락으로 도메인 정합성을 점검한다. 카드에서 특정 리퍼럴 소스를 선택하면 해당 소스로 필터링된 세션 레코딩이 열린다.

이 지표를 어떻게 쓸 것인가

오랫동안 사이트 운영자를 괴롭혀 온 질문이 있다. AI 크롤러가 내 콘텐츠를 긁어가도록 허용하는 것이 이득인가. 이제 그 판단에 숫자를 붙일 수 있게 됐다.

다만 목표로 삼을 비율이 정해져 있지는 않다. 사이트 성격과 비즈니스 모델에 따라 답이 달라진다. 광고 노출로 수익을 내는 미디어라면 리퍼럴 없는 스크레이프는 순수한 비용이지만, 브랜드 인지 자체가 목적인 사이트라면 답변 안에 인용되는 것만으로도 값이 있다. 후자의 경우 리퍼럴 수치가 낮게 나와도 차단이 정답이 아닐 수 있다.

그래서 이 지표는 단독으로 쓰기보다 가시성·인용 데이터와 함께 봐야 한다. 지표를 계층으로 나눠 접근·가시성·유입·수요·매출을 각각 관리하는 방법은 AI 검색 성과 측정, 5개 계층으로 나눠라 — 접근·가시성·유입·수요·매출에 정리돼 있다. 콘텐츠를 긁어가고 트래픽은 돌려주지 않는 구조가 산업 차원의 분쟁으로 번진 사례는 프랑스 신문 300곳이 구글 AI 오버뷰를 신고했다 — 2022년 보상 합의 위반 주장에서 볼 수 있다.