클로드 대화가 구글에 색인된 이유 — robots.txt와 noindex를 함께 쓰면 안 된다

콘텐츠가 구글과 다른 검색엔진에 색인되어 노출되는 사고는 종종 일어난다. 문제는 대개 검색엔진이 아니라 그 정보를 호스팅하는 사이트에 있다.

그런 사이트들은 콘텐츠가 색인되어 검색 결과에 표시되면 안 된다는 것을 구글과 다른 검색엔진에 전달할 적절한 차단 장치를 설정하지 않은 경우가 많다.

최근 앤스로픽의 클로드 대화(Claude Chats)가 구글·빙 등에 나타난 사건이 정확히 그런 경우였다.

무슨 일이 있었나

와이어드(Wired)의 기사 〈Private Claude Chats Exposed in Google and Bing Search Results〉 는 클로드의 비공개 대화가 구글·빙 등 검색엔진에서 발견된 경위를 설명했다. 정치, 건강 논의 등 상당히 민감한 대화들이 포함돼 있었다.

"클로드는 사용자가 특정 챗봇 스레드의 공개 URL을 생성해 대화 '스냅샷'을 다른 사람과 공유할 수 있게 한다." — 와이어드

와이어드는 "이 URL 중 일부가 주요 검색엔진에 색인된 이유는 웹사이트와 검색엔진의 기본 작동 방식, 그리고 거기에 생성형 AI가 끼어들 때 벌어지는 충돌에 있다" 고 덧붙였다.

주말 동안 site:claude.ai/share 명령으로 검색하면 수백 건의 클로드 대화가 나왔다. 지금은 해당 결과가 제거된 상태다.

진짜 원인: robots.txt와 noindex를 함께 쓰면 안 된다

핵심 문제는 robots.txt 디렉티브로 차단하면서 동시에 그 페이지에 noindex를 사용하면, 구글과 빙 같은 검색엔진이 그 noindex 태그를 볼 수 없다는 점이다. 크롤러가 디렉티브 때문에 페이지에 접근할 수 없기 때문이다.

글렌 게이브(Glenn Gabe)는 X에서 기자들이 이 기사를 다루기 전에 SEO 전문가와 이야기했으면 좋았을 것이라고 지적했다.

"잘못된 정보로 가득하다. robots.txt로 차단하면서 페이지를 noindex 하면, 구글과 빙은 페이지를 크롤할 수 없어 HTML 안의 태그를 볼 수 없기 때문에 noindex 태그를 볼 수 없다."

이것은 새로운 정보가 아니다. 구글 자체 문서 최상단에는 굵은 글씨와 빨간 강조로 큰 안내가 있다.

"중요: noindex 규칙이 효과를 발휘하려면 페이지나 리소스가 robots.txt 파일에 의해 차단되어서는 안 되며, 그 외에는 크롤러가 접근할 수 있어야 합니다. 페이지가 robots.txt 파일에 의해 차단되거나 크롤러가 페이지에 접근할 수 없으면, 크롤러는 noindex 규칙을 결코 볼 수 없고 페이지는 여전히 검색 결과에 나타날 수 있습니다 — 예를 들어 다른 페이지가 그 페이지로 링크하는 경우."

구글의 입장

구글 검색 팀의 대변인 네드 애드리언스(Ned Adriance) 는 와이어드에 이렇게 말했다.

"구글도 다른 어떤 검색엔진도 어떤 페이지가 웹에 공개되는지 통제하지 않으며, 이 페이지들은 여러 검색엔진에 걸쳐 색인됐다."

"우리는 사이트 소유자에게 페이지가 크롤되거나 색인될 수 있는지 결정할 명확한 통제 수단을 제공하며, 그 디렉티브를 항상 존중한다."

마이크로소프트 빙과 앤스로픽은 어떤 이유에서인지 와이어드에 논평을 제공하지 않았다.

왜 중요한가

이 사건은 어떤 페이지가 색인되고 어떤 페이지가 색인되지 않아야 하는지 제대로 아는 SEO 전문가와 상의하는 것이 얼마나 중요한지 보여준다.

실무 정리

첫째, robots.txt와 noindex를 동시에 쓰지 않는다. 이 사건의 유일한 기술적 교훈이다. 둘 중 하나만 쓴다. 색인을 막고 싶으면 크롤은 허용하고 noindex를 읽게 해야 한다.

둘째, 진짜 비공개 콘텐츠는 메타 태그가 아니라 인증으로 막는다. noindex는 "검색엔진에게 보여주지 말아달라는 요청" 이지 접근 제어가 아니다. 민감 정보라면 URL을 아는 사람이 볼 수 있는 구조 자체가 문제다.

셋째, "공유 링크" 기능을 설계할 때 색인 정책을 함께 정한다. 클로드의 공유 스냅샷처럼 사용자가 생성하는 공개 URL은 제품 기능이면서 동시에 SEO 표면이다. 기획 단계에 SEO가 들어가야 하는 대표적 사례다.

넷째, 자사 도메인에 site: 명령을 정기적으로 돌린다. site:도메인/경로 로 의도하지 않은 색인을 확인하는 것은 몇 초면 된다. 이 사건도 그 명령으로 드러났다.

다섯째, 노출된 뒤의 제거는 사후 대응임을 안다. 결과는 제거됐지만 와이어드 보도와 캡처는 남았다. 색인 제거가 평판 회복은 아니다.

여섯째, 기술 부채로 분류해 관리한다. 색인·크롤 디렉티브 충돌은 SEO 기술부채, 고칠 것과 무시할 것 — 크롤러가 준 10,001개 문제 앞에서의 분류로는 "지금 고친다(Fix now)" 에 해당한다. 중요 페이지의 색인을 직접 차단하거나, 반대로 차단해야 할 페이지가 노출되는 경우다.

일곱째, AI 제품의 검색 표면을 별도로 감사한다. 생성형 AI 서비스가 만드는 공개 URL은 기존 웹사이트 감사 범위 밖에 있는 경우가 많다. AI가 우리 사업 정보를 어떻게 노출하는지 점검하는 방법은 AI 엔티티 풋프린트 감사 — AI에게 우리 사업을 설명해보게 하라에서 다뤘다.