AI 검색 크롤링은 허용하면서 모델 학습용 수집은 제한할 수 있습니다. 다만 제공업체별로 제어 방식이 다릅니다. OpenAI의 크롤러 문서에 따르면 OAI-SearchBot과 GPTBot은 별도로 구분됩니다. 검색용인 OAI-SearchBot을 허용하기 위해 학습용인 GPTBot까지 허용할 필요는 없습니다.
주의할 예외는 Google입니다. Google의 크롤러 안내에 따르면 Google-Extended는 학습뿐 아니라 명시된 Gemini 그라운딩 용도도 제어합니다. 학습만 차단하는 설정이 아닙니다.
기업 웹사이트에서는 먼저 허용할 용도를 정하십시오. 검색을 통한 발견, 학습용 수집, 그라운딩, 사용자 요청에 따른 페이지 방문을 구분한 뒤 각 제공업체의 제어 방식에 맞춰 설정하십시오.
검색 봇과 학습 봇을 구분하십시오
OpenAI와 Anthropic은 검색용 봇과 모델 학습에 사용할 수 있는 자료를 수집하는 봇을 별도로 안내합니다.
| 제공업체 | 검색 봇 | 학습 봇 | 검색 봇을 차단했을 때의 영향 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | 사이트가 ChatGPT 검색 답변에서 제외됩니다. 다만 해당 사이트로 이동하기 위한 링크는 남을 수 있습니다. |
| Anthropic | Claude-SearchBot | ClaudeBot | 검색 최적화를 위한 색인 생성을 막으며, 검색 노출이 줄어들 수 있습니다. |
이 역할과 차단 영향은 OpenAI의 봇 정의와 Anthropic의 크롤러 안내에 근거합니다.
Anthropic은 ClaudeBot을 제한하면 향후 자료를 학습 데이터셋에서 제외하도록 의사를 표시하는 것이라고 설명합니다. 이는 앞으로 수집할 자료에 대한 제외 요청이며, 기존 모델에서 콘텐츠를 제거한다는 약속은 아닙니다. Anthropic은 자사 봇이 robots.txt 지침을 준수한다고도 사이트 소유자 안내에서 밝힙니다.
Google 검색과 Google-Extended를 별도로 판단하십시오
Google은 AI 개요와 AI 모드를 포함한 검색에 Googlebot 크롤링 제어를 사용합니다. Google 검색 센터에 따르면 이러한 기능에서 답변을 뒷받침하는 링크로 표시될 자격을 갖추려면 페이지가 색인에 등록되어 있고, 검색에서 스니펫과 함께 표시될 수 있어야 합니다.
Google-Extended는 robots.txt에서 사용하는 제어 토큰입니다. 별도의 HTTP 사용자 에이전트 문자열이 아닙니다. Google은 이 토큰으로 크롤링한 콘텐츠의 다음 용도에 대한 사용 여부를 제어한다고 설명합니다.
- Gemini Apps와 Vertex AI API for Gemini를 구동하는 향후 Gemini 모델의 학습입니다.
- Gemini Apps의 그라운딩과 Vertex AI의 Grounding with Google Search입니다. 여기서 그라운딩은 프롬프트가 처리되는 시점에 검색 색인의 콘텐츠를 모델에 제공하는 것을 뜻합니다.
Google은 이 토큰이 Google 검색에 포함되는지 여부에 영향을 주지 않으며, 검색 순위 신호도 아니라고 설명합니다. 이 범위는 Google의 Google-Extended 문서에 명시되어 있습니다.
따라서 학습과 그라운딩을 함께 포함하는 해당 범위를 허용할지 결정해야 합니다. Google 검색은 허용하면서 Google-Extended를 차단하는 설정이 Google의 모든 AI 검색·조회 용도를 그대로 유지한다는 뜻은 아닙니다.
정책을 robots.txt 규칙으로 옮기십시오
아래 예시는 사이트 관리자와 검토할 설정 패턴입니다. 기존 robots.txt 파일을 통째로 대체하지 마십시오. 기존 경로 제한, 사이트맵 선언, 다른 크롤러 정책을 유지하십시오.
명시적인 봇 그룹을 추가하기 전에 기존 제외 규칙과 어떻게 상호작용하는지 확인하십시오. Google의 robots.txt 사양에 따르면 Google 크롤러는 일치하는 사용자 에이전트 그룹 중 가장 구체적인 그룹을 선택합니다. 해당 그룹의 규칙을 와일드카드 그룹의 규칙과 합치지 않습니다. 기존 제외 규칙이 자동으로 이어진다고 가정하지 말고, 관련 그룹마다 어떤 제외 규칙을 넣어야 하는지 관리자에게 확인을 요청하십시오.
검색은 허용하고 학습용 수집은 제한하십시오
다음 패턴은 해당 검색 봇에 전체 크롤링을 허용하려는 콘텐츠를 위한 예시입니다. OpenAI와 Anthropic이 문서화한 개별 제어 방식을 반영합니다.
# 공개 콘텐츠의 검색 접근 허용
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# 학습용 수집 제한
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
정책상 특정 경로를 제외한다면 전체 사이트를 허용하는 위 규칙을 그대로 복사하지 마십시오. 의도한 공개 콘텐츠 범위에 맞게 관리자가 각 그룹을 조정하도록 하십시오.
Google-Extended는 별도로 결정하십시오
앞서 설명한 Gemini 학습과 그라운딩 용도를 모두 제한하는 정책이라면 Google이 문서화한 제어 토큰을 다음과 같이 적용하십시오.
# 명시된 Gemini 학습 및 그라운딩 용도 제한
User-agent: Google-Extended
Disallow: /
Googlebot 접근은 별도로 검토하십시오. 이 설정을 학습만 차단하는 설정이라고 표시하지 마십시오.
관련 하위 도메인도 각각 확인하십시오. Google의 파일 위치 및 유효 범위 규칙에 따르면 robots.txt 파일은 해당 호스트, 프로토콜, 포트에만 적용됩니다.
사용자 요청에 따른 방문은 별도로 결정하십시오
사용자가 AI 도우미에게 페이지를 열어 달라고 요청하는 것은 자동 검색 크롤링과 다릅니다.
OpenAI의 사용자 에이전트 안내에 따르면 ChatGPT-User는 사용자가 요청해 발생하는 일부 방문을 처리합니다. 자동 웹 크롤러가 아니며 robots.txt 규칙이 적용되지 않을 수 있습니다. 검색 노출 자격을 제어하는 봇도 아닙니다.
Anthropic이 설명하는 범위는 다릅니다. Claude-User를 차단하면 사용자 질의에 응답하기 위한 콘텐츠 조회가 차단되며, 사용자 요청에 따른 검색 노출이 줄어들 수 있습니다. Anthropic의 크롤러 안내에는 이 봇에 대한 robots.txt 제어도 포함되어 있습니다.
사용자 요청에 따른 콘텐츠 조회를 허용할지 명시적으로 기록하십시오. 학습 크롤러 규칙만으로는 이 별도 결정이 정해지지 않습니다.
정책 파일뿐 아니라 실제 접근 상태를 확인하십시오
관리자에게 robots.txt와 함께 호스팅, 방화벽, CDN의 접근 설정도 검토하도록 요청하십시오. OpenAI는 OAI-SearchBot뿐 아니라 공개된 검색봇 IP 대역도 허용할 것을 권장합니다. 해당 IP 대역은 OpenAI의 크롤러 문서에 연결되어 있습니다.
접근을 허용해도 노출이 보장되지는 않습니다. Google은 요건을 충족해도 크롤링, 색인 생성 또는 검색 결과 제공이 보장되지 않는다고 명시합니다. Google의 AI 기능 안내에는 CDN과 호스팅 접근 확인도 포함되어 있습니다.
검색, 학습, 그라운딩, 사용자 요청 방문을 구분한 제공업체별 정책을 관리자에게 전달하십시오. AI를 일괄 차단하는 설정을 변경하기 전에 공식 봇 정의와 차단 효과를 대조하고, 실제 적용된 규칙이 허용하려는 용도와 일치하는지 검토하십시오.
