AI 크롤러(GPTBot 등) 허용·차단 설정 가이드
Yuuuk94·발행
요약
AI 회사들은 용도별로 크롤러를 나눠 운영합니다. 크게 모델 학습용, AI 검색·답변용, 사용자 요청 시 방문용 세 가지입니다. 이 구분을 알면 "학습에는 안 쓰이고 검색에는 나오게" 같은 설정이 가능합니다.
설정은 robots.txt로 합니다. 다만 robots.txt는 크롤러가 자발적으로 따르는 규칙이라, 확실한 차단이 필요하면 서버나 CDN 단에서 막아야 합니다.
01주요 AI 크롤러 정리
| User-agent | 회사 | 용도 |
|---|---|---|
| GPTBot | OpenAI | 모델 학습용 수집 |
| OAI-SearchBot | OpenAI | ChatGPT 검색 결과 노출 |
| ChatGPT-User | OpenAI | 사용자가 ChatGPT에서 요청할 때 방문 |
| ClaudeBot | Anthropic | 모델 학습용 수집 |
| Claude-SearchBot | Anthropic | 검색 품질 향상용 수집 |
| Claude-User | Anthropic | 사용자 요청 시 방문 |
| PerplexityBot | Perplexity | Perplexity 검색 결과 노출 |
| Perplexity-User | Perplexity | 사용자 요청 시 방문 |
| Google-Extended | Gemini 등의 학습·그라운딩 사용 여부 제어 토큰 | |
| Applebot-Extended | Apple | Apple 생성형 모델 학습 사용 여부 제어 토큰 |
| CCBot | Common Crawl | 공개 웹 아카이브 수집 (많은 AI 학습 데이터의 출처) |
Google-Extended와 Applebot-Extended는 별도의 크롤러가 아니라 robots.txt에서 쓰는 '제어 토큰'입니다. 실제 수집은 Googlebot, Applebot이 하고, 이 토큰으로 수집한 데이터를 생성형 AI에 쓸지 여부만 정합니다. 그래서 Google-Extended를 막아도 구글 검색 노출과 순위에는 영향이 없습니다.
02어떤 정책을 고를까
| 목표 | 학습용 | 검색·답변용 |
|---|---|---|
| AI 검색에 최대한 노출 | 허용 | 허용 |
| 노출은 원하지만 학습은 거부 | 차단 | 허용 |
| AI와 완전히 거리 두기 | 차단 | 차단 |
META_SCAN처럼 발견 가능성이 중요한 무료 도구나 블로그라면 첫 번째나 두 번째가 일반적입니다. 유료 콘텐츠나 저작권이 중요한 매체라면 학습용 차단을 고려할 만합니다. 검색·답변용까지 막으면 AI 답변에서 출처로 언급될 기회도 함께 사라진다는 점을 감안하세요.
03robots.txt 예시
학습은 거부, 검색 노출은 허용
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://내도메인.com/sitemap.xml특정 폴더만 막기
User-agent: GPTBot
Disallow: /premium/
Disallow: /members/크롤러는 자기 이름과 일치하는 그룹이 있으면 그 그룹만 따르고 User-agent: * 그룹은 보지 않습니다. 그래서 *에 넣은 공통 차단 규칙(예: /admin/)을 특정 봇 그룹에도 함께 적어 줘야 합니다. 흔히 놓치는 부분입니다.
04robots.txt만으로 부족한 경우
- 사용자 요청형 에이전트: ChatGPT-User처럼 사용자가 직접 링크를 열어 달라고 요청해 방문하는 에이전트는 robots.txt 적용 방식이 일반 크롤러와 다를 수 있다고 각 회사가 안내하고 있습니다. 최신 정책은 공식 문서를 확인하세요.
- 규칙을 따르지 않는 봇: 이름을 숨기거나 규칙을 무시하는 수집기는 robots.txt로 막을 수 없습니다. 서버 방화벽이나 CDN의 봇 관리 기능으로 차단해야 합니다.
- 이름을 사칭하는 봇: User-agent는 누구나 흉내 낼 수 있습니다. OpenAI 등은 크롤러의 IP 대역을 공개하고 있으니, 로그를 분석할 때는 IP까지 대조하는 것이 정확합니다.
05설정 후 확인하기
- 브라우저에서
/robots.txt를 열어 배포된 내용이 의도대로인지 봅니다. - 서버나 CDN 로그에서 각 User-agent의 요청과 응답 코드를 확인합니다. 허용한 봇이 403을 받고 있다면 방화벽이 막고 있는 것입니다.
- 구글 서치콘솔 robots.txt 보고서에서 문법 오류가 없는지 확인합니다.
- META_SCAN으로 사이트를 스캔하면 'AI 신호' 카드에서 주요 AI 검색 크롤러가 robots.txt로 막혀 있는지 바로 볼 수 있습니다.
크롤러 이름은 회사 정책에 따라 추가되거나 바뀝니다. 이 글의 목록도 작성 시점 기준이므로, 설정 전에 아래 공식 문서에서 최신 이름을 확인하는 것을 권합니다.
자주 묻는 질문
- Q. GPTBot을 막으면 이미 학습된 데이터도 지워지나요?
- 아니요. robots.txt는 앞으로의 수집에만 적용됩니다. 이미 수집된 데이터의 처리는 각 회사의 정책을 따릅니다.
- Q. Google-Extended를 막으면 구글 검색 순위가 떨어지나요?
- 아니요. 구글은 Google-Extended가 구글 검색 노출이나 순위에 영향을 주지 않는다고 밝히고 있습니다. 다만 구글 검색의 AI 개요는 일반 검색 색인을 쓰므로 Google-Extended와는 별개로 동작합니다.
- Q. 모든 AI 봇을 한 줄로 막을 수는 없나요?
- robots.txt에는 'AI 봇 전체'를 뜻하는 지시어가 없습니다. 이름을 하나씩 적어야 합니다. 일괄 차단이 필요하면 CDN의 봇 관리 기능을 쓰는 편이 관리하기 쉽습니다.
함께 읽기
참고 문서
내 사이트는 어떨까요?
URL 하나만 넣으면 이 글에서 다룬 항목을 포함해 SEO·AEO·GEO 체크리스트를 무료로 확인할 수 있습니다.
무료로 검사하기