Meta-Scan

AI 친화 AEO & GEO & SEO 분석기

블로그
ONLINE
후원하기
© 2026 Meta-Scan. All rights reserved.
블로그소개개인정보처리방침이용약관
SYSTEM ONLINE
홈/블로그

AI 크롤러(GPTBot 등) 허용·차단 설정 가이드

Yuuuk94·발행 2026-11-11

요약

AI 회사들은 용도별로 크롤러를 나눠 운영합니다. 크게 모델 학습용, AI 검색·답변용, 사용자 요청 시 방문용 세 가지입니다. 이 구분을 알면 "학습에는 안 쓰이고 검색에는 나오게" 같은 설정이 가능합니다.

설정은 robots.txt로 합니다. 다만 robots.txt는 크롤러가 자발적으로 따르는 규칙이라, 확실한 차단이 필요하면 서버나 CDN 단에서 막아야 합니다.

01주요 AI 크롤러 정리

User-agent회사용도
GPTBotOpenAI모델 학습용 수집
OAI-SearchBotOpenAIChatGPT 검색 결과 노출
ChatGPT-UserOpenAI사용자가 ChatGPT에서 요청할 때 방문
ClaudeBotAnthropic모델 학습용 수집
Claude-SearchBotAnthropic검색 품질 향상용 수집
Claude-UserAnthropic사용자 요청 시 방문
PerplexityBotPerplexityPerplexity 검색 결과 노출
Perplexity-UserPerplexity사용자 요청 시 방문
Google-ExtendedGoogleGemini 등의 학습·그라운딩 사용 여부 제어 토큰
Applebot-ExtendedAppleApple 생성형 모델 학습 사용 여부 제어 토큰
CCBotCommon Crawl공개 웹 아카이브 수집 (많은 AI 학습 데이터의 출처)

Google-Extended와 Applebot-Extended는 별도의 크롤러가 아니라 robots.txt에서 쓰는 '제어 토큰'입니다. 실제 수집은 Googlebot, Applebot이 하고, 이 토큰으로 수집한 데이터를 생성형 AI에 쓸지 여부만 정합니다. 그래서 Google-Extended를 막아도 구글 검색 노출과 순위에는 영향이 없습니다.

02어떤 정책을 고를까

목표학습용검색·답변용
AI 검색에 최대한 노출허용허용
노출은 원하지만 학습은 거부차단허용
AI와 완전히 거리 두기차단차단

META_SCAN처럼 발견 가능성이 중요한 무료 도구나 블로그라면 첫 번째나 두 번째가 일반적입니다. 유료 콘텐츠나 저작권이 중요한 매체라면 학습용 차단을 고려할 만합니다. 검색·답변용까지 막으면 AI 답변에서 출처로 언급될 기회도 함께 사라진다는 점을 감안하세요.

03robots.txt 예시

학습은 거부, 검색 노출은 허용

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://내도메인.com/sitemap.xml

특정 폴더만 막기

User-agent: GPTBot
Disallow: /premium/
Disallow: /members/

크롤러는 자기 이름과 일치하는 그룹이 있으면 그 그룹만 따르고 User-agent: * 그룹은 보지 않습니다. 그래서 *에 넣은 공통 차단 규칙(예: /admin/)을 특정 봇 그룹에도 함께 적어 줘야 합니다. 흔히 놓치는 부분입니다.

04robots.txt만으로 부족한 경우

  • 사용자 요청형 에이전트: ChatGPT-User처럼 사용자가 직접 링크를 열어 달라고 요청해 방문하는 에이전트는 robots.txt 적용 방식이 일반 크롤러와 다를 수 있다고 각 회사가 안내하고 있습니다. 최신 정책은 공식 문서를 확인하세요.
  • 규칙을 따르지 않는 봇: 이름을 숨기거나 규칙을 무시하는 수집기는 robots.txt로 막을 수 없습니다. 서버 방화벽이나 CDN의 봇 관리 기능으로 차단해야 합니다.
  • 이름을 사칭하는 봇: User-agent는 누구나 흉내 낼 수 있습니다. OpenAI 등은 크롤러의 IP 대역을 공개하고 있으니, 로그를 분석할 때는 IP까지 대조하는 것이 정확합니다.

주의

반대로 원치 않게 막히는 경우도 있습니다. Cloudflare 같은 CDN은 AI 크롤러를 일괄 차단하는 옵션을 제공하고, 새로 추가한 도메인에 기본으로 켜 두기도 합니다. robots.txt에서 허용했는데 AI 검색에 안 나온다면 CDN 설정을 확인하세요.

05설정 후 확인하기

  1. 브라우저에서 /robots.txt를 열어 배포된 내용이 의도대로인지 봅니다.
  2. 서버나 CDN 로그에서 각 User-agent의 요청과 응답 코드를 확인합니다. 허용한 봇이 403을 받고 있다면 방화벽이 막고 있는 것입니다.
  3. 구글 서치콘솔 robots.txt 보고서에서 문법 오류가 없는지 확인합니다.
  4. META_SCAN으로 사이트를 스캔하면 'AI 신호' 카드에서 주요 AI 검색 크롤러가 robots.txt로 막혀 있는지 바로 볼 수 있습니다.

크롤러 이름은 회사 정책에 따라 추가되거나 바뀝니다. 이 글의 목록도 작성 시점 기준이므로, 설정 전에 아래 공식 문서에서 최신 이름을 확인하는 것을 권합니다.

자주 묻는 질문

Q. GPTBot을 막으면 이미 학습된 데이터도 지워지나요?
아니요. robots.txt는 앞으로의 수집에만 적용됩니다. 이미 수집된 데이터의 처리는 각 회사의 정책을 따릅니다.
Q. Google-Extended를 막으면 구글 검색 순위가 떨어지나요?
아니요. 구글은 Google-Extended가 구글 검색 노출이나 순위에 영향을 주지 않는다고 밝히고 있습니다. 다만 구글 검색의 AI 개요는 일반 검색 색인을 쓰므로 Google-Extended와는 별개로 동작합니다.
Q. 모든 AI 봇을 한 줄로 막을 수는 없나요?
robots.txt에는 'AI 봇 전체'를 뜻하는 지시어가 없습니다. 이름을 하나씩 적어야 합니다. 일괄 차단이 필요하면 CDN의 봇 관리 기능을 쓰는 편이 관리하기 쉽습니다.

함께 읽기

  • ChatGPT·AI 검색에 내 사이트가 인용되게 하려면
  • robots.txt 확인하는 법과 흔한 실수 5가지
  • llms.txt란? 만드는 법과 기대해도 되는 것

참고 문서

  • OpenAI: Overview of OpenAI Crawlers
  • Anthropic: Does Anthropic crawl data from the web?
  • Perplexity: Perplexity Crawlers
  • Google Search Central: Google 크롤러 목록(Google-Extended 포함)
  • Apple: About Applebot

글쓴이

Yuuuk94

프론트엔드 개발자. SEO와 Lighthouse를 기준으로 서비스를 개선해 MAU를 350% 올렸고, 그때 쓰던 점검 방법을 META_SCAN으로 만들었습니다.

소개 더 보기 →

내 사이트는 어떨까요?

URL 하나만 넣으면 이 글에서 다룬 항목을 포함해 SEO·AEO·GEO 체크리스트를 무료로 확인할 수 있습니다.

무료로 검사하기