robots.txt 생성기
구글·네이버 크롤러가 어디까지 볼 수 있는지, 클릭 몇 번으로 정하세요
복사한 내용을 robots.txt 파일로 저장해 도메인 최상위 경로에 올리면 적용돼요.
여러 사이트를 관리한다면 이 페이지를 즐겨찾기(Ctrl+D)해 두세요. 최근 설정 5개는 이 브라우저에만 저장돼요.
설명
구글, 네이버 같은 검색엔진에게 "이 페이지는 봐도 돼요", "저 페이지는 보지 마세요"라고 알려주는 robots.txt를 만들어 드립니다. 전체 허용·전체 차단·특정 경로만 차단 중 원하는 방식을 고르고, 사이트맵 주소만 넣으면 바로 완성됩니다.
관련 도구
robots.txt는 웹사이트 루트에 위치하는 텍스트 파일로, 구글·네이버·빙 등 검색엔진 크롤러에게 어느 페이지를 수집해도 되는지 알려주는 역할을 합니다. 이 도구를 사용하면 복잡한 문법을 외우지 않아도 원하는 설정을 클릭 몇 번으로 정확한 형식의 robots.txt 파일을 즉시 생성할 수 있습니다. 전체 허용·전체 차단·특정 경로 차단 중 하나를 고르고 사이트맵 URL을 넣으면, 모든 크롤러를 뜻하는 User-agent: * 블록 기준으로 규칙이 완성됩니다.
사용 방법
먼저 '허용/차단' 드롭다운에서 방식을 고릅니다. '전체 허용'은 모든 페이지 수집을 허용하는 Allow: /, '전체 차단'은 수집을 전면 금지하는 Disallow: /, '일부 차단'은 아래 '차단 경로' 칸에 적은 경로만 막는 규칙을 만듭니다. '일부 차단'을 고르면 차단 경로 입력칸이 열리므로 관리자 페이지라면 '/admin/', 특정 파라미터 URL이라면 '/?s='처럼 한 줄에 하나씩 입력합니다. 마지막으로 사이트맵 URL(https://example.com/sitemap.xml 형태)을 넣으면 파일 끝에 Sitemap: 줄이 자동으로 붙어 완성됩니다. 결과는 입력을 바꿀 때마다 미리보기 창에 바로 반영되며, '코드 복사하기'로 복사하거나 '파일 다운로드'로 robots.txt 파일을 받아 웹 호스팅의 루트 디렉터리(도메인 최상단)에 'robots.txt'라는 이름으로 올리면 됩니다. 출력은 모든 크롤러에 적용되는 User-agent: * 블록 하나이므로, 구글봇처럼 특정 봇만 따로 제어하려면 복사한 결과에 해당 봇 블록을 직접 추가하세요.
이럴 때 꼭 필요해요
로그인 페이지, 장바구니, 내 정보 페이지처럼 검색 결과에 노출될 필요 없는 내부 페이지를 차단할 때 유용합니다. 개발 중인 스테이징 서버나 테스트 환경 전체를 크롤러로부터 막아야 할 때도 robots.txt가 가장 빠른 방법입니다. 또한 검색 노출이 필요 없는 중복 파라미터 URL이나 내부 전용 디렉터리를 차단하면 크롤 예산(Crawl Budget)을 중요한 콘텐츠 페이지에 집중시킬 수 있습니다(단, 화면 렌더링에 쓰이는 CSS·JS는 막지 마세요). 네이버 웹마스터도구나 구글 서치콘솔에서 'robots.txt 차단' 경고가 뜰 때 이 도구로 올바른 형식의 규칙을 새로 만들어 기존 파일을 교체할 수 있습니다.
알아두면 좋은 점
robots.txt는 크롤러에 대한 권고일 뿐, 보안 장치가 아닙니다. 악의적인 봇은 이를 무시할 수 있으므로, 민감한 페이지는 반드시 로그인 인증이나 IP 차단으로 보호해야 합니다. Disallow: / 처럼 사이트 전체를 막으면 검색 노출이 완전히 차단되므로 실수로 배포하지 않도록 주의하세요. 한 파일 안에 여러 User-agent 블록을 작성할 수 있으며, 각 블록은 빈 줄로 구분해야 합니다(이 생성기는 User-agent: * 한 블록만 출력하므로 봇별 블록은 복사한 결과에 직접 추가하면 됩니다). 크롤 지연(Crawl-delay)은 이 생성기가 출력하지 않는 항목이며, 구글봇에는 적용되지 않고 일부 봇에만 작동합니다. 서버 부하를 줄이려면 구글 서치콘솔의 크롤 속도 설정을 함께 활용하세요.
자주 묻는 질문
robots.txt가 없으면 어떻게 되나요?
robots.txt로 차단한 페이지가 구글에 이미 인덱싱돼 있으면 어떻게 되나요?
사이트맵을 robots.txt에 꼭 추가해야 하나요?
와일드카드(*)를 경로에 사용할 수 있나요?
robots.txt와 noindex 메타태그는 어떻게 다른가요?
개인정보처리방침
모든 처리는 브라우저 내부에서만 수행되며 입력값·파일은 서버로 전송·저장되지 않습니다. 광고: Google AdSense(쿠키 사용 가능, 설정). 문의 [email protected]
robots.txt 생성기 사용법
이 도구는 검색엔진 크롤러의 접근 규칙을 담은 robots.txt 파일을 브라우저 안에서 바로 만들어 줍니다. 먼저 '허용/차단' 드롭다운에서 전체 허용·전체 차단·일부 차단 중 하나를 고릅니다. '일부 차단'을 고르면 차단 경로 입력칸이 열리므로 /admin/, /tmp/처럼 막을 경로를 한 줄에 하나씩 적고, 사이트맵 주소를 넣으면 마지막 줄에 Sitemap:이 붙습니다. 입력을 바꾸면 아래 미리보기 창에 완성된 텍스트가 실시간으로 갱신됩니다. 출력은 모든 크롤러를 뜻하는 User-agent: * 블록 기준이므로, 구글(Googlebot)·네이버(Yeti)·빙(Bingbot)처럼 봇마다 규칙을 다르게 주려면 복사한 결과에 블록을 추가하면 됩니다. 복사하거나 파일로 내려받아 사이트 최상위 경로에 robots.txt라는 이름 그대로 올리면 끝입니다.
작동 원리: 경로 매칭 규칙
robots.txt는 크롤러가 사이트 방문 시 가장 먼저 읽는 도메인/robots.txt 파일입니다. 규칙은 접두어(prefix) 매칭으로 동작합니다. Disallow: /data는 /data로 시작하는 모든 URL(/data, /database, /data/1)을 막고, 폴더만 막으려면 /data/처럼 슬래시를 붙입니다. *는 임의 문자열, $는 URL 끝을 뜻해 Disallow: /*.pdf$는 PDF 파일만 정확히 차단합니다. Allow와 Disallow가 겹치면 구글·네이버는 더 긴(구체적인) 규칙을 우선 적용합니다. 이 생성기는 이런 문법을 자동으로 맞춰 오타나 대소문자 실수를 줄여 줍니다.
활용 상황과 주의점
관리자 페이지, 검색 결과 페이지, 로그인 영역, 중복되는 파라미터 URL의 크롤링을 줄일 때 유용합니다. 다만 robots.txt는 크롤링(방문)을 제어할 뿐 색인(노출) 자체를 보장 차단하지 않습니다. 외부 링크로 발견된 페이지는 Disallow여도 검색에 URL만 노출될 수 있으므로, 완전히 숨기려면 페이지에 noindex 메타태그를 쓰거나 로그인으로 막아야 합니다. 또한 CSS·JS를 통째로 막으면 구글이 화면을 제대로 못 읽어 순위에 불리할 수 있으니 리소스 폴더는 열어 두세요.
실전 팁
파일 맨 아래 Sitemap: https://내도메인/sitemap.xml을 넣으면 크롤러가 페이지 목록을 더 빨리 찾습니다. robots.txt 문법 자체는 User-agent별로 규칙을 다르게 줄 수 있으니, 특정 봇만 차단하고 나머지는 허용하려면 이 생성기의 결과를 복사한 뒤 해당 봇 블록을 덧붙이면 됩니다. 업로드 후 구글 서치콘솔의 robots.txt 테스터나 네이버 서치어드바이저에서 실제 적용을 확인하세요. 규칙을 비워 두면(빈 Disallow) 전체 허용을 의미합니다.