robots.txt Generator

robots.txt 생성기란?

robots.txt 생성기는 표준 robots.txt 파일을 빠르게 만들 수 있는 온라인 도구입니다. User-agent, Allow, Disallow 규칙을 설정해 검색 엔진 크롤러가 접근할 수 있는 사이트 범위를 제어하고 Sitemap 주소도 추가할 수 있습니다.

주요 기능

• User-agent / Allow / Disallow 규칙을 여러 그룹으로 추가
• 표준 robots.txt 문법 자동 생성 (직접 작성 불필요)
• 규칙별로 여러 줄의 Allow 및 Disallow 경로 지원
• Sitemap 주소 추가 가능
• 결과를 한 번의 클릭으로 생성하고 복사

사용 시나리오 / 주의사항

사이트를 배포할 때 특정 디렉터리나 비공개 페이지를 크롤러가 수집하지 못하게 할 때 유용합니다. 출력은 일반 텍스트 표준 형식이며, 경로는 / 로 시작하는 올바른 형식이어야 합니다.

사용 방법

1. User-agent를 입력합니다 (기본값은 * 로 모든 크롤러와 일치)
2. Allow와 Disallow 경로를 줄 단위로 입력하고, 원하면 Sitemap을 추가합니다
3. 생성을 클릭해 robots.txt 내용을 확인하고 복사합니다