robots.txt는 검색 엔진 크롤러에게 어떤 페이지를 크롤링하고 하지 말아야 하는지 알려주는 파일입니다.
기본 문법
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://example.com/sitemap.xml주의사항
- Disallow는 크롤링만 막고 인덱싱은 막지 않습니다
- 민감한 정보는 robots.txt 대신 인증으로 보호하세요
- Sitemap URL을 robots.txt에 명시하면 발견 속도가 빨라집니다