robots.txt는 검색 엔진(예: Googlebot)이 어떤 페이지를 크롤링하고, 어떤 페이지는 피해야 하는지를 알려주는 중요한 파일입니다.
WordPress에서 robots.txt를 설정/수정하는 방법을 단계별로 알려드릴게요.
robots.txt란?
- 사이트 최상단에 위치한 텍스트 파일
- URL:
https://yourdomain.com/robots.txt - Google, Bing 같은 검색 엔진 크롤러의 행동을 제어
기본 예시 (권장 템플릿)
txt복사편집User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yourdomain.com/sitemap_index.xml
| 설정 | 의미 |
|---|---|
User-agent: * | 모든 봇 대상 |
Disallow: /wp-admin/ | 워드프레스 관리자 영역은 크롤링 금지 |
Allow: /wp-admin/admin-ajax.php | AJAX는 예외로 허용 |
Sitemap: | 사이트맵 URL 지정 (SEO에 중요) |
설정 방법 ①: Rank Math / Yoast SEO로 robots.txt 수정
▶️ Rank Math 사용 시:
- 워드프레스 관리자 → Rank Math > 일반 설정 > Edit robots.txt
- 기본값을 수정하거나 새로 입력
- 저장
✅ 직접 robots.txt 파일 만들 필요 없이 관리 UI로 수정 가능
▶️ Yoast SEO 사용 시:
- 관리자 > SEO > 도구 > 파일 편집기
robots.txt파일 생성 버튼 클릭 (없을 경우)- 내용을 입력 후 저장
설정 방법 ②: 직접 FTP 또는 File Manager로 업로드
- 웹호스팅의 파일 관리자(예: Hostinger의
hPanel) 접속 /public_html/디렉터리로 이동robots.txt라는 파일을 직접 생성- 아래 내용을 넣고 저장:
txt복사편집User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yourdomain.com/sitemap_index.xml
- 완료 후 →
https://yourdomain.com/robots.txt접속해 확인
robots.txt 테스트 방법
- Google Search Console > 설정 > robots.txt 검사 도구
- 직접 URL 입력 후 “허용 여부” 테스트 가능
추천 설정 팁
| 목적 | 설정 |
|---|---|
| 전체 페이지 노출 허용 | User-agent: * + Disallow: 없이 비워두기 |
| 특정 디렉터리 차단 | Disallow: /private-folder/ |
| 이미지 제외 | User-agent: Googlebot-Image → Disallow: / |
| 사이트맵 명시 | Sitemap: 전체 URL 입력 |
잘못 설정하면 안 되는 예
txt복사편집User-agent: *
Disallow: /
❌ 이렇게 하면 사이트 전체가 검색에서 제외됩니다!
요약
| 항목 | 내용 |
|---|---|
| robots.txt 위치 | https://yourdomain.com/robots.txt |
| 설정 방법 | Rank Math / Yoast SEO / 직접 업로드 |
| 주요 기능 | 크롤링 허용/차단, sitemap 안내 |
| 주의 사항 | 너무 많은 차단은 SEO에 불리 |