robots.txt: Control What Search Engines Crawl on Your Site
robots.txt는 검색 엔진(예: Googlebot)이 어떤 페이지를 크롤링하고, 어떤 페이지는 피해야 하는지를 알려주는 중요한 파일입니다.WordPress에서 robots.txt를 설정/수정하는 방법을 단계별로 알려드릴게요. robots.txt란? 기본 예시 (권장 템플릿) txt복사편집User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/sitemap_index.xml 설정 의미 User-agent: * 모든 봇 대상 Disallow: /wp-admin/ 워드프레스 관리자 영역은 크롤링 금지 Allow: /wp-admin/admin-ajax.php AJAX는 예외로 허용 Sitemap: 사이트맵 URL 지정 […]