[리눅스] robots.txt의 뜻과 디렉토리 위치

robots.txt란?

검색엔진의 접근을 제어 하는 참조 명령을 적어 두는 파일입니다.

검색엔진 크롤러의 접근을 제한하는 디렉토리 및 파일을 지정하는 것입니다. 

웹 사이트, 운영을 위한 robots.txt 위치

파일의 위치는 도메인의 루트(root) 입니다. 즉, 최상위 폴더입니다. 

예를 들면, 아래와 같습니다.

윈도우의 경우

C:\apache-tomcat-7.0.70\webapps\ROOT/html/robots.txt

리눅스의 경우

/usr/local/tomcat/webapps/ROOT/html/robots.txt

잘 적용되었는지 확인하는 방법

홈페이지 도메인에 /를 하고 robots.txt를 입력해봅니다.

ex) www.Test.com/robots.txt

잘못된 점 혹은 궁금한 점이 있다면 댓글 남겨주세요. 감사합니다!