1. 내용
User-agent: 검색 로봇의 이름
Disallow: 제한할 디렉토리
Crawl-delay: 다음 방문까지의 딜레이(초)
2. 사용하는 방법
2.1 모든 검색 로봇 접근 차단
User-agent: *
Disallow: /
2.2 모든 검색 로봇, /index 디렉토리 접근을 제한
User-agent: *
Disallow: /index
2.3 네이버 검색 로봇에게만 접근을 허용하고, 다른 검색 로봇들에게는 모든 디렉토리를 제한할 경우
User-agent: naverbot
Disallow:
User-agent: *
Disallow: /
(접근을 차단하고 싶을 때는 /를 입력 하고, 허용하고 싶을 때는 공백으로 두면 됩니다.)
2.4 구글 이미지의 로봇에게 JPG 파일을 제한할 경우
User-agent: Googlebot-Image
Disallow: /*.jpg$
2.5 검색 로봇이 1분에 한 번만 방문하도록 설정
User-agent: *
Disallow:
Crawl-delay: 60
3. 주요 검색엔진의 로봇이름
Google : googlebot
MSN Search : msnbot
Yahoo : yahoo-slurp
Ask/Teoma : teoma
Cuil : twiceler
GigaBlast : gigabot
Scrub The Web : scrubby
DMOZ Checker : robozilla
Nutch : nutch
Alexa/Wayback : ia_archiver
Baidu : baiduspider
Naver : naverbot, yeti
Google Image : googlebot-image
Google Mobile : googlebot-mobile
Yahoo MM : yahoo-mmcrawler
MSN PicSearch : psbot
SingingFish : asterias
Yahoo Blogs : yahoo-blogs/v3.9
감사합니다.
출처: http://sun2ne.tistory.com/75 [─┼ 태양이 뜨는 곳 ┼─]
