관리 메뉴

이사작전.com IT Blog

[리눅스] robots.txt 를 쉽게 작성해보자! 본문

OS, 하드웨어/Linux

[리눅스] robots.txt 를 쉽게 작성해보자!

말랑고양 플랫폼공작소 2017.08.18 09:46

1. 내용


User-agent: 검색 로봇의 이름

Disallow: 제한할 디렉토리

Crawl-delay: 다음 방문까지의 딜레이(초)


2. 사용하는 방법


2.1 모든 검색 로봇 접근 차단

User-agent: *

Disallow: /


2.2 모든 검색 로봇, /index 디렉토리 접근을 제한

User-agent: *

Disallow: /index


2.3 네이버 검색 로봇에게만 접근을 허용하고, 다른 검색 로봇들에게는 모든 디렉토리를 제한할 경우

User-agent: naverbot

Disallow: 


User-agent: *

Disallow: /

(접근을 차단하고 싶을 때는 /를 입력 하고, 허용하고 싶을 때는 공백으로 두면 됩니다.)


2.4 구글 이미지의 로봇에게 JPG 파일을 제한할 경우

User-agent: Googlebot-Image

Disallow: /*.jpg$


2.5 검색 로봇이 1분에 한 번만 방문하도록 설정

User-agent: *

Disallow: 

Crawl-delay: 60


3. 주요 검색엔진의 로봇이름


Google : googlebot

MSN Search : msnbot

Yahoo : yahoo-slurp

Ask/Teoma : teoma

Cuil : twiceler

GigaBlast : gigabot

Scrub The Web : scrubby

DMOZ Checker : robozilla

Nutch : nutch

Alexa/Wayback : ia_archiver

Baidu : baiduspider

Naver : naverbot, yeti


Google Image : googlebot-image

Google Mobile : googlebot-mobile

Yahoo MM : yahoo-mmcrawler

MSN PicSearch : psbot

SingingFish : asterias

Yahoo Blogs : yahoo-blogs/v3.9


감사합니다.


출처: http://sun2ne.tistory.com/75 [─┼ 태양이 뜨는 곳 ┼─]

0 Comments
댓글쓰기 폼