adrianshort
/
planningalerts
의 미러 https://github.com/adrianshort/planningalerts.git
1
0
포크 0
코드 이슈 0 릴리즈 0 위키 활동
소스 검색

Add a robots.txt file to stop search engines bothering our scrapers 

and api.
import/raw
duncan.parkes 17 년 전
부모
277d029525
커밋
ad6091868e
1개의 변경된 파일과 4개의 추가작업 그리고 0개의 파일을 삭제
분할 보기
Diff Options
Show Stats Download Patch File Download Diff File
  1. +4
    -0
      trunk/docs/robots.txt

+ 4
- 0
trunk/docs/robots.txt 파일 보기

@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php

쓰기 미리보기
불러오는 중...
취소
저장