adrianshort
/
planningalerts
의 미러 https://github.com/adrianshort/planningalerts.git
1
0
포크 0
코드 이슈 0 릴리즈 0 위키 활동
소스 검색

Add a robots.txt file to stop search engines bothering our scrapers 

and api.
master
duncan.parkes 17 년 전
부모
5ba4a625c7
커밋
26d13fc88a
1개의 변경된 파일과 4개의 추가작업 그리고 0개의 파일을 삭제
분할 보기
Diff Options
Show Stats Download Patch File Download Diff File
  1. +4
    -0
      docs/robots.txt

+ 4
- 0
docs/robots.txt 파일 보기

@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php

쓰기 미리보기
불러오는 중...
취소
저장