adrianshort
/
planningalerts
镜像来自 https://github.com/adrianshort/planningalerts.git
1
0
複製 0
程式碼 問題管理 0 版本發佈 0 Wiki Activity
瀏覽代碼

Add a robots.txt file to stop search engines bothering our scrapers 

and api.
import/raw
duncan.parkes 17 年之前
父節點
277d029525
當前提交
ad6091868e
共有 1 個文件被更改，包括 4 次插入 和 0 次删除
分割檢視
Diff Options
Show Stats Download Patch File Download Diff File
  1. +4
    -0
      trunk/docs/robots.txt

+ 4
- 0
trunk/docs/robots.txt 查看文件

@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php

Write Preview
Loading…
取消
儲存