adrianshort
/
planningalerts
镜像自地址 https://github.com/adrianshort/planningalerts.git
1
0
派生 0
代码 工单 0 版本发布 0 百科 动态
浏览代码

Add a robots.txt file to stop search engines bothering our scrapers 

and api.
import/raw
duncan.parkes 17 年前
父节点
277d029525
当前提交
ad6091868e
共有 1 个文件被更改，包括 4 次插入 和 0 次删除
分列视图
Diff 选项
显示统计 下载 Patch 文件 下载 Diff 文件
  1. +4
    -0
      trunk/docs/robots.txt

+ 4
- 0
trunk/docs/robots.txt 查看文件

@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php

撰写 预览
正在加载...
取消
保存