adrianshort
/
planningalerts
镜像自地址 https://github.com/adrianshort/planningalerts.git
1
0
派生 0
代码 工单 0 版本发布 0 百科 动态
Automatically exported from code.google.com/p/planningalerts
您最多选择25个主题 主题必须以字母或数字开头，可以包含连字符 (-)，并且长度不得超过35个字符
376 提交
2 分支
50 MiB
目录树: 7be61c3f7b
分支列表 标签列表
${ item.name }
创建分支 ${ searchTerm }
从 '7be61c3f7b'
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
原始文件 普通视图 文件历史

Add a robots.txt file to stop search engines bothering our scrapers and api.
17 年前
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php