adrianshort
/
planningalerts
ミラー元 https://github.com/adrianshort/planningalerts.git
1
0
フォーク 0
コード 課題 0 リリース 0 Wiki アクティビティ
Automatically exported from code.google.com/p/planningalerts
選択できるのは25トピックまでです。 トピックは、先頭が英数字で、英数字とダッシュ('-')を使用した35文字以内のものにしてください。
228 コミット
2 ブランチ
1.3 MiB
ツリー: 23946850c8
ブランチ タグ
${ item.name }
ブランチ ${ searchTerm } を作成
'23946850c8' から
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Raw 通常表示 履歴

Add a robots.txt file to stop search engines bothering our scrapers and api.
17年前
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php