ソースを参照

Add a robots.txt file to stop search engines bothering our scrapers

and api.
import/raw
duncan.parkes 17年前
コミット
ad6091868e
1個のファイルの変更4行の追加0行の削除
  1. +4
    -0
      trunk/docs/robots.txt

+ 4
- 0
trunk/docs/robots.txt ファイルの表示

@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php

読み込み中…
キャンセル
保存