Просмотр исходного кода

Add a robots.txt file to stop search engines bothering our scrapers

and api.
import/raw
duncan.parkes 17 лет назад
Родитель
Сommit
ad6091868e
1 измененных файлов: 4 добавлений и 0 удалений
  1. +4
    -0
      trunk/docs/robots.txt

+ 4
- 0
trunk/docs/robots.txt Просмотреть файл

@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php

Загрузка…
Отмена
Сохранить