adrianshort
/
planningalerts
зеркало из https://github.com/adrianshort/planningalerts.git
1
0
Форкнуть 0
Код Задачи 0 Релизы 0 Вики Активность
Automatically exported from code.google.com/p/planningalerts
Вы не можете выбрать более 25 тем Темы должны начинаться с буквы или цифры, могут содержать дефисы(-) и должны содержать не более 35 символов.
314 коммитов
2 Ветки
24 MiB
Дерево: c719513b23
Ветки Теги
${ item.name }
Создать ветку ${ searchTerm }
из 'c719513b23'
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Исходник Обычный вид История

Add a robots.txt file to stop search engines bothering our scrapers and api.
16 лет назад
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php