adrianshort
/
planningalerts
дзеркало https://github.com/adrianshort/planningalerts.git
1
0
Форк 0
Код Проблеми 0 Релізи 0 Вікі Активність
Automatically exported from code.google.com/p/planningalerts
Ви не можете вибрати більше 25 тем Теми мають розпочинатися з літери або цифри, можуть містити дефіси (-) і не повинні перевищувати 35 символів.
314 Коміти
2 Гілки
24 MiB
Дерево: c719513b23
Гілки Теги
${ item.name }
Створити гілку ${ searchTerm }
з 'c719513b23'
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Неформатований Звичайний вигляд Історія

Add a robots.txt file to stop search engines bothering our scrapers and api.
16 роки тому
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php