adrianshort
/
planningalerts
kopia lustrzana https://github.com/adrianshort/planningalerts.git
1
0
Forkuj 0
Kod Zgłoszenia 0 Wydania 0 Wiki Aktywność
Automatically exported from code.google.com/p/planningalerts
Nie możesz wybrać więcej, niż 25 tematów Tematy muszą się zaczynać od litery lub cyfry, mogą zawierać myślniki ('-') i mogą mieć do 35 znaków.
216 Commity
2 Gałęzie
1.3 MiB
Drzewo: 24880a87cc
Gałęzie Tagi
${ item.name }
Utwórz gałąź ${ searchTerm }
z '24880a87cc'
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Czysty Zwykły widok Historia

Add a robots.txt file to stop search engines bothering our scrapers and api.
17 lat temu
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php