adrianshort
/
planningalerts
spegling av https://github.com/adrianshort/planningalerts.git
1
0
Förgrening 0
Kod Ärenden 0 Släpp 0 Wiki Aktiviteter
Automatically exported from code.google.com/p/planningalerts
Du kan inte välja fler än 25 ämnen Ämnen måste starta med en bokstav eller siffra, kan innehålla bindestreck ('-') och vara max 35 tecken långa.
314 Incheckningar
2 Grenar
24 MiB
Träd: c719513b23
Grenar Taggar
${ item.name }
Skapa branchen ${ searchTerm }
från 'c719513b23'
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Rå Normal vy Historik

Add a robots.txt file to stop search engines bothering our scrapers and api.
16 år sedan
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php