adrianshort
/
planningalerts
Mirror von https://github.com/adrianshort/planningalerts.git
1
0
Fork 0
Code Issues 0 Releases 0 Wiki Aktivität
Automatically exported from code.google.com/p/planningalerts
Du kannst nicht mehr als 25 Themen auswählen Themen müssen entweder mit einem Buchstaben oder einer Ziffer beginnen. Sie können Bindestriche („-“) enthalten und bis zu 35 Zeichen lang sein.
314 Commits
2 Branches
24 MiB
Struktur: c719513b23
Branches Tags
${ item.name }
Erstelle Branch ${ searchTerm }
von „c719513b23“
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Originalformat Normale Ansicht Verlauf

Add a robots.txt file to stop search engines bothering our scrapers and api.
vor 16 Jahren
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php