adrianshort
/
planningalerts
spogulis no https://github.com/adrianshort/planningalerts.git
1
0
Atdalīts 0
Kods Problēmas 0 Laidieni 0 Vikivietne Aktivitāte
Automatically exported from code.google.com/p/planningalerts
Nevar pievienot vairāk kā 25 tēmas Tēmai ir jāsākas ar burtu vai ciparu, tā var saturēt domu zīmes ('-') un var būt līdz 35 simboliem gara.
314 Revīzijas
2 Atzari
24 MiB
Koks: c719513b23
Atzari Tagi
${ item.name }
Izveidot atzaru ${ searchTerm }
no 'c719513b23'
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Neapstrādāts Parastais skats Vēsture

Add a robots.txt file to stop search engines bothering our scrapers and api.
pirms 16 gadiem
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php