adrianshort
/
planningalerts
spogulis no https://github.com/adrianshort/planningalerts.git
1
0
Atdalīts 0
Kods Problēmas 0 Laidieni 0 Vikivietne Aktivitāte
Automatically exported from code.google.com/p/planningalerts
Nevar pievienot vairāk kā 25 tēmas Tēmai ir jāsākas ar burtu vai ciparu, tā var saturēt domu zīmes ('-') un var būt līdz 35 simboliem gara.
216 Revīzijas
2 Atzari
1.3 MiB
Koks: 24880a87cc
Atzari Tagi
${ item.name }
Izveidot atzaru ${ searchTerm }
no '24880a87cc'
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Neapstrādāts Parastais skats Vēsture

Add a robots.txt file to stop search engines bothering our scrapers and api.
pirms 17 gadiem
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php