adrianshort
/
planningalerts
spegling av https://github.com/adrianshort/planningalerts.git
1
0
Förgrening 0
Kod Ärenden 0 Släpp 0 Wiki Aktiviteter
Bläddra i källkod

Add a robots.txt file to stop search engines bothering our scrapers 

and api.
import/raw
duncan.parkes 17 år sedan
förälder
277d029525
incheckning
ad6091868e
1 ändrade filer med 4 tillägg och 0 borttagningar
Delad Vy
Diff Options
Show Stats Download Patch File Download Diff File
  1. +4
    -0
      trunk/docs/robots.txt

+ 4
- 0
trunk/docs/robots.txt Visa fil

@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php

Skriv Förhandsgranska
Laddar…
Avbryt
Spara