Diese Webseite funktioniert besser mit JavaScript.
Startseite
Erkunden
Hilfe
Anmelden
adrianshort
/
planningalerts
Mirror von
https://github.com/adrianshort/planningalerts.git
Beobachten
1
Favorisieren
0
Fork
0
Code
Issues
0
Releases
0
Wiki
Aktivität
Quellcode durchsuchen
Add a robots.txt file to stop search engines bothering our scrapers
and api.
import/raw
duncan.parkes
vor 17 Jahren
Ursprung
277d029525
Commit
ad6091868e
1 geänderte Dateien
mit
4 neuen
und
0 gelöschten
Zeilen
Geteilte Ansicht
Diff-Optionen
Statistiken anzeigen
Patch-Datei herunterladen
Vergleichs-Datei herunterladen
+4
-0
trunk/docs/robots.txt
+ 4
- 0
trunk/docs/robots.txt
Datei anzeigen
@@ -0,0 +1,4 @@
User-agent: *
Disallow: /cgi-bin/
Disallow: /scrapers/
Disallow: /api.php
Verfassen
Vorschau
Laden…
Abbrechen
Speichern