Add a robots.txt file to stop search engines bothering our scrapers · 26d13fc88a - planningalerts - git.adrianshort.org

Parcourir la source

Add a robots.txt file to stop search engines bothering our scrapers

and api.

master

duncan.parkes il y a 17 ans

Parent

5ba4a625c7

révision

26d13fc88a

1 fichiers modifiés avec 4 ajouts et 0 suppressions

Vue séparée

							
								+ 4
								
								- 0
							
docs/robots.txtVoir le fichier
								
			@@ -0,0 +1,4 @@
		
			User-agent: *
		
			Disallow: /cgi-bin/
		
			Disallow: /scrapers/
		
			Disallow: /api.php