Add a robots.txt file to stop search engines bothering our scrapers · ad6091868e - planningalerts - git.adrianshort.org

Parcourir la source

Add a robots.txt file to stop search engines bothering our scrapers

and api.

import/raw

duncan.parkes il y a 17 ans

Parent

277d029525

révision

ad6091868e

1 fichiers modifiés avec 4 ajouts et 0 suppressions

Vue séparée

							
								+ 4
								
								- 0
							
trunk/docs/robots.txtVoir le fichier
								
			@@ -0,0 +1,4 @@
		
			User-agent: *
		
			Disallow: /cgi-bin/
		
			Disallow: /scrapers/
		
			Disallow: /api.php