Add a robots.txt file to stop search engines bothering our scrapers · 26d13fc88a - planningalerts - git.adrianshort.org

Преглед на файлове

Add a robots.txt file to stop search engines bothering our scrapers

and api.

master

duncan.parkes преди 17 години

родител

5ba4a625c7

ревизия

26d13fc88a

променени са 1 файла, в които са добавени 4 реда и са изтрити 0 реда

Разделен изглед

							
								+ 4
								
								- 0
							
docs/robots.txtЦелия файл
								
			@@ -0,0 +1,4 @@
		
			User-agent: *
		
			Disallow: /cgi-bin/
		
			Disallow: /scrapers/
		
			Disallow: /api.php