Automatically exported from code.google.com/p/planningalerts
No puede seleccionar más de 25 temas Los temas deben comenzar con una letra o número, pueden incluir guiones ('-') y pueden tener hasta 35 caracteres de largo.

robots.txt 74 B

1234
  1. User-agent: *
  2. Disallow: /cgi-bin/
  3. Disallow: /scrapers/
  4. Disallow: /api.php