Automatically exported from code.google.com/p/planningalerts
Вы не можете выбрать более 25 тем Темы должны начинаться с буквы или цифры, могут содержать дефисы(-) и должны содержать не более 35 символов.
 
 
 
 
 
 

5 строки
74 B

  1. User-agent: *
  2. Disallow: /cgi-bin/
  3. Disallow: /scrapers/
  4. Disallow: /api.php