adrianshort
/
planningalerts
zrcadlo https://github.com/adrianshort/planningalerts.git
1
0
Rozštěpit 0
Zdrojový kód Úkoly 0 Vydání 0 Wiki Aktivita
Automatically exported from code.google.com/p/planningalerts
Nelze vybrat více než 25 témat Téma musí začínat písmenem nebo číslem, může obsahovat pomlčky („-“) a může být dlouhé až 35 znaků.
314 Revize
2 Větve
24 MiB
Strom: c719513b23
Větve Značky
${ item.name }
Vytvořit větev ${ searchTerm }
z „c719513b23“
${ noResults }
planningalerts/docs/robots.txt

robots.txt 74 B
Surový Normální zobrazení Historie

Add a robots.txt file to stop search engines bothering our scrapers and api.
před 16 roky
​
​
​
 1234 
  1. User-agent: *

  2. Disallow: /cgi-bin/

  3. Disallow: /scrapers/

  4. Disallow: /api.php