adrianshort
/
planningalerts
réplica de https://github.com/adrianshort/planningalerts.git
1
0
Fork 0
Código Incidencias 0 Lanzamientos 0 Wiki Actividad
Automatically exported from code.google.com/p/planningalerts
No puede seleccionar más de 25 temas Los temas deben comenzar con una letra o número, pueden incluir guiones ('-') y pueden tener hasta 35 caracteres de largo.
294 Commits
2 Ramas
1.3 MiB
 
 
 
 
 
 
Árbol: 42d99b3e7f
Ramas Etiquetas
${ item.name }
Crear rama ${ searchTerm }
desde '42d99b3e7f'
${ noResults }
planningalerts/python_scrapers
duncan.parkes 42d99b3e7f Add scraper for Broxtowe. hace 16 años
..
Aberdeenshire.py Add parser for Kirklees. Get rid of some unnecessary imports. hace 16 años
AcolnetParser.py Fix Lewisham comments email address. hace 16 años
AcolnetParser_HTMLParser.py Add New version of the Acolnet scraper using BeautifulSoup instead of HTMLParser. hace 17 años
AmberValley.py Add scraper for Amber Valley. This was a really irritating one. There is no way to link to individual info pages, so hace 16 años
ApplicationSearchServletParser.py Daventry have replaced their nice url with an IP address... hace 16 años
AtriumePlanning.py Fix Dorset County Council scraper (the council seem to be using an IP address now rather than the domain they had hace 16 años
Barnsley.py Add scraper for Barnsley. hace 16 años
Berwick.py Add parser for Kirklees. Get rid of some unnecessary imports. hace 16 años
Birmingham.py Add scraper for Birmingham. hace 16 años
Brent.py Add scraper for Brent. hace 16 años
Brentwood.cgi Add Peter's scrapers for Highland, Glasgow, and Brentwood. hace 16 años
Brentwood.pl Add Peter's scrapers for Highland, Glasgow, and Brentwood. hace 16 años
Broxbourne.cgi Rename Broxbourne scraper so that it matches the database. hace 17 años
Broxtowe.py Add scraper for Broxtowe. hace 16 años
CGITemplate Add more debug. hace 16 años
Cairngorms.py Add scraper for the Cairngorms National Park. hace 16 años
Calderdale.py Add scraper for Calderdale. hace 16 años
Carmarthenshire.py Add scraper for Lichfield. Remove another unused import. hace 16 años
Christchurch.cgi Add Somerset scraper hace 17 años
Dacorum.cgi Fix the Dacorum perl parser. hace 16 años
EastHerts.cgi Move some cgi scripts so that I can copy them in with the right file hace 17 años
Eastbourne.py Add scraper for Eastbourne. The info and comment links won't work since they require you to have a cookie. If you go hace 16 años
Enfield.cgi Add back in the Enfield scraper which I probably deleted hace 17 años
Exmoor.py Add scraper for Exmoor. Fix name of Herefordshire. hace 16 años
FastWeb.py Oops - printing the sutton results twice... hace 16 años
Fife.py Add Forest of Dean and Fife parsers. hace 16 años
Flintshire.py Add scraper for Flintshire. I've included the OSGB x,y coordinates in the hope that we can start using these where hace 16 años
ForestOfDean.py Add Forest of Dean and Fife parsers. hace 16 años
Glasgow.cgi Add Peter's scrapers for Highland, Glasgow, and Brentwood. hace 16 años
Glasgow.pl Add Peter's scrapers for Highland, Glasgow, and Brentwood. hace 16 años
Gosport.py Add scraper for Gosport. hace 16 años
HTTPHandlers.py Add scraper for Gosport. hace 16 años
Halton.py Adding scraper for Halton. hace 16 años
Hampshire.py Add Hampshire scraper. hace 16 años
Harrow.py Adding scraper for Harrow. hace 16 años
Hastings.py Add scraper for Hastings. Sadly, no decent info urls again. Had to use the search page. The real info url is only hace 16 años
Herefordshire.py Add scraper for Exmoor. Fix name of Herefordshire. hace 16 años
Highland.cgi Highland, North Ayrshire, Redbridge: updated based on changes made to planning websites hace 16 años
Highland.pl Add Peter's scrapers for Highland, Glasgow, and Brentwood. hace 16 años
Hounslow.py Add scraper for Hounslow. hace 16 años
IsleOfWight.py Add Scraper for the Isle of Wight. hace 16 años
Kensington.py Add Kensington and Chelsea Scraper. hace 16 años
KingstonUponThames.py Add scraper for Kingston upon Thames. hace 16 años
Kirklees.py Add parser for Kirklees. Get rid of some unnecessary imports. hace 16 años
Leicestershire.py Add scraper for Leicestershire County Council. hace 16 años
Lichfield.py Add scraper for Lichfield. Remove another unused import. hace 16 años
Maldon.py Add Pendle scraper (this is basically the same as Maldon). hace 16 años
Medway.py Add Medway scraper. hace 16 años
MultipartPostHandler.py add some Acolnet sites: hace 17 años
Newport.cgi Add perl scraper from Peter for Newport. hace 16 años
Newport.pl Add perl scraper from Peter for Newport. hace 16 años
NorthAyrshire.cgi Highland, North Ayrshire, Redbridge: updated based on changes made to planning websites hace 16 años
NorthAyrshire.pl North Ayrshire, Redbridge: added hace 16 años
NorthHerts.cgi Move some cgi scripts so that I can copy them in with the right file hace 17 años
Ocella.py Add scraper for Gosport. hace 16 años
OtherFilesToCopy.csv Add scraper for Broxtowe. hace 16 años
Planet.py Set up planet scraper. This get's us 5 new councils (though one, Tewkesbury, has no postcodes) hace 16 años
PlanningExplorer.py Change some PlanningExplorer scrapers to use date_registered rather than date_received. hace 16 años
PlanningUtils.py Add scraper for Herefordshire. hace 16 años
PublicAccess.py Some debug (mostly for westminster). hace 16 años
README adding fastweb hace 17 años
Redbridge.cgi Highland, North Ayrshire, Redbridge: updated based on changes made to planning websites hace 16 años
Redbridge.pl North Ayrshire, Redbridge: added hace 16 años
RutlandLike.py Fix Lincoln parser. hace 16 años
Shetland.py Add scraper for Shetland Islands. hace 16 años
Shropshire.py Add Scraper for Lewes (which now has PublicAccess). hace 16 años
SitesToGenerate.csv Add scraper for Broxtowe. hace 16 años
SouthOxfordshire.cgi expanded the api (still need to test some stuff) hace 17 años
SouthOxfordshireParser.py add the south oxfordshire scraper, and code to generate hace 17 años
SouthSomerset.cgi New version of South Somerset from Tom. hace 17 años
SwiftLG.py Some debug (mostly for westminster). hace 16 años
WAM.py Add scraper for Eastbourne. The info and comment links won't work since they require you to have a cookie. If you go hace 16 años
WestDorset.py Add python parser for West Dorset, and remove the non-working perl one. hace 16 años
Westminster.py Go back to the urllib2 version of Westminster. This works on disruptiveproactivity. hace 16 años
Westminster_pycurl.py Adding scraper for Halton. hace 16 años
createCGI.sh remove offending svn rm line... hace 17 años
generateCGIScripts.py adding fastweb hace 17 años

README 

In order to generate the contents of the CGI directory (../cgi-bin/)
run

./createCGI.sh

This script generates new cgi files in the CGI directory,
copies in some other files that are needed,
and commits all these changes to svn.

There is currently something very nasty in the permissions
column in the file OtherFilesToCopy.csv

Until version 2.6 of python, there appears to be no convenient
way to convert a string like 0755 into an octal. I am therefore
using integers to specify permissions of the copied files...

420 is 0644
493 is 0755

This is horrid, and must change in the future...