adrianshort
/
planningalerts
дзеркало https://github.com/adrianshort/planningalerts.git
1
0
Форк 0
Код Проблеми 0 Релізи 0 Вікі Активність
Automatically exported from code.google.com/p/planningalerts
Ви не можете вибрати більше 25 тем Теми мають розпочинатися з літери або цифри, можуть містити дефіси (-) і не повинні перевищувати 35 символів.
317 Коміти
2 Гілки
1.3 MiB
 
 
 
 
 
 
Дерево: 24247d187f
Гілки Теги
${ item.name }
Створити гілку ${ searchTerm }
з '24247d187f'
${ noResults }
planningalerts/python_scrapers
duncan.parkes 55b14a2b71 This is a big refactor of the scrapers. 16 роки тому
..
Aberdeenshire.py Add parser for Kirklees. Get rid of some unnecessary imports. 16 роки тому
AcolnetParser.py Fix Lewisham comments email address. 16 роки тому
AcolnetParser_HTMLParser.py Add New version of the Acolnet scraper using BeautifulSoup instead of HTMLParser. 17 роки тому
AmberValley.py Add scraper for Amber Valley. This was a really irritating one. There is no way to link to individual info pages, so 16 роки тому
ApplicationSearchServletParser.py Daventry have replaced their nice url with an IP address... 16 роки тому
AtriumePlanning.py Fix Dorset County Council scraper (the council seem to be using an IP address now rather than the domain they had 16 роки тому
Barnsley.py Add scraper for Barnsley. 16 роки тому
Berwick.py Add parser for Kirklees. Get rid of some unnecessary imports. 16 роки тому
Birmingham.py Add scraper for Birmingham. 16 роки тому
Brent.py Add scraper for Brent. 16 роки тому
Brentwood.cgi Add Peter's scrapers for Highland, Glasgow, and Brentwood. 16 роки тому
Brentwood.pl Add Peter's scrapers for Highland, Glasgow, and Brentwood. 16 роки тому
Broxbourne.cgi Rename Broxbourne scraper so that it matches the database. 17 роки тому
Broxtowe.py Add scraper for Broxtowe. 16 роки тому
CGITemplate.py This is a big refactor of the scrapers. 16 роки тому
Cairngorms.py Add scraper for the Cairngorms National Park. 16 роки тому
Calderdale.py Add scraper for Calderdale. 16 роки тому
Carmarthenshire.py Fix Lichfield scraper. 16 роки тому
Christchurch.cgi Add Somerset scraper 17 роки тому
Dacorum.cgi Fix Lichfield scraper. 16 роки тому
EastHerts.cgi Move some cgi scripts so that I can copy them in with the right file 17 роки тому
Eastbourne.py Add scraper for Eastbourne. The info and comment links won't work since they require you to have a cookie. If you go 16 роки тому
Enfield.cgi Add back in the Enfield scraper which I probably deleted 17 роки тому
Exmoor.py Add scraper for Exmoor. Fix name of Herefordshire. 16 роки тому
FastWeb.py Oops - printing the sutton results twice... 16 роки тому
Fife.py Add Forest of Dean and Fife parsers. 16 роки тому
Flintshire.py Add scraper for Flintshire. I've included the OSGB x,y coordinates in the hope that we can start using these where 16 роки тому
ForestOfDean.py Add Forest of Dean and Fife parsers. 16 роки тому
Glasgow.cgi Add Peter's scrapers for Highland, Glasgow, and Brentwood. 16 роки тому
Glasgow.pl Add Peter's scrapers for Highland, Glasgow, and Brentwood. 16 роки тому
Gosport.py Fix Mole Valley scraper. 16 роки тому
HTTPHandlers.py Add scraper for Gosport. 16 роки тому
Halton.py Adding scraper for Halton. 16 роки тому
Hampshire.py Add Hampshire scraper. 16 роки тому
Harrow.py Adding scraper for Harrow. 16 роки тому
Hastings.py Add scraper for Hastings. Sadly, no decent info urls again. Had to use the search page. The real info url is only 16 роки тому
Herefordshire.py Add scraper for Exmoor. Fix name of Herefordshire. 16 роки тому
Highland.cgi Highland, North Ayrshire, Redbridge: updated based on changes made to planning websites 16 роки тому
Highland.pl Add Peter's scrapers for Highland, Glasgow, and Brentwood. 16 роки тому
Hounslow.py Add scraper for Hounslow. 16 роки тому
IsleOfWight.py Add Scraper for the Isle of Wight. 16 роки тому
Kensington.py Add Kensington and Chelsea Scraper. 16 роки тому
KingstonUponThames.py Add scraper for Kingston upon Thames. 16 роки тому
Kirklees.py Add parser for Kirklees. Get rid of some unnecessary imports. 16 роки тому
Leicestershire.py Add scraper for Leicestershire County Council. 16 роки тому
Lichfield.py Fix Lichfield scraper. 16 роки тому
Maldon.py Add Pendle scraper (this is basically the same as Maldon). 16 роки тому
Medway.py Add Medway scraper. 16 роки тому
Mendip.py Add scraper for Mendip. 16 роки тому
MultipartPostHandler.py add some Acolnet sites: 17 роки тому
Newport.cgi Add perl scraper from Peter for Newport. 16 роки тому
Newport.pl Add perl scraper from Peter for Newport. 16 роки тому
NorthAyrshire.cgi Highland, North Ayrshire, Redbridge: updated based on changes made to planning websites 16 роки тому
NorthAyrshire.pl North Ayrshire, Redbridge: added 16 роки тому
NorthHerts.cgi Move some cgi scripts so that I can copy them in with the right file 17 роки тому
Ocella.py Fix Lichfield scraper. 16 роки тому
Planet.py Fix Mole Valley scraper. 16 роки тому
PlanningExplorer.py Fix Tamworth scraper (change of IP address) 16 роки тому
PlanningUtils.py Add scraper for Mendip. 16 роки тому
PublicAccess.py Update PublicAccess scraper to work with BeautifulSoup. 16 роки тому
README adding fastweb 17 роки тому
Redbridge.cgi Highland, North Ayrshire, Redbridge: updated based on changes made to planning websites 16 роки тому
Redbridge.pl North Ayrshire, Redbridge: added 16 роки тому
RutlandLike.py Fix Lincoln parser. 16 роки тому
Shetland.py Add scraper for Shetland Islands. 16 роки тому
Shropshire.py Add Scraper for Lewes (which now has PublicAccess). 16 роки тому
Solihull.py Add Thomas' scraper for Solihull. 16 роки тому
SouthOxfordshire.cgi expanded the api (still need to test some stuff) 17 роки тому
SouthOxfordshireParser.py add the south oxfordshire scraper, and code to generate 17 роки тому
SouthSomerset.cgi New version of South Somerset from Tom. 17 роки тому
SwiftLG.py Fix Mole Valley scraper. 16 роки тому
WAM.py Add scraper for Eastbourne. The info and comment links won't work since they require you to have a cookie. If you go 16 роки тому
WestDorset.py Fix Tamworth scraper (change of IP address) 16 роки тому
Westminster.py Go back to the urllib2 version of Westminster. This works on disruptiveproactivity. 16 роки тому
Westminster_pycurl.py Adding scraper for Halton. 16 роки тому
Weymouth.py Add scraper for Weymouth and Portland. 16 роки тому
createCGI.sh remove offending svn rm line... 17 роки тому

README 

In order to generate the contents of the CGI directory (../cgi-bin/)
run

./createCGI.sh

This script generates new cgi files in the CGI directory,
copies in some other files that are needed,
and commits all these changes to svn.

There is currently something very nasty in the permissions
column in the file OtherFilesToCopy.csv

Until version 2.6 of python, there appears to be no convenient
way to convert a string like 0755 into an octal. I am therefore
using integers to specify permissions of the copied files...

420 is 0644
493 is 0755

This is horrid, and must change in the future...