Scrapes planning applications data for InLinkUK from BT kiosks.
Du kannst nicht mehr als 25 Themen auswählen Themen müssen entweder mit einem Buchstaben oder einer Ziffer beginnen. Sie können Bindestriche („-“) enthalten und bis zu 35 Zeichen lang sein.

vor 6 Jahren
123456789101112131415161718192021222324252627282930313233
  1. require 'uk_planning_scraper'
  2. require 'scraperwiki'
  3. require 'date'
  4. require 'time'
  5. require 'csv'
  6. councils = []
  7. CSV.foreach('councils.csv') do |line|
  8. councils << { name: line[0], url: line[1] } unless line[0][0] == '#'
  9. end
  10. params = {
  11. validated_from: Date.today - ENV['MORPH_DAYS'].to_i,
  12. validated_to: Date.today,
  13. description: 'inlink',
  14. }
  15. councils.each do |council|
  16. apps = UKPlanningScraper.search(council[:url], params)
  17. apps.map! do |app|
  18. app.merge(
  19. {
  20. la_name: council[:name],
  21. updated_at: Time.now
  22. }
  23. )
  24. end
  25. ScraperWiki.save_sqlite([:council_reference, :la_name], apps, 'applications')
  26. puts "#{council[:name]}: #{apps.size}"
  27. end