2010-11-01から1日間の記事一覧

LWP::UserAgentでローカルファイル保存

LWP::UserAgent - search.cpan.orgでローカルにファイル保存するためのコード。 更新された場合に限って保存するには$ua->mirror($url, $filename);使う #!/usr/bin/perl use strict; use warnings; use Encode; use LWP::UserAgent; use File::Spec; our $C…

Web::Scraper & Spreadsheet::WriteExcelでリスト生成

Spreadsheet::WriteExcel - search.cpan.orgを使ってエクセルファイル生成 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use URI; use Spreadsheet::WriteExcel; my $url = $ARGV[0]; my $filename = $ARGV[1]; my $scraper = scraper { pr…

Web::Scraper cookie設定

Web::Scraper - search.cpan.orgでcookie設定 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use URI; use HTTP::Cookies; use Data::Dumper; my $cookie_file = '/path/to/cookies.txt'; my $cookie_jar = HTTP::Cookies->new(file => $coo…

Web::Scraper proxy設定

Web::Scraper - search.cpan.orgでproxy設定 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use URI; use Data::Dumper; my $url = shift; my $http_proxy = 'http:// proxy : port'; my $scraper = scraper { process '', '' => ''; }; $sc…