2010-11-01から1ヶ月間の記事一覧

gistp 修正

Cwd モジュールを使って、アップしたディレクトリにgit cloneできるようにした。 今までは、gistに投げた後は、HOMEディレクトリにgit cloneされていたんだけど、すぐにgistにアップしたものを修正したい時に同じディレクトリにあればと思って修正を加えた。…

HTML::ExtractContent&Lingua::JA::Summarize::Extract #2

記事最初の2行を別で抜き出し、サマリー生成後、追加表示する #!/usr/bin/perl use strict; use warnings; use LWP::UserAgent; use URI; use HTML::ExtractContent; use Encode; use Lingua::JA::Summarize::Extract; use Data::Dumper; my $url = shift; m…

任意の記事のサマリーを生成する HTML::ExtractContent&Lingua::JA::Summarize::Extract

HTML::ExtractContent - search.cpan.org Lingua::JA::Summarize::Extract - search.cpan.orgを使って生成。 記事最初の1,2行は、表示されるようにしたほうがいいかな。 #!/usr/bin/perl use strict; use warnings; use LWP::UserAgent; use URI; use HTML::…

LWP::UserAgentでローカルファイル保存

LWP::UserAgent - search.cpan.orgでローカルにファイル保存するためのコード。 更新された場合に限って保存するには$ua->mirror($url, $filename);使う #!/usr/bin/perl use strict; use warnings; use Encode; use LWP::UserAgent; use File::Spec; our $C…

Web::Scraper & Spreadsheet::WriteExcelでリスト生成

Spreadsheet::WriteExcel - search.cpan.orgを使ってエクセルファイル生成 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use URI; use Spreadsheet::WriteExcel; my $url = $ARGV[0]; my $filename = $ARGV[1]; my $scraper = scraper { pr…

Web::Scraper cookie設定

Web::Scraper - search.cpan.orgでcookie設定 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use URI; use HTTP::Cookies; use Data::Dumper; my $cookie_file = '/path/to/cookies.txt'; my $cookie_jar = HTTP::Cookies->new(file => $coo…

Web::Scraper proxy設定

Web::Scraper - search.cpan.orgでproxy設定 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use URI; use Data::Dumper; my $url = shift; my $http_proxy = 'http:// proxy : port'; my $scraper = scraper { process '', '' => ''; }; $sc…