2018年01月05日

WWW::MechanizeとWeb::Scraperを使ってPerlによるスクレイピング

最近のスクレイピングのやり方は
use WWW::Mechanize;
でWebアクセスして
use Web::Scraper;
でタグ解析するのがしっくりくるように思えてきた。

次回は、どこかのサイトをサンプルとしてスクレイピングしたいと思う

posted by トシ at 23:19| Comment(0) | Perl

Perlでスクレイピング

最近の自分の流行としてPerlスクレイピングすることである。
スクレイピングと簡単に言うとWebから欲しい情報を取得して再度手元で加工して再利用する事である。

スクレイピング自体は違法と言うことではないが、取得した情報の使い方によっては違法となるかも知れないので
注意が必要です。具体的な法律は分かりませんが勝手に取得して有料で販売したらアウトだろうと言うことは分かりますが
あとはWebサイトの注意書きがあればそれに準じる必要がありますよね。

また、スクレイピングはパソコンから自動的にWebアクセスするので1秒間に何回もレスポンスを送るようなDoS攻撃
近いことを行ってはダメだと言うことも理解しましょう。
sleep (int(rand(3)));
このようにWaitを入れるのがマナーです
posted by トシ at 23:12| Comment(0) | Perl

2017年12月28日

チケットキャンプ 終了

2017-12-28_5-50-28.jpg
一時はCMでこじるりが出ていたけど
いろいろ問題があって終了することがきまったんですね
posted by トシ at 05:52| Comment(0) | 日記