本などでスクレイピングに関して調べているのですが、モジュールなどを詳しく解説してくれる本がなく
自分が求めている情報のスクレイピングをするにはどのモジュールを使えばよいのか教えていただいきたいです。
スクレイピングはやったとこがないもので、コードのサンプルと機能ごとの解説をお願いします。
条件は、取得した情報と画像を整理してMYSQLを使ったデータベースにいれることです。
よろしくお願いします。
No.1
1728
320
100pt
スクレイピングする手法は千差万別ですが、DOMを使う方法が汎用的に使えます。
Perlですと、HTML::TreeBuilder というモジュールを導入してください。
http://search.cpan.org/~jfearn/HTML-Tree-4.2/lib/HTML/TreeBuilder.pm
具体的な使い方は下記を参照してください。
http://d.hatena.ne.jp/memememomo/20100828/1282989622
No.2
206
画像を取得し、MYSQLに入れるサンプルをお願いします。
MySQL に格納するには、DBI モジュールを遣います。
http://search.cpan.org/~timb/DBI-1.617/DBI.pm
http://tech.bayashi.net/pdmemo/perl_dbi_mysql.html
tdoi
2012/02/01 11:14:06
35
32
robopit
3
4
2
画像を取得し、MYSQLに入れるサンプルをお願いします。
2012/02/01 18:33:47MySQLへのアクセスについてはDBD/DBIモジュール群を導入します。
2012/02/01 20:23:11詳しくは下記をご覧ください。
http://tech.bayashi.net/pdmemo/perl_dbi_mysql.html
画像については、画像ファイルを適当なフォルダへダウンロードして、そのフルパス名をDBに登録すれば良いでしょう。