Perlの正規表現についての質問です。ある掲示板のデータをPerlのLWP::UserAgentを使い、取得して保存するスクリプトを作ろうとしています。

ありがとうございます！

先読み正規表現というのは初めてで、ちょっとググッたところすぐには理解できそうにない感じがしたので、正規表現マッチの後で変数に代入する方法でやってみました。

ところが、$1に入るデータが重複するという現象が起きてしまいました。書き込み日時や書き込み内容も取得するので、それらもまとめると

$data =~ /(タイトルを抜き出すパターン)/g;
$title = $1;
$data =~ /(名前を抜き出すパターン)/g;
$name = $1;
$data =~ /(日時を抜き出すパターン)/g;
$date = $1;
$data =~ /(内容を抜き出すパターン)/g;
$content = $1;
print $title, $name, $date, $content;

こんな感じになったのですが、結果は「タイトル、名前、日時、日時」と表示されてしまいます。うーむ…。

追記：どうも、最後の$contentがうまくマッチできていないだけのような気がしてきました。もうちょっとやってみます。

b-windさんいつも感謝です。

最初のやり方はrubikitchさんがおっしゃる先読み正規表現という事でよろしいでしょうか。実はまったく知らなかったので、分かりやすく説明しているサイトがあれば、ポインタ示していただけると助かります。ざっとググってみたんですが今ひとつ理解できませんでした。

後の方のやり方では、上で述べたように$1に重複してデータが入ってしまうようです。

ありがとうございます。具体的に書かないと分かりにくいですよね。特に問題ないと思いますので、取得したい掲示板のアドレスと、今書いているコードをそのまま書きます。

http://otd1.jbbs.livedoor.jp/18972/bbs_plain?base=1&range=1

こちらの掲示板なのですが、上記パラメータのbase=1の部分をインクリメントして行って、3000件くらいある書き込みデータを引っ張ってこようとしています。

かなり古いHTMLなので名前やタイトルを取得するのにフォントタグ等のパターンで判別するしかないという状態です。

現時点でのコードです。まだループはしていません。

 #!/usr/bin/perl

use strict;
use Encode;
use Encode::Guess qw/euc-jp shift-jis/;
use LWP::UserAgent;

my $ua = LWP::UserAgent->new;

my $url = 'http://otd1.jbbs.livedoor.jp/18972/bbs_plain?base=        1&range=1';

my $request = HTTP::Request->new('GET', $url);

$ua->request($request, \&parse);

sub parse{
  my($data, $response, $protocol) = @_;
  my $decoder = Encode::Guess->guess($data);
  my $string = $decoder->decode($data);

  chomp $data;

  $string =~ /<a name="(.+)">/g;
  my $serial=  $1;

  $string =~ /<font color="#ff0000">(?!Powered by)(.+)<\/font>/g;
  my $title =  $1;
  $title = encode('utf8', $title);

  $string =~ /<font color="#000080">(.+)<\/font>/g;
  my $name =  $1;
  $name = encode('utf8', $name);
	
  $string =~ /<td nowrap>(.+)<\/td>/g;
  my $mydate = $1;
	
  $string =~ /<font color="#006000">(.+)<\/font>/g;
  my $content = $1;
  $content = encode('utf8', $content);
	
  print $serial, $title, $name, $mydate, $content;
}

結果は「1新しい掲示板のテストREDHOT1999/11/07 03:291999/11/07 03:29」となり、最後の$contentがきちんと取得できていないようです。

何度も見直したのですが、なぜマッチしないのか分かりません。見落としている点があると思いますので、ご指摘いただければ幸いです。