perl 抓页面进行分析

yingweixu

UID: 27206
帖子: 1
积分: 2
在线时间: 10 分钟

1^# yingweixu 发表于 2008-08-11 00:30

perl 抓页面进行分析

我想做一个自己的学习项目！
做一个简单的网页，然后用perl做服务器的CGI，数据库用mysql；
主要目的是：用网页在internet上抓网页进行分析页面内容，并归类存放，类似与搜索;
问题：我不知道该从哪里下手进行做，准备工作也不知道准备好了没有，现在只能一边做一边丰富知识，希望了解这方面的前辈给些指点或建议；
谢谢。

xiaoyu9805119

UID: 39268
帖子: 67
积分: 154
在线时间: 6 小时

2^# xiaoyu9805119 发表于 2008-08-11 09:24

去cpan搜下LWP模块。

最简单的就是：
use LWP::Simple;

$html = get('http://www.chinaunix.net');
print $html;

下面你就自己解析把。

btdm

UID: 6910
帖子: 127
积分: 292
在线时间: 22 小时

3^# btdm 发表于 2008-08-11 11:32

分析页面需要

HTML::Parse

之类的模块，
如果有javascript就不知道怎么办了

xiaoyu9805119

UID: 39268
帖子: 67
积分: 154
在线时间: 6 小时

4^# xiaoyu9805119 发表于 2008-08-11 11:42

直接用正则去解析把。

yingweixu

UID: 27206
帖子: 1
积分: 2
在线时间: 10 分钟

5^# yingweixu 发表于 2008-08-11 13:10

谢谢！有没有关于这方面的帖子？希望有更具体的实施步骤过程，或是全方面的概括性文档也行;
希望能给出连接，或有文档发给我也行，yingweixu@sina.com ！

yingweixu

UID: 27206
帖子: 1
积分: 2
在线时间: 10 分钟

6^# yingweixu 发表于 2008-08-11 13:45

搜索方面我基本上是个新手！甚至是个文盲！希望前辈多给指点。

xiaoyu9805119

UID: 39268
帖子: 67
积分: 154
在线时间: 6 小时

7^# xiaoyu9805119 发表于 2008-08-11 13:55

你去看看这个把
http://wiki.perlchina.org/index. ... C%E4%BD%BF%E7%94%A8

或者你用perldoc LWP

yingweixu

UID: 27206
帖子: 1
积分: 2
在线时间: 10 分钟

8^# yingweixu 发表于 2008-08-11 14:16

谢谢!

lastexile

UID: 33319
帖子: 156
积分: 358
在线时间: 1 天 9 小时

9^# lastexile 发表于 2008-08-13 02:03

用网页在internet上抓网页进行分析页面内容 => 这个高深啊.

是不是改为

用perl在internet上抓网页进行分析页面内容.

yingweixu

UID: 27206
帖子: 1
积分: 2
在线时间: 10 分钟

10^# yingweixu 发表于 2008-08-13 10:08

名字不用改了！
因为知道怎么做了，但是这个估计是个花时间比较长的学习项目，大致上用 7楼所提供的方法能做到！lwp模块，在加正则表达式；还有很多现在还在摸索中。