如何使用代理抓取网页？

lemonniu

UID: 34560
帖子: 2
积分: 4
在线时间: 10 分钟

1^# lemonniu 发表于 2008-10-07 15:46

如何使用代理抓取网页？

如题。大家说说思想，尽量详细些。。。

jjj137

UID: 46508
帖子: 29
积分: 66
在线时间: 1 小时

2^# jjj137 发表于 2008-10-07 16:46

看看这篇http://forum.ubuntu.org.cn/viewtopic.php?f=137&t=142622

guijia8427

UID: 8237
帖子: 160
积分: 368
在线时间: 1 天 11 小时

3^# guijia8427 发表于 2008-10-08 09:18

http://hi.baidu.com/guijia520 两种方式

lemonniu

UID: 34560
帖子: 2
积分: 4
在线时间: 10 分钟

4^# lemonniu 发表于 2008-10-08 11:54

看了你的文章，有两点不明确的地方。
1 {'http':'http://username:password@58.177.248.69:80'})这句中的username和password是什么意思，使用的时候直接这样写？
2 方法2中的“验证”是指什么？

jjj137

UID: 46508
帖子: 29
积分: 66
在线时间: 1 小时

5^# jjj137 发表于 2008-10-08 12:17

QUOTE:

原帖由 lemonniu 于 2008-10-8 11:54 发表
看了你的文章，有两点不明确的地方。
1 {'http':'http://username:password@58.177.248.69:80'})这句中的username和password是什么意思，使用的时候直接这样写？
2 方法2中的“验证”是指什么？

那两个是在代理服务器需要密码的时候才用的，一般 {'http':'http://58.177.248.69:80'}这样即可。

lastexile

UID: 33319
帖子: 156
积分: 358
在线时间: 1 天 9 小时

6^# lastexile 发表于 2008-10-08 14:41

好像很多方法可以

lemonniu

UID: 34560
帖子: 2
积分: 4
在线时间: 10 分钟

7^# lemonniu 发表于 2008-10-08 16:42

说说来

needspeedboy

UID: 24761
帖子: 3
积分: 6
在线时间: 10 分钟

8^# needspeedboy 发表于 2008-10-08 17:04

什么是代理？