求助：为何用wget抓不了这个页面，浏览器却可以浏览。

fay

UID: 9054
帖子: 50
积分: 114
在线时间: 3 小时

1^# fay 发表于 2006-04-07 14:05

求助：为何用wget抓不了这个页面，浏览器却可以浏览。

wget抓的时候服务器总是报500服务器内部错，但用浏览器却可以很正常的打开。
http://www.nmc.gov.cn/nmc/citySearch.do?inputMode=citysearch&type=second&cityid=54511

原来我以为可能是程序处理了浏览器的信息了，但我把Firefox的UserAgent里所有的信息都不提交，还是可以正常打开，唯独wget不能正常抓取。

fakeroot

UID: 33767
帖子: 131
积分: 301
在线时间: 23 小时

2^# fakeroot 发表于 2006-04-07 15:59

浏览器也是500

fay

UID: 9054
帖子: 50
积分: 114
在线时间: 3 小时

3^# fay 发表于 2006-04-07 17:38

我在Windows下用Firefox和IE都能正常打开啊

fakeroot

UID: 33767
帖子: 131
积分: 301
在线时间: 23 小时

4^# fakeroot 发表于 2006-04-07 18:01

还是500，什么浏览器都是500

zhy2111314

UID: 41391
帖子: 100
积分: 229
在线时间: 14 小时

5^# zhy2111314 发表于 2006-04-07 20:35

我的也是500

fay

UID: 9054
帖子: 50
积分: 114
在线时间: 3 小时

6^# fay 发表于 2006-04-07 20:50

终于弄明白了，是cookie的问题，先访问一下首页www.nmc.gov.cn，保存cookie，再用wget抓时载入cookie就不会出错了。

red506

UID: 2577
帖子: 5
积分: 11
在线时间: 10 分钟

7^# red506 发表于 2006-04-17 17:26

追问一下，Wget可以把整个网站GET下来不，要用哪个参数？

BOoRFGOnZ

UID: 22797
帖子: 44
积分: 101
在线时间: 2 小时

8^# BOoRFGOnZ 发表于 2006-04-18 14:14

wget -r -p -np -k http://＊＊＊＊＊＊＊＊

red506

UID: 2577
帖子: 5
积分: 11
在线时间: 10 分钟

9^# red506 发表于 2006-04-20 16:12

www.×××××.com/products_tx2.asp?pid=47
可不可以不让他下载这个ducts_tx2.asp?pid=47，直接下载www.×××××.com/products_tx2.asp