urlopen？能抓百度的查询网页却抓不了google的？

cc007cc

UID: 15430
帖子: 46
积分: 105
在线时间: 3 小时

1^# cc007cc 发表于 2008-07-10 10:46

urlopen？能抓百度的查询网页却抓不了google的？

大家用过没有？
例如 http://www.baidu.com/s?wd=python 对应的是百度搜索“python”的url
http://www.google.cn/search?q=python对应的是google搜索“python”的url
用urlopen能把前者正常抓取，后者却得到403 Forbidden。。。

会是什么原因呢？？

xiaoyu9805119

UID: 39268
帖子: 67
积分: 154
在线时间: 6 小时

2^# xiaoyu9805119 发表于 2008-07-10 11:01

你查下是否打开google时候写了cookie，可能需要发送个cookie过去把。

cc007cc

UID: 15430
帖子: 46
积分: 105
在线时间: 3 小时

3^# cc007cc 发表于 2008-07-10 14:45

哈哈搞定了
原因是默认的User-Agent字段是“urllib/XXX”可能google有一步判断把这种的请求给禁止了
现在把这个字段伪装成浏览器例如”Mozilla/4.0“就可以啦

xiaoyu9805119

UID: 39268
帖子: 67
积分: 154
在线时间: 6 小时

4^# xiaoyu9805119 发表于 2008-07-10 17:57

不错。应该是发送了什么head过去把。呵呵

ghostwwl

UID: 5349
帖子: 12
积分: 27
在线时间: 10 分钟

5^# ghostwwl 发表于 2008-07-11 00:34

google可以抓的其实抓google有个问题就是他会封你Ip
虽然说baidu不封那是假的你如果多线程网速快一样会封不过一般不会封多久

google会封的一般都挂代理跑google的结果的

可可熊

UID: 46476
帖子: 45
积分: 103
在线时间: 3 小时

6^# 可可熊发表于 2008-07-11 09:44

QUOTE:

原帖由 cc007cc 于 2008-7-10 14:45 发表
哈哈搞定了
原因是默认的User-Agent字段是“urllib/XXX”可能google有一步判断把这种的请求给禁止了
现在把这个字段伪装成浏览器例如”Mozilla/4.0“就可以啦

不厚道，非得用主流的浏览器吗，俺用自己写的不行吗