apache防百度爬虫方法-(大家都测试一下)

kaka_sun

UID: 8800
帖子: 177
积分: 407
在线时间: 1 天 18 小时

1^# kaka_sun 发表于 2007-07-03 14:26

apache防百度爬虫方法-(大家都测试一下)

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [OR]
RewriteCond %{REMOTE_ADDR} ^220\.181\.38\.181$
RewriteCond %{REMOTE_ADDR} ^61\.135\.166\.229$
#ip地址根据抓取的实际情况为准，我的是这两台在抓
RewriteRule ^.* - [F,L]

我已测试过，经过如此设置后，走正常流量了。

HonestQiao

UID: 7323
帖子: 20
积分: 46
在线时间: 10 分钟

2^# HonestQiao 发表于 2007-07-04 09:13

这个都屏蔽了也不是很好啊

权老实

UID: 31596
帖子: 122
积分: 280
在线时间: 20 小时

3^# 权老实发表于 2007-07-04 09:25

robots.txt 不成吗？？？

kaka_sun

UID: 8800
帖子: 177
积分: 407
在线时间: 1 天 18 小时

4^# kaka_sun 发表于 2007-07-04 11:48

百度爬虫太流氓了，消耗我大量的机器负载，确带来不了流量，故，让他403了。

当然，中搜在线也是更让人惊诧，大家多分析日至便知其原委。

albertxu

UID: 32711
帖子: 1
积分: 2
在线时间: 10 分钟

5^# albertxu 发表于 2007-07-05 12:52

看来大家对 baidu 有同样的感受啊！
http://www.freelamp.com/1140971596/index_html

钟钟.

UID: 39781
帖子: 109
积分: 250
在线时间: 16 小时

6^# 钟钟. 发表于 2007-07-05 17:05

我以前看统计发现来自百度的访问真多啊，，后来才发现基本上是是爬虫

zhengwei_zw

UID: 28341
帖子: 1
积分: 2
在线时间: 10 分钟

7^# zhengwei_zw 发表于 2007-07-24 18:13

人家花了钱做推广。你们这些坏人居然封别人！干什么啊你们？

刘五十三

UID: 16179
帖子: 5
积分: 11
在线时间: 10 分钟

8^# 刘五十三发表于 2007-07-27 12:22

百度的国内市场占用率过半，百度来的点击你不要是自讨苦吃，真不知道怎么想的。

wigeboy

UID: 46043
帖子: 162
积分: 372
在线时间: 1 天 12 小时

9^# wigeboy 发表于 2007-07-27 18:08

关键是这位老兄是服务提供者，所以流量当然越少越好
坏人果然很坏