网站每天都有很多的搜索引擎的爬虫过来，如何有针对性的屏蔽呢

oid2000

UID: 5576
帖子: 197
积分: 453
在线时间: 2 天 5 小时

1^# oid2000 发表于 2008-04-01 17:21

网站每天都有很多的搜索引擎的爬虫过来，如何有针对性的屏蔽呢

如题，网站每天都有很多的搜索引擎的爬虫过来，如何有针对性的屏蔽呢？
比如，我只想开发百度，google和yahoo的，其它都不想让他过来，试过robots.txt文件，但是不管用，好像只有google还算遵守，百度的是部分遵守，
我的web是apache 2.0.*

无声无息

UID: 18289
帖子: 109
积分: 250
在线时间: 16 小时

2^# 无声无息发表于 2008-04-02 18:17

将他们的ip挑出来，deny

harbinbeer

UID: 987
帖子: 1
积分: 2
在线时间: 10 分钟

3^# harbinbeer 发表于 2008-04-02 22:56

[Copy to clipboard] [ - ]

CODE:

RewriteCond %{HTTP_USER_AGENT} .bot.*|.Slurp.*|.spider.* [NC]
RewriteCond %{HTTP_USER_AGENT} !.Google.*|.Baidu.*|.yahoo.* [NC]
RewriteRule ^.* - [G,L]

xooass

UID: 37858
帖子: 2
积分: 4
在线时间: 10 分钟

4^# xooass 发表于 2008-04-03 01:43

楼上这个厉害

chinatzbcn

UID: 22444
帖子: 1
积分: 2
在线时间: 10 分钟

5^# chinatzbcn 发表于 2008-04-09 14:55

3l楼的太XX了。

freemanxp2005

UID: 30723
帖子: 1
积分: 2
在线时间: 10 分钟

6^# freemanxp2005 发表于 2008-04-09 16:14

涨见识了，谢谢3楼的