如果利用apache屏蔽一些爬虫呢?

safer

UID: 38244
帖子: 181
积分: 416
在线时间: 1 天 20 小时

1^# safer 发表于 2007-03-12 22:46

如果利用apache屏蔽一些爬虫呢?

QUOTE:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^TMCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^InetURL [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy Library [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]

[F] - 403 Forbidden
[L] - ?

这样?

HonestQiao

UID: 7323
帖子: 20
积分: 46
在线时间: 10 分钟

2^# HonestQiao 发表于 2007-03-12 22:52

差不多就是这样子了。