Nginx如何现在网络爬虫

zhgypg

UID: 35296
帖子: 63
积分: 144
在线时间: 5 小时

1^# zhgypg 发表于 2009-02-16 14:21

Nginx如何现在网络爬虫

Nginx 如何限制网络爬虫程序

bigbigworld

UID: 31022
帖子: 2
积分: 4
在线时间: 10 分钟

2^# bigbigworld 发表于 2009-02-17 15:06

判断user_agent,一般爬虫都有google,baidu,sougou这些关键字的,具体的查下看就知道了

szszszsz

UID: 42493
帖子: 146
积分: 335
在线时间: 1 天 5 小时

3^# szszszsz 发表于 2009-02-17 15:34

这是我以前限制sogou爬虫的设置，不过是基于apache的。两种方法，第一种方法应该也适用于nginx，第二种就要根据nginx的语法来设置了。
方法一：
在根目录放一个文件robots.txt，但好像不会立刻生效。
如要禁止sogou的爬虫，可以在robots.txt这样设置
   User-agent:Sogou web spider
   Disallow: /

方法2：
   查看日志，观察浏览器特征，如sogou的特征为“Sogou web spider”，可以在apache里面设置
setenvif User-Agent "Sogou web spider*" den
   Order deny,allow
   deny from env=den
再看apache日志信息，都是报403