robots.txt为什么不起作用?

xzh2002

1^# xzh2002 发表于 2007-07-27 11:09

以下是我写的robots.txt,放在了htdocs目录下
作用是禁止Yahoo! Slurp爬虫抓取网站的任何位置

User-Agent: Yahoo! Slurp
Disallow: /

可加好了为什么不生效?如何查日志?

HonestQiao

2^# HonestQiao 发表于 2007-07-27 13:04

http://bbs.chinaunix.net/viewthr ... &extra=page%3D1

webiase

3^# webiase 发表于 2007-07-27 13:25

好多爬虫都很流氓的，根本不管什么rotot.txt
而且不仅仅是这些搜索引擎，还有许多好像是个人程序在爬你的网页

找一个网站日志分析程序可以从不同角度看到网站的访问情况
顺便推荐一下我们的Webiase