每天产生40多G的web日志

wangc0727

UID: 37850
帖子: 179
积分: 411
在线时间: 1 天 19 小时

1^# wangc0727 发表于 2008-11-22 08:08

每天产生40多G的web日志

我用awstats来分析日志，但每天产生具大的日志，使awstats分析起来非常慢，从每晚2点30执行awstats到第二天晚上能分析完就不错，要分析将近20个小时之久

不知道有没有分析日志快一点的工具，希望各位高手可指点一下，在此多谢了。

xinglp

UID: 33073
帖子: 80
积分: 184
在线时间: 9 小时

2^# xinglp 发表于 2008-11-22 10:18

你们流量很大啊

wxlfh

UID: 22014
帖子: 1
积分: 2
在线时间: 10 分钟

3^# wxlfh 发表于 2008-11-22 19:33

可以自己用脚本语言（比如Perl）定制一个么？这样可能速度会快一点。

charliesxia

UID: 44031
帖子: 173
积分: 397
在线时间: 1 天 17 小时

4^# charliesxia 发表于 2008-11-22 21:55

好像weblizer快一些。。还有日志不要可以过滤一部分内容，比如图片呀什么不写进日志，可以让日志小很多

todayhero

UID: 36973
帖子: 120
积分: 276
在线时间: 20 小时

5^# todayhero 发表于 2008-11-24 16:43

这么大的日志建立,建议方法如何

1.隔10m 20m 30m or 1h进行一次日志truncate,truncate之后,马上对旧的日志文件进行分析.即可.

2.对于这么大的日志文件.使用什么分析工具,都不会有好的效率.关键是采用什么样的办法来处理.就如大家都使用一只笔.但有的人写字很漂亮.而有的人写的字很丑.

jiang8379

UID: 4057
帖子: 61
积分: 140
在线时间: 5 小时

6^# jiang8379 发表于 2008-11-25 16:21

建议切分日志。每小时产生一个日志文件。并rsync到日志中心去。日志中心一台专门的性能强劲的服务器做日志分析。

myfreeke

UID: 11058
帖子: 43
积分: 98
在线时间: 2 小时

7^# myfreeke 发表于 2008-11-25 16:41

这么大的日志确实没有一个很好合理的办法啊！