大容量web日志，awstats力不从心呀！

zhangweibo

UID: 14857
帖子: 34
积分: 78
在线时间: 1 小时

1^# zhangweibo 发表于 2006-11-29 22:27

大容量web日志，awstats力不从心呀！

web日志每天都超过6G以上，用awstats统计都要1天甚至更多的时间，速度很慢呀，有没有更加好的方法

WebTrends倒是速度比awstats快，不过是收费的，而且是在windows环境，不知道linux环境可有替换的解决方案，或者优化awstats的方法

我发现awstats似乎没有发挥多cpu的优势，经常是一个cpu100％忙，而另外一个空闲

HonestQiao

UID: 7323
帖子: 20
积分: 46
在线时间: 10 分钟

2^# HonestQiao 发表于 2006-11-30 09:38

你一次处理这么大的，速度慢，那是肯定的，绝对的，没有话说的。

你何不分隔成时间段处理呢？

或者分割成多大一个文件，再分别处理。

lushy

UID: 37857
帖子: 76
积分: 174
在线时间: 8 小时

3^# lushy 发表于 2006-11-30 10:25

让awstats每小时处理一次。

gogo407

UID: 8738
帖子: 9
积分: 20
在线时间: 10 分钟

4^# gogo407 发表于 2006-11-30 10:57

用webalizer吧

zhangweibo

UID: 14857
帖子: 34
积分: 78
在线时间: 1 小时

5^# zhangweibo 发表于 2006-11-30 23:26

我也想1小时处理一次，但我们用了cdn服务，第2天才能得到日志，倒是分割日志是个办法！

ocheers

UID: 13794
帖子: 68
积分: 156
在线时间: 6 小时

6^# ocheers 发表于 2006-12-01 00:21

我懒得找程序。自己做了个简单的，凑合用了。

http://www.kmwhedu.net/count/index.php?user_id=1

LuckSnail

UID: 34729
帖子: 48
积分: 110
在线时间: 3 小时

7^# LuckSnail 发表于 2006-12-01 12:24

webalizer 这个是用C写的，3000万行记录，10分钟处理完。
awstats 是php 的，效率不行。要么就把文件分隔开了做，每小时一次，也比较痛苦，机器负载很大。

cxfcxf

UID: 30348
帖子: 1
积分: 2
在线时间: 10 分钟

8^# cxfcxf 发表于 2006-12-01 14:31

我也遇到过。。最后没一个可以的。。因为太大吃不消。。所以找了一个AGENT SERVER方式的
在网页里加代码用一条SERVER区统计的
还一种可行的就是分割地址。。但是那台分析日志的服务器就可怜了。。。而且很多程序分析分割的日志。。无法叠加。。则阳就统计不出整天的

Namelessxp

UID: 44847
帖子: 163
积分: 374
在线时间: 1 天 12 小时

9^# Namelessxp 发表于 2006-12-02 14:09

QUOTE:

原帖由 LuckSnail 于 2006-12-1 12:24 发表
webalizer 这个是用C写的，3000万行记录，10分钟处理完。
awstats 是php 的，效率不行。要么就把文件分隔开了做，每小时一次，也比较痛苦，机器负载很大。

有PHP的?给个地址我下个看看

LuckSnail

UID: 34729
帖子: 48
积分: 110
在线时间: 3 小时

10^# LuckSnail 发表于 2006-12-02 18:14

晕，记错了，是perl 的