perl 如何分析1G以上的大文件

lixiaocheng0451

UID: 43399
帖子: 91
积分: 209
在线时间: 11 小时

1^# lixiaocheng0451 发表于 2007-11-16 16:20

perl 如何分析1G以上的大文件

处理1G的大文件断点续读的方式有什么好解决办法

yuio654

UID: 9788
帖子: 81
积分: 186
在线时间: 9 小时

2^# yuio654 发表于 2007-11-16 16:40

楼主没说清楚吧？如何分析1G以上的大文件，怎么又出来个断点续读的？（只听说过断点续传是我孤陋寡闻？）

Lonki

UID: 21498
帖子: 1
积分: 2
在线时间: 10 分钟

3^# Lonki 发表于 2007-11-16 16:55

QUOTE:

原帖由 yuio654 于 2007-11-16 16:40 发表
楼主没说清楚吧？如何分析1G以上的大文件，怎么又出来个断点续读的？（只听说过断点续传是我孤陋寡闻？）

处理到一半, 想关机了, 明天开机接着处理. 之类的.

如果你要的只是"断点续读", 那就保存当前状态.
如果你是想平衡内存占用和IO, 那就加点判断.

lixiaocheng0451

UID: 43399
帖子: 91
积分: 209
在线时间: 11 小时

4^# lixiaocheng0451 发表于 2007-11-16 16:59

是的，如果读取到某一段，突然发生意外中断，可以保留当前读取位置

lixiaocheng0451

UID: 43399
帖子: 91
积分: 209
在线时间: 11 小时

5^# lixiaocheng0451 发表于 2007-11-16 17:01

QUOTE:

如果你要的只是"断点续读", 那就保存当前状态.
如果你是想平衡内存占用和IO, 那就加点判断.

我是新手，平衡内存占用和IO怎么做？

Lonki

UID: 21498
帖子: 1
积分: 2
在线时间: 10 分钟

6^# Lonki 发表于 2007-11-16 17:08

降低IO: 你内存NB的话, 一次性读入整个文件:>
降低内存: while (<FILE>) {...} 或者几次读几千行, 这个看你的喜好了.

__lxmxn__

UID: 3845
帖子: 167
积分: 384
在线时间: 1 天 14 小时

7^# __lxmxn__ 发表于 2007-11-16 17:14

顺便问一下，怎么一次性读取100行数据？

lixiaocheng0451

UID: 43399
帖子: 91
积分: 209
在线时间: 11 小时

8^# lixiaocheng0451 发表于 2007-11-16 17:15

哦，多谢指导，我写下试试

Lonki

UID: 21498
帖子: 1
积分: 2
在线时间: 10 分钟

9^# Lonki 发表于 2007-11-16 17:45

QUOTE:

原帖由 __lxmxn__ 于 2007-11-16 17:14 发表
顺便问一下，怎么一次性读取100行数据？

恩, 问得好.

简单的做法是while (<>) 计数, 虽然实际还是一行一行读入的, 但是在buffer机制下还不错.
比读一行, 处理一行好多了.

另一种做法是: 估计平均一行的字节数的高值, sysread你需要的行数的总字节, 然后substr/rindex找最后的\n, 去掉.
对这些行处理后, sysseek刚去掉的字节数.

myhan

UID: 14774
帖子: 175
积分: 402
在线时间: 1 天 18 小时

10^# myhan 发表于 2007-11-19 18:14

QUOTE:

原帖由 Lonki 于 2007-11-16 17:45 发表

恩, 问得好.

简单的做法是while () 计数, 虽然实际还是一行一行读入的, 但是在buffer机制下还不错.
比读一行, 处理一行好多了.

另一种做法是: 估计平均一行的字节数的高值, sysread你需要的行数的总 ...

Hi Lonki, 不知道你说的这个方法怎么样，我常常处理这样的分析需求。每天分析都是要跑很久。等会改成你这种方式看看：）你可有效果对比啊？呵呵。我处理的gz文件都有1.8G一个，头大哦。