讨论：如何提高perl处理大文件的效率

不死草

UID: 35536
帖子: 142
积分: 326
在线时间: 1 天 3 小时

11^# 不死草发表于 2008-10-29 10:26

QUOTE:

原帖由 MMMIX 于 2008-10-11 23:39 发表
其实提高效率的原则无非是两点：
1、选择正确的算法
2、选择合适的实现

所谓合适的实现，从效率的角度来说就是所做的无用功做小的实现，这需要你对所用语言/工具的实现有比较深入的了解。

说得比较概括，但是也比较实际！~

DQP

UID: 22959
帖子: 5
积分: 11
在线时间: 10 分钟

12^# DQP 发表于 2008-10-29 11:06

QUOTE:

原帖由寂寞烈火于 2005-5-12 11:24 发表
5)while循环要比for/foreach循环效率高,
6)多用小括号,少用$&,$`,$'
7)多余多行匹配推荐用s/m修饰符,不推荐使用$*

补充：
处理大文件 while比for快是因为 for 是一个list的context, 所以用for (<FH>){...}的形势读文件时. 会把整个文件读到内存中去.

perlmonk 中有篇用滑动窗口处理大文件的文章
link: http://www.perlmonks.org/?node_id=128925

个人感觉perl的io速度已经很快了。如果需要处理的数据每行都是独立的（不需要其他行的数据，可以读一行处理一行）即使每天几G问题也不大。
如果行和行之间是相关的，那就需要选择合适的算法的了。就像MMMIX 说的那样。

riverlee2008

UID: 42674
帖子: 155
积分: 356
在线时间: 1 天 9 小时

13^# riverlee2008 发表于 2008-10-29 13:14

看来是好帖子，05发表的都挤上来了，学习了

lifeistrue

UID: 15701
帖子: 10
积分: 23
在线时间: 10 分钟

14^# lifeistrue 发表于 2008-12-18 15:51

不错，顶一下

machine

UID: 43012
帖子: 185
积分: 425
在线时间: 1 天 22 小时

15^# machine 发表于 2008-12-18 17:33

恩好好学习一下，这个课题值得研究

will8888

UID: 2648
帖子: 69
积分: 158
在线时间: 6 小时

16^# will8888 发表于 2008-12-19 10:14

新手报道，学习了

bitterness

UID: 4792
帖子: 191
积分: 439
在线时间: 2 天 1 小时

17^# bitterness 发表于 2008-12-19 11:46

理解深刻呀

MMMIX

UID: 31964
帖子: 137
积分: 315
在线时间: 1 天 1 小时

18^# MMMIX 发表于 2008-12-19 14:35

QUOTE:

原帖由 flw 于 2008-10-29 09:29 发表
至于那个 & 和 \&，我没看懂是啥意思。

应该是楼主搞错了，应该是尽量不要用 $&

027xiatian

UID: 45056
帖子: 158
积分: 363
在线时间: 1 天 10 小时

19^# 027xiatian 发表于 2008-12-20 10:11

用IO::FileHandle会快一些的