读一个特大文件的时候，诸位如何实现？

darkduke

UID: 1595
帖子: 98
积分: 225
在线时间: 13 小时

1^# darkduke 发表于 2007-09-04 23:49

读一个特大文件的时候，诸位如何实现？

我最近在ucsc下了文件来读，发现chr1.fa读起来要人命啊，诸位是如何实现的呢？
我就是readline()，如果在60g内存的服务器上跑时就readlines()这样，但是发现速度其实还是很慢的。因为我是用的网络卷宗，所以有些时候连问题出在哪儿都不太清楚。
诸位怎么办的？划割成小文件？具体有什么优化的方法没有？
谢谢指教！

fire_gnu

UID: 9119
帖子: 117
积分: 269
在线时间: 19 小时

2^# fire_gnu 发表于 2007-09-05 00:24

偶也是readline/readlines().....期望答案。

ttkk1024

UID: 302
帖子: 4
积分: 9
在线时间: 10 分钟

3^# ttkk1024 发表于 2007-09-05 16:34

可以每次都读出15行
然后再读
我在progrmming python
曾经看到过
但是详细的描述
我已经忘了
好像是在书中的这个章节里面
Chapter 7. System Examples: Directories