运行到readlines的时候，报MemoryError

nnchj

UID: 9969
帖子: 90
积分: 206
在线时间: 11 小时

1^# nnchj 发表于 2008-08-11 09:37

运行到readlines的时候，报MemoryError

Traceback (most recent call last):
File "stat_auth.py", line 57, in ?
for buff in fLog.readlines():#把radius log的内容保存到rad_log_line数组中
MemoryError

应该是文件过大，读入的行数过多，导致内存不够。
有什么好办法解决吗？

guijia8427

UID: 8237
帖子: 160
积分: 368
在线时间: 1 天 11 小时

2^# guijia8427 发表于 2008-08-11 09:39

一行行读入或读一定行数处理

honglang13

UID: 34536
帖子: 45
积分: 103
在线时间: 3 小时

3^# honglang13 发表于 2008-08-11 09:41

用这个吧,
for buff in fLog.xreadlines():
readlines()方法是一次就生成了一个列表
而xreadlines()方法是一个迭代器，

xiaoyu9805119

UID: 39268
帖子: 67
积分: 154
在线时间: 6 小时

4^# xiaoyu9805119 发表于 2008-08-11 09:48

楼上的方法不错。

不行就循环一行一行读取，或者指定长度的读取把。

retuor

UID: 924
帖子: 135
积分: 310
在线时间: 1 天 1 小时

5^# retuor 发表于 2008-08-11 10:34

[Copy to clipboard] [ - ]

CODE:

#!/usr/bin/env python

f=file ('1.py','r')
for x in f:
print x,

9119111

UID: 43429
帖子: 76
积分: 174
在线时间: 8 小时

6^# 9119111 发表于 2008-08-12 19:47

一次读入整个文件肯定会引发内存问题.

23号

UID: 42996
帖子: 193
积分: 443
在线时间: 2 天 2 小时

7^# 23号发表于 2008-08-12 21:43

try fileinput.

nnchj

UID: 9969
帖子: 90
积分: 206
在线时间: 11 小时

8^# nnchj 发表于 2008-08-18 11:11

已经把readlines改为xreadlines了,但是还是报同样的错误。
需要读进内存的文本，大概有520万行。这个脚本，读进230万行的文本，是没有问题的。
之所以要把文本读进内存，是为了把文本逐行的转化成数组，再对数组中的元素（也就是文本的行）逐个进行处理。

如果不通过把文本逐行转成数组的方法，大家还有什么好一些的方法可以方便的对文本逐行进行处理吗？

timespace

UID: 3244
帖子: 169
积分: 388
在线时间: 1 天 15 小时

9^# timespace 发表于 2008-08-18 11:20

读入数组前，能不能过滤下每行的数据，提取真正有用的信息，因为数据量太大了，即使520w个四字节整数都有19MB多啊

retuor

UID: 924
帖子: 135
积分: 310
在线时间: 1 天 1 小时

10^# retuor 发表于 2008-08-18 11:21

你要对文本进行什么处理？

象我前面给出的例子，读一行，扔一行，用的内存非常少。但如果你处理必须把全部行都读入，同时操作，那无论用什么方法读入，结果都是一样的。

现在你要考虑的是如何改进你的文本处理方式，而不是读入方式。

另外，python 里有数组对象吗？