python读文件问题

aphra

UID: 1150
帖子: 22
积分: 50
在线时间: 10 分钟

1^# aphra 发表于 2008-11-05 02:27

python读文件问题

有非常大的一批数据，需要从python输出刀一个txt文件，然后用c++运算，结束后输回python，但是输入输出的时间很长，有什么办法把优化以下么？现在用的是readlines，太慢了因为数据非常大

书中蠹鱼

UID: 28235
帖子: 2
积分: 4
在线时间: 10 分钟

2^# 书中蠹鱼发表于 2008-11-05 09:27

弄个管道，流一下？
没试过，瞎说的。

gucuiwen

UID: 36621
帖子: 97
积分: 223
在线时间: 13 小时

3^# gucuiwen 发表于 2008-11-05 09:53

readlines是一下子把文件内容全部读入内存，只适合比较小的文件，如果文件比较大，超过了物理内存的大小，那么就要启用虚拟内存，速度自然会非常慢了。应该用readline一行一行读入，或者用read,制定每次读入的字节数。

xiaoyu9805119

UID: 39268
帖子: 67
积分: 154
在线时间: 6 小时

4^# xiaoyu9805119 发表于 2008-11-05 10:23

QUOTE:

原帖由 gucuiwen 于 2008-11-5 09:53 发表
readlines是一下子把文件内容全部读入内存，只适合比较小的文件，如果文件比较大，超过了物理内存的大小，那么就要启用虚拟内存，速度自然会非常慢了。应该用readline一行一行读入，或者用read,制定每次读入的字 ...

楼上说的好，用while循环按行来读取或者按照字节数。这样会快很多。

chrisyan

UID: 12721
帖子: 107
积分: 246
在线时间: 15 小时

5^# chrisyan 发表于 2008-11-05 10:31

为啥用c++运算？python不能算？说来听听

badboy_x

UID: 4480
帖子: 148
积分: 340
在线时间: 1 天 6 小时

6^# badboy_x 发表于 2008-11-05 17:01

import linecache
   for x in range(s):
      data= linecache.getline('data.txt',x+1)
      print data
这样不知可行否？
s 可自定义，比如先打印前500行for x in range(500):，然后再for x in range(500，1000)？

pyll

UID: 6055
帖子: 57
积分: 131
在线时间: 4 小时

7^# pyll 发表于 2008-11-06 09:43

3楼说的很对，我以前处理过一个邮件的问题，里面的邮箱太多了，就先把它们读到一个字符中，read().我也新手，一起学习了。呵呵

23号

UID: 42996
帖子: 193
积分: 443
在线时间: 2 天 2 小时

8^# 23号发表于 2008-11-06 09:54

try fileinput

dreamerx2004

UID: 44969
帖子: 102
积分: 234
在线时间: 14 小时

9^# dreamerx2004 发表于 2008-11-06 14:50

QUOTE:

原帖由 gucuiwen 于 2008-11-5 09:53 发表
readlines是一下子把文件内容全部读入内存，只适合比较小的文件，如果文件比较大，超过了物理内存的大小，那么就要启用虚拟内存，速度自然会非常慢了。应该用readline一行一行读入，或者用read,制定每次读入的字 ...

这才是正解！事实上在《Python核心编程》中有对这种情况的说明。

ttvast

UID: 15420
帖子: 51
积分: 117
在线时间: 3 小时

10^# ttvast 发表于 2008-11-07 02:11

c++的字符串处理比python快很多么？python的字符串处理也不是用c做的么？