请问pyhon开多线程费内存吗

fandatou

UID: 562
帖子: 117
积分: 269
在线时间: 19 小时

1^# fandatou 发表于 2006-03-22 15:50

请问pyhon开多线程费内存吗

我写了一个验证代理服务器匿名程度的perl脚本，开了5个线程去访问被测页面。脚本一开60M内存没了，检测完358个代理服务器后，内存占用高达200M。我就开了5个线程为啥么perl多线程这么废内存。

过几天我要写一个9线程脚本，每个线程要连续访问499个页面并处理信息，请问诸位高手pyhton多线程处理能力如何，内存使用情况如何？是否稳定？

bleem1998

UID: 272
帖子: 63
积分: 144
在线时间: 5 小时

2^# bleem1998 发表于 2006-03-22 23:25

fandatou

UID: 562
帖子: 117
积分: 269
在线时间: 19 小时

3^# fandatou 发表于 2006-03-28 14:20

不是说perl坏话，我的程序大部分都是perl的。我现在处理22个服务器的信息，还有100多台服务器的信息没弄呢，必须为将来考虑。

Rcfeng

UID: 30468
帖子: 89
积分: 204
在线时间: 11 小时

4^# Rcfeng 发表于 2006-03-29 13:51

perl目前的线程是试验性的，并不是推荐使用的。
python对线程是有完整支持的，不过偶用得不多。

xichen

UID: 27707
帖子: 1
积分: 2
在线时间: 10 分钟

5^# xichen 发表于 2006-04-03 16:50

我开过30个线程的程序,内存占用大约10M左右吧,我想这个还是和程序有关的.
另外perl应该没有这么离谱,多线程和多进程是不一样的.

fandatou

UID: 562
帖子: 117
积分: 269
在线时间: 19 小时

6^# fandatou 发表于 2006-11-12 19:00

哈哈，把程序修改为30线程的，内存直接奔1G去了。

assiss

UID: 20717
帖子: 2
积分: 4
在线时间: 10 分钟

7^# assiss 发表于 2006-11-12 21:18

也太恐怖了吧。
如果只是简单的测试代理页面，绝对不会用到这么多内存的。

线程本身并不占用多少内存，占用内存的是线程里的应用。

就算是对访问页面的复杂应用，把所需页面全面加载到内存，每个页面也不过几百K吧。
就算PYTHON的自动管理内存没起作用，几百K×500页面，也不会到1个G吧。

楼主是不是调用了其它耗内存的函数？

awake

UID: 24521
帖子: 177
积分: 407
在线时间: 1 天 18 小时

8^# awake 发表于 2006-11-13 14:11

Python的线程应该比Perl的好些吧。Perl的线程还从来没用过。事实上线程不好用你可以改用进程嘛。

ghostwwl

UID: 5349
帖子: 12
积分: 27
在线时间: 10 分钟

9^# ghostwwl 发表于 2006-11-13 14:17

python的线程相对于 perl的要成熟些而且python的线程直接来源自久经考验的 pthread库

fandatou

UID: 562
帖子: 117
积分: 269
在线时间: 19 小时

10^# fandatou 发表于 2006-11-13 23:36

每干啥，就是抓下来网页用正则把需要的数据取下来。刚修改了下程序，不指定每次线程启动数，程序效率提升不少，从33/分钟提升到50个/分钟. 内存就剩下1008k。

我的程序就是单线程也一样运行时间长了就会占用很大内存，不知道为啥perl不自己清理吓