[有趣的Python 8] 使用C模块来提高性能

sakulagi

UID: 12861
帖子: 37
积分: 85
在线时间: 2 小时

1^# sakulagi 发表于 2005-06-15 16:02

[有趣的Python 8] 使用C模块来提高性能

Python毕竟是解释型的语言，在复杂算法上的速度还是比C要差一点。另外大量的C的Library的重用也是一个很重要的话题。好在Python可以很容易的使用C编写的module来提高关键路径的性能和复用已有的C的Library。

OK，我们先来写个大整数乘法来看一下Python的性能。我对性能方面不是高手，这个例子不一定恰当。全当是个小实验。另外重点还是放在如何使用C编写的模块上。为了突出重点，就假设我们有C的Library的source code，或者C的module就是为了Python程序开发的。好，开始。先写个Python的实现。

[Copy to clipboard] [ - ]

CODE:

#! /usr/bin/python

#main.py

import time
import timeP
import timeC

t1 = time.time()
timeP.time()
t2 = time.time()
timeC.time()
t3 = time.time()

print "Python module time: %f seconds" % (t2 - t1)
print "C module time: %f seconds" % (t3 - t2)

timeP是用Python写的Module，而timeC就是用C写的了。计算的内容都是一样的。

[Copy to clipboard] [ - ]

CODE:

#! /usr/bin/python

#timeP.py

def time():
for i in range(0,100000):
      x = 123498
      y = 98082432
      z = x * y

在看C的module之前。我们要先学习几个基础知识。首先，每一个module都要告诉Python Interpreter到底这个模块有几个函数。这个是由"initMODULE_NAME"函数来实现的，其实就是把一个List作为参数传给Python/C API里的一个特殊函数做到的。
另外为了交换数据，c的module里的函数要以PyObject*作为返回类型，即使是不需要返回值的，也要返回Py_None，就是Python里的None啦。俺就是一开始没有注意，结果一直segmentation fault。

最后，一定要include Python.h（废话）

[Copy to clipboard] [ - ]

CODE:

#include <Python.h>;
#include "time_test.h"

///timeC.c
/// the wrapper for time_test.c
static PyObject* timeC_time()
{
time_test();
return Py_None;
}

static PyMethodDef timeCMethods[] = {
{"time",  timeC_time, METH_VARARGS,
      "Execute a shell command."},
{NULL, NULL, 0, NULL}       /* Sentinel, end of list of functions*/
};

PyMODINIT_FUNC inittimeC()
{
      Py_InitModule("timeC", timeCMethods);
}

这个module其实是一个C的Library（库的例子，没有这么mini的库啦，呵呵）的wrapper。我顺便把C的Library的code也贴在这里：

[Copy to clipboard] [ - ]

CODE:

#ifndef _TIME_TEST_H
#define _TIME_TEST_H

extern void time_test();

#endif

[Copy to clipboard] [ - ]

CODE:

#include "time_test.h"

///time_test.c
void time_test()
{
int x = 123498;
int y = 98082432;
int z = 0;
int i;
for (i = 0 ; i < 100 ; i++)
{
z = x * y;
}
}

int main()
{
time_test();
return 0;
}

接下来该编译了（需要编译的语言好麻烦，:p）。Python提供了编译C的module的简单方法。就是写一个setup脚本：

[Copy to clipboard] [ - ]

CODE:

#! /usr/bin/python

from distutils.core import setup, Extension

module1 = Extension('timeC', sources = ['timeC.c', 'time_test.c'])

setup (name = 'PackageName', version = '1.0', description = 'This is a demo package', ext_modules = [module1])

只要执行一下./setup.py build，就可以编译了。
编译好了之后，把生成的.so文件copy到当前目录。Run一下main.py看看结果。我的机器是P4 1.8, RHEL4WS。结果如下：

[Copy to clipboard] [ - ]

CODE:

Python module time: 4.386378 seconds
C module time: 0.000432 seconds

pupilzeng

UID: 8635
帖子: 160
积分: 368
在线时间: 1 天 11 小时

2^# pupilzeng 发表于 2005-06-15 16:37

想看看，使用python封装C++类的例子

sakulagi

UID: 12861
帖子: 37
积分: 85
在线时间: 2 小时

3^# sakulagi 发表于 2005-06-16 15:47

我回头学习一下，看能不能再发个封装C++的。

xichen

UID: 27707
帖子: 1
积分: 2
在线时间: 10 分钟

4^# xichen 发表于 2005-06-16 22:21

这个文档写得不是十分详细,建议将每段代码的文件名,具体的细节描述得更详细一些.其实作为技术文档,不仅需要熟悉python的人理解,更需要让初学python的人也能很好的理解并使用它.
谢谢你的知识共享!

sakulagi

UID: 12861
帖子: 37
积分: 85
在线时间: 2 小时

5^# sakulagi 发表于 2005-06-17 07:57

呵呵，你说的有道理。看来我写入门文章的能力还有待加强。主要是觉得很多知识在各个语言里都是相通的，所以写的时候可能更多的是假设读者已经对C/C++/Java有一定的了解。然后先有个感性认识，能把这些代码当作cheat sheet 用，是最大的目的，要是深究，我的Python知识实在是太有限了。刚学了没有多久，而且是业余自己看着玩的，要是有个项目，时间多些，估计能深入一些。

rockins

UID: 13356
帖子: 88
积分: 202
在线时间: 10 小时

6^# rockins 发表于 2005-06-28 20:39

个人觉得楼主是说清楚了的

abbish

UID: 32809
帖子: 13
积分: 29
在线时间: 10 分钟

7^# abbish 发表于 2006-06-22 10:43

可以把Python作为一个调用触发工具，底层实现和逻辑封装使用高效的C来完成，这样效率就高了~ 也可以有效地保护底层代码

guotie

UID: 37694
帖子: 58
积分: 133
在线时间: 4 小时

8^# guotie 发表于 2006-06-22 16:46

能讲下ctypes么

socrates-ls

UID: 31672
帖子: 84
积分: 193
在线时间: 9 小时

9^# socrates-ls 发表于 2006-06-24 08:11

Python的代码为：
def time():
for i in range(0,100000):
      x = 123498
      y = 98082432
      z = x * y

而C的代码为：
for (i = 0 ; i < 100 ; i++)
{
      z = x * y;
}

所以，速度对比
Python module time: 4.386378 seconds
C module time: 0.000432 seconds
修正为：
C module time: 0.432 seconds
似乎更可信。－> 10倍的差距。

socrates-ls

UID: 31672
帖子: 84
积分: 193
在线时间: 9 小时

10^# socrates-ls 发表于 2006-06-24 09:14

sorry, 我刚才的说法不确切。

我测试了一下。结果与楼主的相当。

但是，当我修改time_test.c中的循环次数为：10000， 10000000 时，结果C运行时间仍然没什么变化。所以，我怀疑：C中的z=x*y 被优化掉了。

我修改time_test.c如下：
void time_test()
{
long x = 123498;
long y = 98082432;
long z = 0;
int i;
for (i = 0 ; i < 5000 ; i++)
{
      z = x * y;
      printf("C:%ld\n", z)
}
}

修改timeP.py如下：
def time():
for i in range(0,5000):
      x = 123498
      y = 98082432
      z = x * y
      print 'P:', z

结果如下：
Python module time: 7.779405 seconds
C module time: 4.681235 seconds
又运行一次，结果：
Python module time: 2.736273 seconds
C module time: 0.262230 seconds
波动比较大。

timeP.py的输出为：5000行以下行：
P: 12112984187136
而 timeC的输出为：5000行以下行：
C: 1176412416
虽然使用了long ，但，C似乎还是溢出了。