用python写spider，大家有什么推荐的lib吗？

djw_posion

1^# djw_posion 发表于 2008-12-05 17:37

用python写spider，大家有什么推荐的lib吗？
最近想用spider写个分布式的spider，http协议部分不知道使用那个库好，原来在c++上用curl不知道python上是否是最好的，大家有什么推荐

tearyrose

2^# tearyrose 发表于 2008-12-05 18:19

用urllib2呗

djw_posion

3^# djw_posion 发表于 2008-12-05 19:25

粗看了一下好像没有curl强大

lanphaday

4^# lanphaday 发表于 2008-12-05 22:14

楼主号称用过 curl 不会不知道它有个 python bind 叫 pycurl 吧？

king6o60

5^# king6o60 发表于 2008-12-06 08:18

就用pycurl，大型点的都用这个。第三方的。
http://pycurl.sourceforge.net/

luffy.deng

6^# luffy.deng 发表于 2008-12-06 10:32

QUOTE:

原帖由 djw_posion 于 2008-12-5 19:25 发表
粗看了一下好像没有curl强大

pycurl没有用过，你的强大是指什么？有什么是其他库做不了的？

djw_posion

7^# djw_posion 发表于 2008-12-07 14:44

这个当然知道，现在正在选择中，比如：ptython有没有aprwget的借口，这个要比curl要强，或者诸位有什么更好的建议。