多线程以及多线程下载、断点续传【讨论】

sujun

UID: 39510
帖子: 145
积分: 333
在线时间: 1 天 4 小时

1^# sujun 发表于 2009-01-07 22:39

多线程以及多线程下载、断点续传【讨论】

最近看了几篇讲多线程的文章，在网上搜到多线程下载(对一个文件，断点续传) 的描述，可是调不太好
大家有这方面的经验不
交流、指教哈
下面是几段代码：（我想着是吧两段都调通了，合在一起，就可以弄多线程下载了，从而实现断点续传）
----------------------------------------------------
多线程没问题

[Copy to clipboard] [ - ]

CODE:

#coding:utf-8
#多线程
import threading
import time

class mythread(threading.Thread):
def __init__(self, threadname):
threading.Thread.__init__(self, name = threadname)

def run(self):
for i in range(10):
print self.getName, i
time.sleep(1)
t1 = mythread('t1')
print t1.getName(),t1.isDaemon()
t1.setDaemon(True)
print t1.getName(),t1.isDaemon()
t1.start()

--------------------------------------------------------
下载(为断点续传做准备)有问题；解决了

[Copy to clipboard] [ - ]

CODE:

def testSend():
import httplib

headers = {
'Range':'bytes=%s-%s' % ( 1, 1000 )
}
conn = httplib.HTTPConnection(url,80)
conn.request("GET", url + "/index.html", '', headers)
response = conn.getresponse()
value = response.read()
conn.close()

f = file("c:\s.html","w")
f.write(value)
f.close()

#testSend("http://www.100infor.cn/") #用这个就出错
testSend("www.100infor.cn") #解决了，不加http://

-----------------------------------------------
不过又有了新问题：
'Range':'bytes=%s-%s' % ( 0, 1000 )
好像没有反应，每次都是下载全部，按照规划是只下0-1000字节的数据；
怎么回事了，查找中~~

sujun

UID: 39510
帖子: 145
积分: 333
在线时间: 1 天 4 小时

2^# sujun 发表于 2009-01-08 03:27

写了个多文件的多线程下载，断点续传还没影子，继续努力

#coding:utf-8
'''
多线程下载 2009-01-8 03:21:03 Victor
'''
from urllib import urlopen
import threading
import re
import time
import os

class threadRun (threading.Thread):
    '''
    创建线程
    '''
    def __init__ (self, threadname, url):
        threading.Thread.__init__(self, name = threadname)
        self.url = url

    def run (self):
        catchDta (self.url)

def catchDta (url):
    '''
    数据读取、下载
    '''
    try:
        data = urlopen(url).read()
        if len(data) < 11024:
            print url + "\t[Failed]"
            return

        path = "c:\\FilesCatch"
        pathCreat (path)
        seps = url.split("/")
        name = seps[-1]
        pattern = re.compile(r'\.(.*)', re.IGNORECASE)
        file_type = pattern.search(name).groups()[0]
        #print file_type
        now = time.localtime(time.time()) #时间
        i = 1
        file_name = (path + "\\%d%d%d-%d%d." + file_type) % (now[0], now[1], now[2], now[5], i)
        while os.path.exists(file_name) :
            i = i + 1
            file_name = (path + "\\%d%d%d-%d%d." + file_type) % (now[0], now[1], now[2], now[5], i)

        f = file(file_name, "wb")
        f.write(data)
        f.close()
        print file_name + "\t[Successed]"
    except:
        print url + "\t-[Failed]"

def pathCreat (way):
    '''
    创建文件夹
    '''
    try:
        if not os.path.exists(way):
            os.mkdir(way)
    except:
        print "Failed to create directory " + way
        exit()

urls = [
"http://hiphotos.baidu.com/%D3%C4%DA%A41234/pic/item/e0130a1f1ba7e4d0a7866987.jpg",
"http://hiphotos.baidu.com/%D3%C4%DA%A41234/pic/item/e0130a1f1ba7e4d0a7866987.jpg",
"http://hiphotos.baidu.com/%D3%C4%DA%A41234/pic/item/e0130a1f1ba7e4d0a7866987.jpg",
"http://hiphotos.baidu.com/%D3%C4%DA%A41234/pic/item/e0130a1f1ba7e4d0a7866987.jpg",
"http://hiphotos.baidu.com/%D3%C4%DA%A41234/pic/item/e0130a1f1ba7e4d0a7866987.jpg",
"http://www.baidu.com/index.html",
"http://www.baidu.com/",
]

for item in urls:
    t = threadRun('num', item)
    t.start()
else:
    print "over"

luffy.deng

UID: 17648
帖子: 1
积分: 2
在线时间: 10 分钟

3^# luffy.deng 发表于 2009-01-08 08:13

http断点续传就是在请求头里加上 Range:bytes=xxxxx- 这样的一行而已。
你的'Range':'bytes=%s-%s' % ( 1, 1000 )这个不对。要从已经下载的位置开始。

cc520

UID: 26731
帖子: 67
积分: 154
在线时间: 6 小时

4^# cc520 发表于 2009-01-08 08:33

这个不用控制几个线程数吗？

luffy.deng

UID: 17648
帖子: 1
积分: 2
在线时间: 10 分钟

5^# luffy.deng 发表于 2009-01-08 09:05

QUOTE:

原帖由 cc520 于 2009-1-8 08:33 发表
这个不用控制几个线程数吗？

'Range':'bytes=%s-%s' % ( 1, 1000 )考虑一下这个替换出来是什么？
假设你已经下到100 还剩400没有下，用4个线程下剩余部分的话，那么各个线程的请求头是不是要Range:bytes=101-200，Range:bytes=201-300 等？所有的线程Range:bytes=1-1000应该是不行。

百分百好牛

UID: 37497
帖子: 57
积分: 131
在线时间: 4 小时

6^# 百分百好牛发表于 2009-01-08 17:57

好贴，选占个位置先。

sujun

UID: 39510
帖子: 145
积分: 333
在线时间: 1 天 4 小时

7^# sujun 发表于 2009-01-09 00:15

断点续传解决了：
#testSend("http://www.100infor.cn/") #用这个就出错
testSend("www.100infor.cn") #解决了，不加http://

====================

不过又有了新问题：
'Range':'bytes=%s-%s' % ( 0, 1000 )
好像没有反应，每次都是下载全部，按照规划是只下0-1000字节的数据；
怎么回事了，查找中~~

luffy.deng

UID: 17648
帖子: 1
积分: 2
在线时间: 10 分钟

8^# luffy.deng 发表于 2009-01-09 07:52

0
0

guotie

UID: 37694
帖子: 58
积分: 133
在线时间: 4 小时

9^# guotie 发表于 2009-01-09 09:08

断点续传需要服务器支持。
有的服务器不支持range，你就没办法断点续传。

luffy.deng

UID: 17648
帖子: 1
积分: 2
在线时间: 10 分钟

10^# luffy.deng 发表于 2009-01-09 10:04

QUOTE:

原帖由 guotie 于 2009-1-9 09:08 发表
断点续传需要服务器支持。
有的服务器不支持range，你就没办法断点续传。

服务器不响应含有range的请求头？

多线程以及多线程下载、断点续传 【讨论】

多线程以及多线程下载、断点续传 【讨论】

多线程以及多线程下载、断点续传【讨论】

多线程以及多线程下载、断点续传【讨论】