看到一篇多线程下载的文章，这里把自己的理解写一篇多线程下载的文章。
我们访问http://192.168.10.7/a.jpg时是get请求，response的head包含Content-Length: 37694
这个就是a.jpg文件的大小
抓包的话，server端是发送多个数据包（PDU）和一个文件信息，然后拼装成了a.jpg图片：
，部分截图。
如果我用requests.head("http://192.168.10.7/a.jpg")时，server端只返回文件信息，而不会发送文件数据。
response = requests.head(self.url)
print(response.headers)
#
{'Keep-Alive': 'timeout=5, max=100', 'Accept-Ranges': 'bytes', 'Date': 'Sat, 18 Feb 2017 02:56:08 GMT', 'ETag': '"933e-548c4b0beff53"', 'Content-Type': 'image/jpeg', 'Content-Length': '37694', 'Last-Modified': 'S
at, 18 Feb 2017 02:21:39 GMT', 'Connection': 'Keep-Alive', 'Server': 'Apache/2.4.18 (Ubuntu)'}文件a.jpg大小是37964字节
保存a.jpg文件后查看文件大小也是
好了，我们知道文件大小了的话，那如何多线程下载了？
假如我们用3个线程去下载a.jpg，那么我们会用线程1去下载1260x10=12600字节，线程2下载12601-25200字节，以此类推，还不够就用线程1再去下载。
但是get请求不是会直接下载a.jpg文件了？怎么只获取一部分文件的数据了？
我们可以在get请求的head部分加入“Range: bytes=0-12599”, 先测试下
# res.text 是将get获取的byte类型数据自动编码，是str类型， res.content是原始的byte类型数据
# 所以下面是直接write(res.content)headers = {"Range":"bytes=0-12599"}
res = requests.get(self.url,headers=headers)
# res.text 是将get获取的byte类型数据自动编码，是str类型， res.content是原始的byte类型数据
# 所以下面是直接write(res.content)
with open(self.filename,'wb') as f:
f.write(res.content)然后可以看到下载获取的一部分图片：
我们再获取下一部分数据，
headers = {"Range":"bytes=12600-25199"}
res = requests.get(self.url,headers=headers)
# res.text 是将get获取的byte类型数据自动编码，是str类型， res.content是原始的byte类型数据
# 所以下面是直接write(res.content)
with open(self.filename,'ab+') as f:
print(f.tell())
f.write(res.content)可以看到文件：
我们知道：
r或rt 默认模式，文本模式读
rb 二进制文件
w或wt 文本模式写，打开前文件存储被清空
wb 二进制写，文件存储同样被清空
a 追加模式，只能写在文件末尾
a+ 可读写模式，写只能写在文件末尾
w+ 可读写，与a+的区别是要清空文件内容
r+ 可读写，与a+的区别是可以写到文件任何位置如果是多线程的而下载的话，我们用open('file','rb+')，我先用这种模式继续上面下载文件，上面下载到了25199字节，
那这次我从26000开始下载，f.seek(26000)后开始保存下载的文件，看文件是否能保存，看到的文件是否会中间出现空白：
headers = {"Range":"bytes=26000-37694"}
res = requests.get(self.url,headers=headers)
# res.text 是将get获取的byte类型数据自动编码，是str类型， res.content是原始的byte类型数据
# 所以下面是直接write(res.content)
with open(self.filename,'rb+') as f:
f.seek(26000)
f.write(res.content)下载后的文件：
这个，可能图片显示可能跟我们想象的不一样，但是rb+肯定是可以从任意位置读写的。
还介绍一个知识点，可能在自己测试的时候用的到，就是：
f.truncate(n): 从文件的首行首字符开始截断，截断文件为n个字符；无n表示从当前位置起截断；截断之后n后面的所有字符被删除。
好了，现在我们开始使用多线程下载文件：
设计思路是：
1、每个线程下载一部分数据
2、每个线程用rb+模式打开文件
3、每个线程下载数据后，用f.seek()到相应的位置，然后再写数据。
直接f=open()，再多线程f.write()时会出现文件写错误。
我们可以用os.dup()复制文件符合os.fsopen(fd,mode,buffer)来打开处理文件。
os.dup()和os.fdopen()的好处个人理解是os.dup()复制文件句柄，os.fdopen()先写缓存，具体官方文档还有待查证。
代码：
版本 python3,
pip install requests
下面代码可以拿来直接跑
#! -coding:utf8 -*-
import threading,sys
import requests
import time
import os
class MulThreadDownload(threading.Thread):
def __init__(self,url,startpos,endpos,f):
super(MulThreadDownload,self).__init__()
self.url = url
self.startpos = startpos
self.endpos = endpos
self.fd = f
def download(self):
print("start thread:%s at %s" % (self.getName(), time.time()))
headers = {"Range":"bytes=%s-%s"%(self.startpos,self.endpos)}
res = requests.get(self.url,headers=headers)
# res.text 是将get获取的byte类型数据自动编码，是str类型， res.content是原始的byte类型数据
# 所以下面是直接write(res.content)
self.fd.seek(self.startpos)
self.fd.write(res.content)
print("stop thread:%s at %s" % (self.getName(), time.time()))
# f.close()
def run(self):
self.download()
if __name__ == "__main__":
url = sys.argv[1]
#获取文件的大小和文件名
filename = url.split('/')[-1]
filesize = int(requests.head(url).headers['Content-Length'])
print("%s filesize:%s"%(filename,filesize))
#线程数
threadnum = 3
#信号量，同时只允许3个线程运行
threading.BoundedSemaphore(threadnum)
# 默认3线程现在，也可以通过传参的方式设置线程数
step = filesize // threadnum
mtd_list = []
start = 0
end = -1
# 请空并生成文件
tempf = open(filename,'w')
tempf.close()
# rb+ ，二进制打开，可任意位置读写
with open(filename,'rb+') as f:
fileno = f.fileno()
# 如果文件大小为11字节，那就是获取文件0-10的位置的数据。如果end = 10，说明数据已经获取完了。
while end < filesize -1:
start = end +1
end = start + step -1
if end > filesize:
end = filesize
# print("start:%s, end:%s"%(start,end))
# 复制文件句柄
dup = os.dup(fileno)
# print(dup)
# 打开文件
fd = os.fdopen(dup,'rb+',-1)
# print(fd)
t = MulThreadDownload(url,start,end,fd)
t.start()
mtd_list.append(t)
for i in mtd_list:
i.join()执行结果：
python multiprocess_download.py http://192.168.10.7/of.tar.gz
of.tar.gz filesize:36578022
start thread:Thread-1 at 1487405833.7353075
start thread:Thread-2 at 1487405833.736311
start thread:Thread-3 at 1487405833.7378094
stop thread:Thread-1 at 1487405836.9561603
stop thread:Thread-3 at 1487405837.0016065
stop thread:Thread-2 at 1487405837.0116146多次测试，下载后的文件都可以正常打开。
如果有多个站点有of.tar.gz文件，那更可以体现多线程下载的体验。
根据上面的理论，我们应该可以做一个类似p2p的下载，比如10台机器，每台启动一个agent，每个agent给server上报自己目录下的文件信息，当有一个agent有下载文件时，会去server查询哪些agent有这个文件，然后计算去哪些agent下载哪段数据。
