【实战项目】使用 Go 语言开发一个并发文件下载器

原创

Seekload 2022-11-10 12:11:32 ©著作权

文章标签 go java golang http 编程语言 文章分类 虚拟化云计算

©著作权归作者所有：来自51CTO博客作者Seekload的原创作品，请联系作者获取转载授权，否则将追究法律责任

via:
https://returnfn.com/lets-build-a-concurrent-file-downloader-in-go 作者：Mostafa Asgari

今天给大家分享一个实战项目，涉及到的知识点还挺多，文末也有源码地址！！

原文如下：

Go 语言是一门了不起的语言，尽管它非常简单，与 Koltin 和 Scala 等其他现代语言相比，它的功能很少，但它具有强大的并发能力。这篇文章，我们将会看到使用 Go 语言如何编写一个完整的并发文件下载器。完整的代码在这里[1]。

检查服务器是否支持并发下载

如何之前使用过类似 IDM 的下载工具，你可能会注意到它支持并发下载文件。

【实战项目】使用 Go 语言开发一个并发文件下载器_golang

可以看到下载文件的时候启动了 8 个进程。

实现并发下载，我们必须确保服务器支持范围请求。怎么确认呢？我们可以发送 HEAD 请求，如果响应头的 Accept-Ranges 返回的值是 bytes，我们就能确定服务器支持此功能。

res, err := http.Head("http://some.domain/some.file")
if err != nil {
   log.Fatal(err)
}

if res.StatusCode == http.StatusOK && res.Header.Get("Accept-Ranges") == "bytes" {
   // Yeh, server supports partial request
}

如何下载文件的其中一部分

设想服务器支持范围请求，我们知道文件大小是 4000 字节(文件大小从响应头的 Content-Length 获取)。要仅下载 2000 到 3000 字节的文件的一部分，我们可以发送 HTTP GET 请求，并在 header 头设置 Range 参数：

curl -X GET -H "Range: bytes=2000-3000" -o OUTPUT_FILE http://some.domain/some.file

实现相同功能的代码如下：

req, err := http.NewRequest("GET", "http://some.domain/some.file", nil)
if err != nil {
    log.Fatal(err)
}
rangeStart := 2000
rangeStop := 3000
req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", rangeStart, rangeStop))

// make a request
res, err := http.DefaultClient.Do(req)

将响应保存在文件中

为了支持断点续传功能，我们不会将请求响应保存在内存里，而是会持久化在文件中。举个例子，如果我们把并发级别设置成 4，在输出目录将会有 4 个临时文件。下面的代码，我们只是简单地读取 HTTP 响应体并将它写入一个文件中：

f, err := os.OpenFile(outputPath, flags, 0644)
    if err != nil {
        log.Fatal(err)
    }
defer f.Close()

_, err = io.Copy(f, res.Body)

暂停下载

不知道大家注意到没有，上面代码有个问题，使用时不支持 CTRL+C 暂停下载。如果下载的文件过大，或者网络慢，下载需要花费很长时间。因为 io.Copy 复制文件时遇到 EOF 或者发生错误才结束。为了解决这个问题，我们使用 io.CopyN 和 cancel channel 组合：

// copy to output file
for {
  select {
    case <- context.Done():
       // user canceled the download
        return
    default:
      _, err = io.CopyN(f, res.Body, BUFFER_SIZE))
      if err != nil {
        if err == io.EOF {
            return
        } else {
            log.Fatal(err)
        }
      }
    }
  }