资源下载--使用Proxy SwitchyOmega+postman下载资源

资源下载--使用Proxy SwitchyOmega+postman下载资源

1 介绍

很多时候我们需要在网络上下载资源，但是本机网络由于各种限制，速度极慢，此时需要获取下载信息，到特定服务器下载数据。

第一种情况：
大部分资源直接是资源的具体地址，该地址直接包含文件名，如​​​https://www2.spsc.tugraz.at/databases/PTDB-TUG/SPEECH_DATA_ZIPPED.zip
​ ，此时直接点击该链接 就可以下载，也可以复制该路径，到指定服务器上通过wget 来下载(通常用aws或者gcp来下载海外资源);

此处直接通过文件绝对路径下载，使用 --limit-rate=10m 限制下载速度最高为10m/s：
wget -c --limit-rate=10m  https://www2.spsc.tugraz.at/databases/PTDB-TUG/SPEECH_DATA_ZIPPED.zip

第二种情况：
资源包含了下载链接，但该链接不是资源的绝对地址，直接通过wget在服务器是无发下载的；或者该文件需要登陆账号认证，直接获取下载地址后，在服务器上也无法通过wget等命令直接使用的；
此时我们需要通过某种方式获取资源下载时候的url、完整headers、认证信息；具体方法可以结合代理插件和postman获取相关下载命令，下文将对该方法进行详细介绍。

2 使用方法

2.1 安装配置 Proxy SwitchyOmega

1. 在google web store 搜索Proxy SwitchyOmega，并下载安装插件；
3. 设置使用proxy功能，并配置http和https端口
   此处配置http 和 http 代理端口都为5555，该端口后续要在postman中使用；
   配置server 为127.0.0.1，即本机；
   配置好打开proxy功能；

2.2 配置postman

1. 下载并安装postman
3. 配置proxy
   如图，在Capture -》 Requests -》Source-》选择Proxy，设置Capture Requests为on，设置端口为5555；
   该配置设置成功后，在goole上访问的http和https都会被5555端口捕获到，进一步根据破获的内容获取其下载命令；

2.3 测试

1. 下载数据集 [M2VoC MST and TSV data.zip](M2VoC MST and TSV data.zip)
   ​​​ https://fft.cloud.iqiyi.com/s/bYT2m6t?direct=1&access=3uTJiz​​​ 很明显，该数据可以在浏览器下载，但是直接copy该地址是无法在服务器上下载的，此时postman就可以派上用场了；
   
3. 在浏览器上点击该网址 生成访问记录，在postman中找到具体访问信息
   如下图捕获到访问记录了，单机Save 右下角的Code就可以看到各种下载信息了；



4. 此处直接获取wget命令即可，将这些命令完整copy上，即可在对应的服务器上下载了；

wget --no-check-certificate --quiet \
  --method GET \
  --timeout=0 \
  --header 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
  --header 'accept-encoding: gzip, deflate, br' \
  --header 'accept-language: en-US,en;q=0.9' \
  --header 'connection: keep-alive' \
  --header 'cookie: session=MTYwODAwMzI1OXxEdi1CQkFFQ180SUFBUkFCRUFBQVRmLUNBQUlHYzNSeWFXNW5EQW9BQ0hOb1lYSmxYMmxrQm5OMGNtbHVad3dKQUFkaVdWUXliVFowQm5OMGNtbHVad3dKQUFkaGRYUm9YMmxrQm5OMGNtbHVad3dKQUFkaVdWUXliVFowfLbcN1QnSNX6ke5LnPoVr5-lrB3Hs1aqQUpnB5T3rLLE' \
  --header 'host: fft.cloud.iqiyi.com' \
  --header 'sec-fetch-dest: document' \
  --header 'sec-fetch-mode: navigate' \
  --header 'sec-fetch-site: cross-site' \
  --header 'sec-fetch-user: ?1' \
  --header 'upgrade-insecure-requests: 1' \
  --header 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_0_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36' \
'https://fft.cloud.iqiyi.com/s/bYT2m6t?direct=1&access=3uTJiz'

3 说明

​​postman 官网下载postman app​​​​webstore 下载SwitchyOmega​​