海豚调度调度 java脚本海豚代理服务器

转载

cnolnic 2023-11-30 12:56:48

文章标签 海豚调度调度 java脚本编辑器代理服务器 IP nginx 文章分类 Java 后端开发

最常见的反爬虫技术之一就是通过客户端的IP鉴别是否为爬虫，若要爬取大量资源仅用少数IP是不行的（会被封），所以就需要不断地更换IP，最简单的方式是使用代理服务器，我们可以通过不断地更换代理服务器来使用大量IP访问服务器，进而欺骗服务器。

使用ProxyHandler类可以设置HHTP和HTTPS代理，但是在设置代理之前，首先要有代理服务器，代理服务器可以自己搭建，也可以使用第三方的服务器，本文将介绍如何自己搭建服务器。

工具：

nginx，官网下载Android · Sunny-Ngrok说明文档，选择稳定版（注意路径不能有中文）
电脑

打开<nginx根目录>/conf/nginx.conf文件（记事本打开即可）在http{....}中加入如下代码：

server{
    resolver 192.169.31.1;
    listen 8888;
    location / {
                proxy_pass http://$http_host$request_uri;
                }
        }

其中resolver是DNS服务器，如果是将本机作为代理服务器，那么DNS服务器的IP是访问路由器后台管理页面的地址，如192.169.31.1每台电脑连接不同的局域网的地址不同listen 8888表示代理服务器的端口号是8888，location /”表示访问任何的 URL 都通过这个代理（因为指定的路径为根路径“/”)。proxy_pass 后面的地址表示代理服务器根据客户端的请求向资源服务器发送的 URL， http:/$http_host$request_uri 相当于将客户端发过来的 URL 原封不动发送给资源服务器。$http_host 和 $request_uri 是 nginx 的内部变量，分别表示客户端发过来的 IP（域名）以及请求路径。在 nginx.conf 文件中输人上面的代码后，保存 nginx.conf 文件，启动 nginx 服务器，(启动时就弹窗一下)然后使用 Firefox 浏览器测试一下代理服务器。打开 Firefox 浏览器，单击右上角的菜单按钮，在弹出菜单中单击“首选项”菜单项，在显示的页面中找到“网络设置”部分（一般在页面的最后)，然后单击“设置”按钮，会弹出如下图所示的对话框。单击“手动代理设置”选项按钮，并在“HTTP 代理”文本框中输入代理服务器的 IP，如果用本机作代理服务器，可以输入 127.0.0.1，也可以输入本机的真实 IP （本例是 192.168.31.124 )，然后在“端口”文本框输入 8888。最后单击“确定”按钮保存设置。

海豚调度调度 java脚本海豚代理服务器_海豚调度调度 java脚本

海豚调度调度 java脚本海豚代理服务器_IP_02

在 Firefox 浏览器的地址栏中输人一个 http 网站，如 http://blogjava.net，如果正常显示页面，说明设置成功了。这时 http://blogjava.net实际上会先通过代理服务器，然后代理服务器去访问 http:/ blogjava.net，并将返回结果传给 Firefox 浏览器。要注意的是，nginx 目前并不支持 https 代理，如果读者要测试 https 代理，可以寻找免费或收费的代理服务器。如果想找免费的代理服务器，可以在百度或谷歌搜索“免费代理服务器”，会出现一堆，不过免费的代理服务器有些不太稳定，而且大多只支持 HTTP。所以读者可以考虑使用收费的代理服务器。例如，蜻蜓代理（https://proxy.horocn.com)，尽管蜻蜓代理是收费的，但如果只是测试，蜻蜓代理提供了一些用于免费测试的代理 IP，只需要注册蜻蜓代理，在后台就可以申请。要注意的是，通常这些代理会在 1 到 3 分钟之内失效（收费和免费的代理都是这样)，所以在使用代理时应不断更换代理服务器。

未设置好的界面是这样的

海豚调度调度 java脚本海豚代理服务器_IP_03