小红书 爬虫 java 软件 python 小红书

每年的2.14号简直就是撒狗粮的专属日子，很多人会烦恼今天该选什么礼物，特别是男生，估计好些男生都因为选礼物整郁闷了。作为情人节的标配，鲜花和巧克力是比不可少的，但是礼物也可以有更多的选择。所以今天我们就通过获取小红书上一些博主分享的关于送礼物的选择，来为有需要的小伙伴列出一些清单，这样就可以让你不会有选择困难症，因为分享的博主很多都是女生，女生对女生的了解是最正确的。

这里我们使用python来获取数据，但是最近小红书的风控很严，之前进行了一些研究成果，现在可以安心的进行数据的获取。这里重点讲下，我们在使用爬虫访问小红书的时候触发封ip机制是避免不了的，这里我们就需要去选择质量更好的爬虫代理才能应付，文中我使用的是亿牛云提供的爬虫代理。之前一直就在使用，质量是没得说的。我们可以简单的分享下代理的使用示例大家有需要的可以借鉴下：

// 要访问的目标页面
string targetUrl = "https://www.xiaohongshu.com/";


// 代理服务器(产品官网 www.16yun.cn)
string proxyHost = "https://www.xiaohongshu.com/";
string proxyPort = "31111";

// 代理验证信息
string proxyUser = "username";
string proxyPass = "password";

// 设置代理服务器
WebProxy proxy = new WebProxy(string.Format("{0}:{1}", proxyHost, proxyPort), true);


ServicePointManager.Expect100Continue = false;

var request = WebRequest.Create(targetUrl) as HttpWebRequest;

request.AllowAutoRedirect = true;
request.KeepAlive = true;
request.Method    = "GET";
request.Proxy     = proxy;

//request.Proxy.Credentials = CredentialCache.DefaultCredentials;

request.Proxy.Credentials = new System.Net.NetworkCredential(proxyUser, proxyPass);

// 设置Proxy Tunnel
// Random ran=new Random();
// int tunnel =ran.Next(1,10000);
// request.Headers.Add("Proxy-Tunnel", String.valueOf(tunnel));


//request.Timeout = 20000;
//request.ServicePoint.ConnectionLimit = 512;
//request.UserAgent = "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36";
//request.Headers.Add("Cache-Control", "max-age=0");
//request.Headers.Add("DNT", "1");


//String encoded = System.Convert.ToBase64String(System.Text.Encoding.GetEncoding("ISO-8859-1").GetBytes(proxyUser + ":" + proxyPass));
//request.Headers.Add("Proxy-Authorization", "Basic " + encoded);

using (var response = request.GetResponse() as HttpWebResponse)
using (var sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
{
    string htmlStr = sr.ReadToEnd();

从获取的数据分析后，总结了下适合情人节送礼五大选择，希望可以帮到大家，1鲜花、2巧克力、3衣服、4化妆品、5包包。有需要的男同学可以根据需求选择呀。