利用 Java 爬虫从 yiwugo 根据 ID 获取商品详情

原创

技术干货猿 2025-01-09 15:26:09 ©著作权

©著作权归作者所有：来自51CTO博客作者技术干货猿的原创作品，请联系作者获取转载授权，否则将追究法律责任

在当今数字化商业环境中，数据是企业竞争的关键。对于从事国际贸易的商家而言，能够及时、准确地获取商品信息至关重要。yiwugo 是一个知名的国际贸易平台，拥有丰富的商品资源。通过 Java 爬虫技术，我们可以高效地从 yiwugo 根据商品 ID 获取详细信息，从而为市场分析、产品调研等提供有力支持。

利用 Java 爬虫从 yiwugo 根据 ID 获取商品详情_apache

一、准备工作

（一）环境搭建

Java 安装：确保已安装 Java 开发环境，推荐使用 JDK 11 或更高版本，以获得更好的性能和对新特性的支持。可以从 Oracle 官网或 OpenJDK 官网下载安装包并安装.
开发工具配置：使用 IntelliJ IDEA 或 Eclipse 等 Java 开发工具，创建一个新的 Maven 项目，以便方便地管理项目依赖和构建。在项目中创建包和类，组织好代码结构.
依赖库添加：在项目的 pom.xml 文件中添加必要的依赖库，包括用于发送网络请求的 HttpClient 和用于解析 HTML 的 Jsoup。示例配置如下：

<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.13</version>
    </dependency>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.13.1</version>
    </dependency>
</dependencies>

（二）yiwugo 平台了解

注册账号：在 yiwugo 平台注册一个账号，以便能够正常访问商品详情页面。部分商品信息可能需要登录后才能查看完整，后续可以考虑模拟登录以获取更多信息.
获取商品 ID：浏览 yiwugo 平台，找到感兴趣的商品，查看其 URL，通常 URL 中会包含商品 ID，如 https://www.yiwugo.com/product/123456.html 中的 123456 即为商品 ID。记录下这些 ID，用于后续爬虫的抓取目标.

二、编写爬虫代码

（一）发送请求

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class YiwugoCrawler {

    public String sendRequest(String productId) {
        String url = "https://www.yiwugo.com/product/" + productId + ".html";
        CloseableHttpClient httpClient = HttpClients.createDefault();
        HttpGet httpGet = new HttpGet(url);
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");

        try (CloseableHttpResponse response = httpClient.execute(httpGet)) {
            if (response.getStatusLine().getStatusCode() == 200) {
                return EntityUtils.toString(response.getEntity(), "UTF-8");
            } else {
                System.out.println("请求失败，状态码：" + response.getStatusLine().getStatusCode());
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
}

构建 URL：根据商品 ID 构建完整的商品详情页面 URL.
设置请求头：模拟浏览器访问，设置 User-Agent 避免被网站反爬虫机制拦截，同时可以添加其他必要的请求头，如 Accept-Language 等，以更好地模拟真实用户行为.
发送 GET 请求：使用 HttpClient 发送请求，获取响应内容。若请求成功返回响应文本，否则打印错误信息并返回 null.

（二）解析 HTML

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.util.HashMap;
import java.util.Map;

public class HtmlParser {

    public Map<String, String> parseHtml(String html) {
        Document doc = Jsoup.parse(html);
        Map<String, String> productInfo = new HashMap<>();

        // 获取商品名称
        Element productNameElement = doc.select("h1.product-title").first();
        if (productNameElement != null) {
            productInfo.put("商品名称", productNameElement.text().trim());
        }

        // 获取商品价格
        Element productPriceElement = doc.select("span.price").first();
        if (productPriceElement != null) {
            productInfo.put("商品价格", productPriceElement.text().trim());
        }

        // 获取商品图片
        Elements productImages = doc.select("img.product-image");
        StringBuilder imagesBuilder = new StringBuilder();
        for (Element img : productImages) {
            imagesBuilder.append(img.absUrl("src")).append(";");
        }
        productInfo.put("商品图片", imagesBuilder.toString());

        // 获取商品描述
        Element productDescriptionElement = doc.select("div.product-description").first();
        if (productDescriptionElement != null) {
            productInfo.put("商品描述", productDescriptionElement.text().trim());
        }

        return productInfo;
    }
}

创建 Jsoup 对象：传入 HTML 文本，构建解析树. Jsoup 提供了强大的选择器功能，可以方便地定位和提取 HTML 中的元素.
提取商品信息：通过定位 HTML 元素的选择器，提取商品名称、价格、图片和描述等信息，并存储到 Map 中. 选择器可以根据实际页面结构进行调整，以确保准确获取所需数据.

（三）整合爬虫流程

public class Main {

    public static void main(String[] args) {
        YiwugoCrawler crawler = new YiwugoCrawler();
        HtmlParser parser = new HtmlParser();

        String productId = "123456"; // 替换为实际商品 ID
        String html = crawler.sendRequest(productId);
        if (html != null) {
            Map<String, String> productInfo = parser.parseHtml(html);
            if (productInfo != null) {
                System.out.println("商品信息：");
                productInfo.forEach((key, value) -> System.out.println(key + ": " + value));
            } else {
                System.out.println("解析 HTML 失败");
            }
        } else {
            System.out.println("获取商品信息失败");
        }
    }
}

主函数：创建 YiwugoCrawler 和 HtmlParser 对象，调用 sendRequest() 获取 HTML，再调用 parseHtml() 解析 HTML，最后输出商品信息. 这个流程清晰地展示了从发送请求到获取数据的完整过程.

三、运行与数据处理

（一）运行爬虫

指定商品 ID：将 productId 替换为实际想要获取详情的商品 ID，如从 yiwugo 平台获取到的某个商品的 ID.
运行爬虫：在开发工具中运行 Main 类的 main 方法，爬虫会输出获取到的商品信息. 如果一切顺利，你将看到商品名称、价格、图片和描述等详细信息.

（二）数据存储

import java.io.FileWriter;
import java.io.IOException;
import java.util.Map;

public class DataSaver {

    public void saveToCsv(Map<String, String> productInfo, String filename) {
        try (FileWriter writer = new FileWriter(filename)) {
            // 写入表头
            writer.append("商品名称,商品价格,商品图片,商品描述\n");
            // 写入数据
            String productName = productInfo.get("商品名称");
            String productPrice = productInfo.get("商品价格");
            String productImages = productInfo.get("商品图片");
            String productDescription = productInfo.get("商品描述");
            writer.append(String.format("%s,%s,%s,%s\n", productName, productPrice, productImages, productDescription));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

保存到 CSV 文件：将商品信息 Map 转换为 CSV 格式，保存到文件中，方便后续数据分析和处理. 这样可以将爬取到的数据持久化存储，便于进行进一步的分析和利用.

四、注意事项与优化建议

（一）注意事项

遵守网站协议：在爬取 yiwugo 平台数据时，要遵守其服务协议和使用条款，不得对网站造成过大压力或影响正常用户访问. 爬虫的请求频率应适中，避免频繁请求导致服务器负载过高.
处理反爬虫机制：若遇到反爬虫机制，如请求被拦截、IP 被封等，可以尝试更换请求头、设置请求间隔、使用代理 IP 等方法应对. 需要不断调整和优化爬虫策略，以适应网站的反爬虫措施. 3.
通过以上步骤和方法，我们可以利用 Java 爬虫技术高效地从 yiwugo 根据商品 ID 获取详细信息，为商业决策和市场分析提供有力支持. 同时，也要注意合理使用爬虫，遵守法律法规和网站协议，保护数据安全和隐私.