python selenium 被检测

原创

mob649e816880fe 2024-10-17 11:33:05 ©著作权

文章标签 Selenium User chrome 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e816880fe的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python Selenium 被检测的解决方案

在网络自动化测试中，Selenium 是一个强大的工具。然而，许多网站为了防止爬虫行为，采用了一些检测机制。当 Selenium 被检测到时，可能会导致自动化脚本失效。因此，了解如何解决这个问题显得尤为重要。

什么是 Selenium 检测？

网站可以通过多种方式检测 Selenium。常见的方法包括检查 User-Agent、WebDriver 属性、浏览器行为等。当网站识别出请求者是自动化脚本时，可能会关闭访问或限制某些功能。

解决方案

解决 Selenium 被检测的问题，通常需要对浏览器的设置进行修改。下面是一些常用的策略：

设置 User-Agent：伪装成正常浏览器。
禁用 WebDriver 属性：有些网站会检查 navigator.webdriver 属性。
浏览器选项：开启无头模式、禁用扩展程序等。
添加随机停顿：模拟人类用户的操作。

流程图

以下是解决 Selenium 被检测的基本流程图：

flowchart TD
    A[开始] --> B{是否被检测}
    B -- 是 --> C[设置 User-Agent]
    B -- 否 --> D[继续执行]
    C --> E[禁用 WebDriver 属性]
    E --> F[添加随机停顿]
    F --> D
    D --> G[结束]

代码示例

下面是一个设置 User-Agent 和禁用 WebDriver 属性的代码示例：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

# 设置 Chrome 选项
options = Options()
options.add_argument("--headless")  # 无头模式
options.add_argument("start-maximized")
options.add_argument("disable-infobars")
options.add_argument("--disable-extensions")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

# 创建 WebDriver
service = Service('path/to/chromedriver')
driver = webdriver.Chrome(service=service, options=options)

# 禁用 WebDriver 属性
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

# 打开网页
driver.get("
print(driver.title)

# 关闭浏览器
driver.quit()

如何避免被检测

在防止被检测的过程中，应尽量模拟真实用户的行为。可以考虑以下策略：

随机化访问时间：在操作之间添加随机时间延迟，模拟真实用户的使用习惯。
随机化窗口大小：改变浏览器窗口大小，使得行为更具人性化。
使用代理：通过代理服务器隐藏真实 IP。

旅行图

以下是使用 Selenium 的一次典型旅行图，展示了浏览器的使用过程：

journey
    title Selenium 自动化测试旅行
    section 启动浏览器
      设置选项: 5: 用户
      启动浏览器: 4: 用户
    section 访问网页
      访问目标网站: 4: 用户
      检查页面标题: 4: 用户
    section 关闭浏览器
      关闭浏览器: 5: 用户