python 为streamlit内容区域添加滚动条功能 python selenium滚动条

python + selenium + chrome 如何操作滚动条

1. 背景

• 在使用selenium模拟浏览器时，经常会需要下拉滚动条，一般是有两个目的：
• 拟人操作，突破精妙的反爬系统。
• 有些元素正常情况下不加载出来，需要拖动下拉条，才能慢慢加载出来，类似于淘宝这样的网站。

2. 环境

• python 3.6.1
• 系统：win7
• IDE：pycharm
• 安装过chrome浏览器
• 配置好chromedriver
• selenium 3.7.0

3. 操作方法

3.1. 拖动到指定元素位置。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select

import time
import random

# 加载xpath插件
chrome_options = webdriver.ChromeOptions()
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)

browser = webdriver.Chrome(chrome_options=chrome_options)
#browser.maximize_window()
wait = WebDriverWait(browser, 25)
waitPopWindow = WebDriverWait(browser, 25)

browser.get("https://www.amazon.com/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords=phone")

time.sleep(random.randrange(5, 10, 1))

# 找到 Next Page 按钮， 属于可见元素
# js代码有两种写法，但是对元素的要求不同，focus更为严格

# 第一种方法：focus
targetElem = browser.find_element_by_xpath("//a[@id='pagnNextLink']")
browser.execute_script("arguments[0].focus();", targetElem)

# 第二种方法：scrollIntoView
# targetElem = browser.find_element_by_xpath("//a[@id='pagnNextLink']/span[@id='pagnNextString']")
# browser.execute_script("arguments[0].scrollIntoView();", targetElem)    # 拖动到可见的元素去

print(f"结束拖动滚动条....")
time.sleep(random.randrange(5, 10, 1))
browser.quit()

3.2. 指定下拉距离

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select

import time
import random

# 加载xpath插件
chrome_options = webdriver.ChromeOptions()
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)

browser = webdriver.Chrome(chrome_options=chrome_options)
browser.maximize_window()
wait = WebDriverWait(browser, 25)
waitPopWindow = WebDriverWait(browser, 25)

browser.get("https://www.amazon.com/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords=phone")

time.sleep(random.randrange(5, 10, 1))
# 指定像素
jsCode = "var q=document.documentElement.scrollTop=100000"
browser.execute_script(jsCode)
print("拖动滑动条到底部...")

time.sleep(random.randrange(5, 10, 1))
browser.quit()

3.3. 发送tab键，移动到目标元素

• 可以发送tab键来切换页面按钮，达到下拉滚动条的目的。但是一定要注意的是，指定的元素一定要能被TAB键选中，像输入框，超链接，Button等。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select

import time
import random

# 加载xpath插件
chrome_options = webdriver.ChromeOptions()
extension_path = 'D:/extension/XPath-Helper_v2.0.2.crx'
chrome_options.add_extension(extension_path)

browser = webdriver.Chrome(chrome_options=chrome_options)
browser.maximize_window()
wait = WebDriverWait(browser, 25)
waitPopWindow = WebDriverWait(browser, 25)

browser.get("https://www.amazon.com/s/ref=nb_sb_noss_2?url=search-alias%3Daps&field-keywords=phone")

time.sleep(random.randrange(5, 10, 1))

# 找到 Next Page 按钮， 属于可见元素

# 指定元素是 超链接 ———— 可以用Tab键切换到
targetElem = browser.find_element_by_xpath("//a[@id='pagnNextLink']")

# 这个元素不是超链接，所以无法接收Tab键
# targetElem = browser.find_element_by_xpath("//a[@id='pagnNextLink']/span[@id='pagnNextString']")

targetElem.send_keys(Keys.TAB)

print(f"结束拖动滚动条....")
time.sleep(random.randrange(5, 10, 1))
browser.quit()

3.4. 注意事项：

• 将页面滚动条滑到底部
  self.driver.execute_script(“window.scrollTo(0,document.body.scrollHeight);”)
• 向下滑动滚动条，跳转到目标元素处
  self.driver.execute_script(“arguments[0].scrollIntoView();”, el)
• 向上滑动滚动条，跳转到目标元素处
  self.driver.execute_script(“arguments[0].scrollIntoView(false);”, el)
• arguments[0].scrollIntoView()，不能随意使用,会先把元素element对象的表格“顶端”移动到与当前窗口的“顶部”对齐，如果元素当前可见，可能移动后就不可见了，导致定位报错。因为会把元素顶端对齐窗口顶部，有时候也会出现跳转后，元素仍然不可见的情况。
• 如果是需要点击这个元素，可以直接使用js驱动的方式（直接点击不可见的目标元素，不再先跳转），如下：
  self.driver.execute_script(“arguments[0].click();”, el)