从今天开始每天会更新关于爬虫教程,更新完毕后整合所有教程。
1.Selenium 是一种开源工具,用于在 Web 浏览器上执行自动化测试(使用任何 Web 浏览器进行 Web 应用程序测试)。使用selenium进行爬虫,自动化打开网页浏览网页,还可以进行购物抢购。
安装selenium库,按住wen+r打开命令框
在命令框输入cmd,
输入pip install selenium,下载其他模块也是同理pip install ***
下载完成后即可,在使用pip安装的时候,一些小一点的还好,安装一些大的包的时候,会非常的慢,这时我们就可以使用清华大学的镜像来安装
pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple
2.下载selenium的驱动器
- Firefox 浏览器驱动:Firefox
- Chrome 浏览器驱动:Chrome
- IE 浏览器驱动:IE
- Edge 浏览器驱动:Edge
- PhantomJS 浏览器驱动:PhantomJS
- Opera 浏览器驱动:Opera
这里是不同驱动器的下载地址,常用以charm为例
1.查看你的chrome的浏览器版本chrome版本链接
打开浏览器后,我们点击地址栏右侧的设置按钮,选择关于Google Chrome,打开帮助页面。
在帮助页面,我们可以看到Chrome的版本的信息。
在列表中,我们发现chrome://version的链接选项。
在地址栏中输入chrome://help也能访问帮助页面,查看版本信息。
2.打开驱动器的下载链接,根据你的浏览器版本信息下载驱动器,一般下载和浏览器版本差不多的就可以了,这里我下载的是106.0.5249.21版本。
3.将下载的exe文件放到python的安装目录,并设置环境变量
右键我的电脑打开属性,选择高级系统设置(这里我用win11)
打开高级系统设置选择环境变量,在系统变量中找到Path进行编辑
在编辑环境变量中,预览选中你保存的.exe文件。
添加的时候要注意不要把 path 变量给覆盖了,如果覆盖了千万别关机,去百度该怎么办。
3.打开编辑器,输入以下代码进行测试
from selenium import webdriver #导入selenium包
driver = webdriver.Chrome() # Chrome浏览器
driver.get("http://www.baidu.com") # 打开url网页 比如 driver.get#("http://www.baidu.com"
# 休眠3秒
sleep(3)
# 关闭浏览器驱动对象
driver.quit()
好了,以上就是selenium库的安装与检验,如果有什么问题可以私聊我
后面会持续更新关于爬虫的教学教程