python 实现去水印 python去水印爬视频

 

正文

环境使用

Python 3.8
Pycharm
谷歌浏览器
谷歌驱动

安装教程可以私信找我获取 ~

模块使用:

requests >>> pip install requests
re
json 用来转换数据类型 序列化和反序列化模块
selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动>

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests)
   回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

按照常规基本思路流程: <模板, 可以套用>

批量采集shipin —> 由浅到深 采集一个shipin 采集多个

一. 数据来源分析 <shipin内容>

通过开发者工具抓包分析, shipin url地址来自于哪里, shipin标题在什么地方

1. F12打开开发者工具, 或者 鼠标右键点击检查选择network <在网页 在浏览器上面进行操作>
2. 点击刷新 网页, 让本网页相关数据内容, 重新加载一遍 <相对应 相关数据包 数据内容 就展示出来>
3. 找shipin链接在哪里 ----> 常规找shipinurl地址 是 media 里面
4. 找shipin url 来源, 出处 —> 通过在开发者工具关键字搜索 可以找到我们想要的数据在哪里, 只是说
   找到数据是进行编码,到时候写代码的时候 进行解码就Ok了

二. 代码实现步骤

发送请求, 模拟浏览器对于 网址 发送请求
获取数据, 获取response响应数据
解析数据, 提取我们想要shipin url地址 和 shipin标题
保存数据, 把shipin内容保存到本地

代码

需要源码的私信我

"""
selenium ---> 使用驱动 ---> 控制浏览器
    模拟人的行为去操作浏览器
"""
# 打开浏览器
driver = webdriver.Chrome()
# 访问网站
driver.get('https://www..com/user/MS4wLjABAAAA0ihE2gYz13hwfPpxiZz50L7QM761qG-m28wj-oyWJTMqEJh5TR92GIJI7r-FW-8n')
# 等待
driver.implicitly_wait(10)

def drop_down():
    """执行页面滚动的操作"""  # javascript
    for x in range(1, 10, 2):  # 1 3 5 7 9  在你不断的下拉过程中, 页面高度也会变的
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定滚动条的位置
        # document.documentElement.scrollHeight 获取浏览器页面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)