今天摸鱼（划掉）看道一个问题蛮有意思的，想来展开说说：别急，解决办法是有的。1.这个错误很可能是因为你正在尝试读取一个 JSON 格式的响应，但是实际返回的却是 HTML 格式的响应。我们检查一下我们的请求是否正确，并且确保请求的 URL 返回的是 JSON 格式的数据。如果确认请求 URL 返回的
原创
2023-04-08 17:12:42
683阅读
# Python SSL爬虫实现指南
## 1. 简介
在本篇文章中，我将向你介绍如何使用Python编写一个SSL爬虫。SSL（Secure Sockets Layer）是一种用于加密网络通信的安全协议，它可以确保你的爬虫在与网站进行数据交换时的安全性。
## 2. 流程图
以下是该SSL爬虫的主要流程图：
```mermaid
flowchart TD
A[开始] --> B[建立SSL
原创
2023-11-17 18:07:15
52阅读
1、环境搭建通过python代码模拟js去生成加密数据完成数据，需要用到PyExecJS模块 ①安装模块pip install pyexecjs通过模块的方法来读取js代码，也可以用js2py(不更新维护了)、selenium(driver.wxecute_script(js代码))去执行js文件，这里以pyexecjs为例 ②python调用js代码的时候需要nodejs的环境(安装步骤如下
转载
2023-08-06 16:57:27
68阅读
验证码识别：验证码反爬机制：识别验证验证码图片中的数据，用于模拟登录操作识别验证码的操作(反反爬)：-人工肉眼识别(不推荐)
-第三方自动识别
-云打码(http://www.yundama.com/demo.html)(验证码类型全，但是要钱)1.云打码的使用步骤1.注册：普通和开发者用户
2.登录：
--普通用户：查查还有没有分
--开发者用户：
--创建一个软件(我的软件--&g
用python爬虫抓站的一些技巧总结 zz 学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写google music的抓取脚本的，结果有了强大的gmbox，也就不用写了。 这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simp
转载
2023-12-26 23:04:21
38阅读
1. 问题描述最近因为项目中的一个模块升级，使用python的版本需要从python2.7升级到python3.7.4. 由于模块中需要用到RabbitMQ, 以及requests等模块，因此需要python支持ssl。之前我的电脑系统是Ubuntu 14.04, python是2.7。由于python需要升级，因此我下载了Python3.7.4源码，并且按照博客(https://te
成功解决（Python爬虫requests库报错 请求异常，SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool(host=‘httpbin.org’, port=443): Max retries exceeded with url: /get (Caused by SSLError(SSLError(1, ‘[SSL:
转载
2023-12-21 10:16:20
830阅读
Cookie和Session前言cookie 和 session 的由来CookieCookie 属性Cookie 创建Cookie 分类SessionSession 工作原理创建 Session保存 Session销毁 Session检查Session 是否失效总结 Cookie Session相同点：不同点：工作流程：很多人学习python，不知道从何学起。 很多人学习python，掌握了基本
转载
2023-10-26 13:30:58
71阅读
关于爬虫程序的418+403报错。1.按F12打开“开发者调试页面“如下图所示：按步骤，选中Network，找到使用的接口，获取到浏览器访问的信息。我们需要把自己的python程序，伪装成浏览器。 第一个user—agent第二个就是cookie信息（简单理解就是我们的登陆信息。）1.在head信息加入 user—agent可以模拟浏览器访问不加此信息，会报418
转载
2023-06-28 01:56:32
289阅读
现在才发现很多错误只有自己一点点的去尝试才能发现。不管之前别人怎么和你说，总是不可能面面俱到，所以提升自己的方法就是亲手实践，自己一点点的去发现问题，并一个个的解决。慢慢享受其中无言的快感。今天就发现了一个：运行爬虫时出现了这个错误：UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position
转载
2017-10-16 22:54:00
79阅读
之前处理过很多ThreadX平台及安卓平台上的SSL问题。 SSL问题几乎都和握手失败有关，大致分为四种:1.客户端没有与服务器相匹配的加密套件，以及SSL版本不匹配。2.SSL证书错误。3.网络链路问题。4.其他问题。 这时使用wireshark抓取网络报文就显得很重要了，下面列出的是使用PC模拟以上问题情况的报文:
转载
2023-10-10 08:52:03
794阅读
前置描述: 根据以往的抓包经验设置了ios后，（如 fiddler设置https，ios安装证书设置信任证书等），前面两天还能正常抓取的，但是再今天使用时突然就无法抓包了，且做了代理之后也无法上网了。解决步骤:想着可能是电脑端的证书可能出错了，导致ios手机下载的证书无法使用，所以先把所有生成的证书删掉。（1）将之前生成的证书删除 ，我的是win10； 
转载
2023-11-28 11:05:51
292阅读
这个问题是由于网页重定向导致的。1、如果重定向是正常流程，可以在网上搜 重定向之后重新获取新页面的办法2.如果是非正常流程（浏览器可以正常打开，但是Python 跑的时候报错）那说明是 浏览器 模拟得 不到位解决办法 参考 https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forb
转载
2023-06-28 01:49:33
500阅读
一、Gecco github地址：https://github.com/xtuhcy/geccoGecco是一款用java语言开发的轻量化的易用的网络爬虫。整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等框架，只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关
转载
2023-10-31 15:45:42
40阅读
mongodb mysql redis的区别和使用场景mysql是关系型数据库，支持事物mongodb，redis非关系型数据库，不支持事物mysql，mongodb，redis的使用根据如何方便进行选择希望速度快的时候，选择mongodb或者是redis数据量过大的时候，选择频繁使用的数据存入redis，其他的存入mongodbmongodb不用提前建表建数据库，使用方便，字段数量不确定的时候使
# 如何处理 Android SSL 错误
在 Android 开发中，SSL（Secure Sockets Layer）错误是一种常见的问题。此错误通常与 HTTPS 连接有关，涉及证书验证失败、证书过期、域名不匹配等情况。为了帮助刚入行的小白开发者解决此问题，本文将详细讲解处理 Android SSL 错误的步骤。
## 算法流程
在处理 Android SSL 错误时，我们大致可以将其
报错：库的依赖包ImportError: Missing optional dependency 'lxml'ImportError: Missing optional dependency 'openpyxl'解决方法：当使用pandas处理数据保存到excel表格时，出现了一系列包缺失的错误。 其中lxml是为了解析html文本，虽然前面已经用了bs4库解析了，但是到这里还是要提示装
一.什么是爬虫请求网站并提取数据的自动化程序。请求：我们打开浏览器输入关键词敲击回车，这就叫做是请求。我们做的爬虫就是模拟浏览器进行对服务器发送请求，然后获取这些网络资源。提取：我们得到这些网络资源都是一些HTML代码，或者是一些文本文字。我们下一步做的工作就是在这些数据中提取出我们想要的东西。比如一个手机号。存在数据库或者文档里面。自动化：程序就能代替人工不停的大量的进行提取数据。二：爬虫的基本
# Python爬虫跳过错误的实现
## 概述
在使用Python编写爬虫时，经常会遇到一些错误，如请求超时、网页不存在等。遇到这些错误，如果程序直接停止运行，可能会导致数据采集不完整或者中断。为了避免这种情况，我们可以通过跳过错误的方式继续执行爬虫。
本文将指导刚入行的小白开发者如何实现Python爬虫跳过错误的功能。首先，我们将介绍实现的流程，然后详细说明每个步骤应该做什么，并给出相应的代
原创
2023-09-15 11:49:23
497阅读
每个程序都不可避免地要进行异常处理，爬虫也不例外，假如不进行异常处理，可能导致爬虫程序直接崩掉。以下是网络爬虫出现的异常种类。 URLError 通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。 HTTPError 首先我们要明白服务器上每一个HTTP 应答对象response都包含一个数字“状态码”，该状态码表示HTTP协议所返回的响应的状
