乐胖代购免代理版

使用 Scrapy 和 Splash 抓取 JavaScript 网站的完整指南

转载自：https://webscrapingsite.com/zh-CN/resources/scrapy-splash-tutorial/ 在过去的十年里，JavaScript 在网络上变得无处不在。现在越来越多的网站依靠 JavaScript 在客户端而不是服务器端动态呈现内容。这对网络爬虫提出了挑战。 Beautiful Soup 和 Scrapy 等传统工具只能抓取服务器提供的静态

scrapy

splash

javascript

转载 2024-02-21 17:54:27 400 阅读

Django Model更新不触发Signals的原因及解决办法

原文出处：https://xie.infoq.cn/article/3848c5f2e30afa7d0d2278bd6#:~:text=%E5%8E%9F%E5%9B%A0%20%E5%9B%A0%E4%B8%BA%E8%BF%99%E7%A7%8D%E5%BD%A2%E5%BC%8F%EF%BC%9AUser.objects.filter,%28id%3D1%29.update%20%28%2A

django

signals

转载 2023-11-07 10:13:53 336 阅读

一文看懂 YAML

转载自：https://zhuanlan.zhihu.com/p/145173920 前言 YAML 并不是一种新奇的语言，YAML 首次发表于 2001 年，距离现在已经过去差不多 20 个年头。YAML 虽然不如 JSON、XML 之类的语言流行，应用也没有那么广泛，但是 YAML 也有它的优势。互联网上的关于 YAML 的文章虽然不多，但也足以让人了解这一款语言，那我为什么还要写这一片入门

YAML

JSON

字符串

转载 2023-08-15 10:23:29 205 阅读

你常常看到的 init.py 到底是个啥？

转载自：https://zhuanlan.zhihu.com/p/130927618 当你去看一些 Python 相关的项目时，常常会看到 init.py，当你使用某些编辑器创建 Python Package 的时候，它也会自动给你生成一个 init.py 文件。这玩意有什么用呢？我们知道， Python 中的包是可以包含多个 py 模块的，我们可以在不同的地方通过包名区分使用这些模块。话不

Python

__init__

转载 2023-08-04 18:18:16 145 阅读

Linux无界面模式下使用selenium

转载自：https://blog.csdn.net/CHEndorid/article/details/114371213 1、创建虚拟环境 python3 -m venv /data/venv/chrome source /data/venv/chrome/bin/activate mkdir -p /data/pytest && cd /data/pytest 2、安装sele

chrome

selenium

linux

转载 2023-07-28 17:32:42 711 阅读

Python爬虫BeautifulSoup基础知识总结（附带实操案例）

转载自：https://zhuanlan.zhihu.com/p/181410680BeautifulSoup是一个可以从HTML或XML文件中提取数据的python库。它能同过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。需要注意的是，BeautifulSoup已经自动将输入文档转换为Unicode编码，输出文档转换为utf8编码。因此在使用它的时候不需要考虑编码方式，仅仅需要说明一下

爬虫

beautifulsoup

bs4

转载 2022-12-16 15:27:16 1439 阅读

Python3 爬虫教程 - aiohttp 的基本使用

文章来源:cuiqingcai.com，作者：崔庆才，版权归原作者所有，如需转载，请联系作者。原文链接：cuiqingcai.com/202272.html【摘要】在上一节中，我们介绍了异步爬虫的基本原理和asyncio的基本用法，并且在最后简单提及了使用aiohttp来实现网页爬取的过程。在本节中，我们来介绍一下aiohttp的常见用法。1.基本介绍前面介绍的asyncio模块内部实现...在上

aiohttp

async

异步爬虫

转载 2022-08-28 20:18:07 674 阅读 1点赞

Python3中如何删除字典中值为空的键值对

转载自：https://blog.csdn.net/wyounger/article/details/98943375问题：如有你有这样的一个字典数据，如下：Pythondata={'name':'Jack','mobile':'12345678911','address':'','ID':'',}123456data={'name':'Jack','mobile':'12345678911','

Python

空值

删除

字典

转载 2022-08-24 17:18:32 2891 阅读

Python3多进程multiprocessing模块的使用

转载自：https://blog.csdn.net/songhaixing2/article/details/113064606引入在进入多进程的学习之前,一定需要先了解一个应用程序是如何开启一个进程的,以及操作系统对进程是如何进行分配资源的,进程、线程、进程池、进程三态、同步、异步、并发、并行、串行的概念也要非常的明确,下面将介绍Python并发编程之多进程一.multiprocessing模块

multiprocessing

子进程

多进程

转载 2022-05-19 17:02:34 1053 阅读

你确定了解request如何接收数据吗？

转载自：https://zhuanlan.zhihu.com/p/158653107前后端分离开发是目前web开发最流行的方式之一，本文以pythonweb开发常用框架flask为例，讲解flask如何使用request来获取前端传输的各种类型数据。下面，文章针对不同的场景来展示requeset如何处理接收的数据。二种方式发送请求：linux:以CURL来发送API请求前端：http发送API请求

Python

requests

接收数据

转载 2022-05-10 18:15:54 614 阅读

Python的type和object之间到底是什么关系？

逛V2EX发现个问题：三年左右的Python后端,大概要能到什么样到水平才合格啊？下面的回复众说纷纭，但是有个问题比较新颖：描述一下type与object的关系，google了一下，加上一些自己的理解写到这里备忘（其实印象中以前在某本书上看过的，但是翻半天书没找到，伤身。。。还是google找知识效率）一、查看类型和父类要查看一个类型的父类，可以使用__bases__属性查看,要查看一个实例的类型

python

type

object

元类

metaclass

转载 2022-05-07 10:17:56 784 阅读

五个与Python属性相关的魔术方法

转载自：https://baijiahao.baidu.com/s?id=1709306538484066156&wfr=spider&for=pc前言今天要给大家介绍五个魔术方法，他们都与Python属性相关，涉及获取、删除和修改属性，我们一起来看看吧。__getattribute__方法我们先来定义一个简单的类，访问属性没问题。classUser:def__init__(self,name,s

Python

属性

魔术方法

转载 2022-05-05 11:32:31 560 阅读 1评论

asyncio异步编程，你搞懂了吗？

转载自：https://zhuanlan.zhihu.com/p/137057192同步视频教程：asyncio异步编程 - 网易云课堂协程 & 异步编程(asyncio)协程（Coroutine），也可以被称为微线程，是一种用户态内的上下文切换技术。简而言之，其实就是通过一个线程实现代码块相互切换执行。例如：def func1(): print(1) ...

Python

asyncio

异步编程

转载 2022-02-10 15:05:32 627 阅读

Python中的eval()、exec()及其相关函数

转载自：https://www.cnblogs.com/yyds/p/6276746.html刚好前些天有人提到eval()与exec()这两个函数，所以就翻了下Python的文档。这里就来简单说一下这两个函数以及与它们相关的几个函数，如globals()、locals()和compile()：1. eval函数函数的作用：计算指定表达式的值。也就是说它要执行的Python代码只能是单个运

python

eval

exec

转载 2022-01-23 03:17:00 514 阅读

Python_python四舍五入的正确姿势decimal

转载自：https://blog.csdn.net/weixin_36318548/article/details/112238356说起python中的四舍五入的问题，可能还有部分童鞋不太清楚，会说四舍五入有啥可说道的，round 大法走天下。如果你在金融，电商等相关领域有过开发经验的话，可能对我说的这个问题，有过深刻的理解，毕竟这个问题折磨的可不止python从业者。假设有这么一个场景

Python

round

decimal

转载 2021-12-24 17:53:09 1144 阅读

Python 中的 str 与 repr 到底有什么差别

转载自：https://baijiahao.baidu.com/s?id=1596817611604972751&wfr=spider&for=pc很多时候我们自己编写一个类，在将它的实例在终端上打印或查看的时候，我们往往会看到一个不太满意的结果。类默认转化的字符串基本没有我们想要的一些东西，仅仅包含了类的名称以及实例的 ID （理解为 Python 对象的内存地址即可）。虽说这总

python

__str__

__repr__

转载 2020-12-30 10:31:51 495 阅读

python xlwt模块写入excel超过65536行报错问题解决方法

转载自：https://blog.csdn.net/levy_cui/article/details/86590614接此篇文章：python将txt文件转为excel格式上篇文章中将内容写到excel中使用import xlwt包，后来发现文件写入超过65536行的时候就会报错，无法转换成功，xls后缀文件，只支持这么多行，在网上搜索一下，解决方法可以写多个sheet页，但不是我想要的方式，后来

xlwt

openpyxl

excel

转载 2020-09-01 14:07:09 2580 阅读

Python Fire指南

转载自：https://blog.csdn.net/qq_17550379/article/details/799437400x00 简介欢迎来到Python Fire指南！ Python Fire是一个Python库，只需对Fire进行一次调用即可将任何Python组件转变为命令行界面。让我们开始吧！0x01 安装从pypi安装Python Fire，请运行：pip install fire1或

python

fire

转载 2020-06-12 17:12:05 1341 阅读

Python目录结构建议

转载自：https://zhuanlan.zhihu.com/p/58858217另一篇参考文章，建议一起阅读，Python目录结构规范：https://www.cnblogs.com/endust/p/12304074.html在我们团队，我们看到用python写代码的同学，他们的项目目录结构都非常乱，五花八门，每个同学都是随意的按照自己的喜好来创建文件夹，源码散落在这个文件夹中，很难看出代码的

Python

目录结构

转载 2020-04-20 17:06:56 3726 阅读

如何保护你的 Python 代码（二）—— 定制 Python 解释器

转载自：Prodesire博客0 前言考虑前文所述的几个方案，均是从源码的加工入手，或多或少都有些不足。假设我们从解释器的改造入手，会不会能够更好的保护代码呢？由于发行商业 Python 程序到客户环境时通常会包含一个 Python 解释器，如果改造解释器能解决源码保护的问题，那么也是可选的一条路。假定我们有一个算法，能够加密原始的 Python 代码，这些加密后代码随发行程序一起，可被任何人看到

Python

加密

代码加密

转载 2020-03-21 21:38:57 1755 阅读

如何保护你的 Python 代码（一）—— 现有加密方案

转载自：Prodesire博客0 前言去年11月在PyCon China 2018 杭州站分享了 Python 源码加密，讲述了如何通过修改 Python 解释器达到加解密 Python 代码的目的。然而因为笔者拖延症发作，一直没有及时整理成文字版，现在终于战胜了它，才有了本文。本系列将首先介绍下现有源码加密方案的思路、方法、优点与不足，进而介绍如何通过定制 Python 解释器来达到更好地加解密

python

加密

代码加密

转载 2020-03-21 21:35:26 2858 阅读

Python 中关于 round 函数的小坑

这个一直都想写，但是因为这个点比较小，所以一直懒得动手。不过还是补上吧，留着早晚是个祸害。round函数很简单，对浮点数进行近似取值，保留几位小数。比如:>>> round(10.0/3, 2)3.33>>> round(20/7)3第一个参数是一个浮点数，第二个参数是保留的小数位数，可选，如果不写的话默认保留到整数。这么简单的函数，能有什么坑呢？1、round

Python

round

小坑

转载 2020-01-06 02:03:43 729 阅读

Python中的GIL详解

原文出处：https://www.cnblogs.com/SuKiWX/p/8804974.htmlGIL是什么首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样

GIL

转载 2019-12-09 16:11:23 686 阅读

Python3：csv的读写

python

csv

转载 2019-08-12 10:51:07 6073 阅读

Python format 格式化函数

转载自：https://www.runoob.com/python/att-string-format.htmlPython2.6 开始，新增了一种格式化字符串的函数 str.format()，它增强了字符串格式化的功能。基本语法是通过 {} 和 : 来代替以前的 % 。format 函数可以接受不限个参数，位置可以不按顺序。实例>>>"{} {}".format("hello"

Python

格式化

format

转载 2019-06-28 17:49:21 1096 阅读

定时任务框架APScheduler学习详解

转载自：https://www.cnblogs.com/luxiaojun/p/6567132.htmlAPScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这

Python

定时任务

APScheduler

转载 2019-06-16 23:17:38 3621 阅读

详解Python的装饰器

详解Python的装饰器Python中的装饰器是你进入Python大门的一道坎，不管你跨不跨过去它都在那里。为什么需要装饰器我们假设你的程序实现了say_hello()和say_goodbye()两个函数。def say_hello(): print "hello!" &nb

Python

装饰器

转载 2019-04-04 02:04:38 527 阅读

Python的复制、浅拷贝和深拷贝的区别

转载自：https://www.cnblogs.com/xueli/p/4952063.html 在python中，对象赋值实际上是对象的引用。当创建一个对象，然后把它赋给另一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用一般有三种方法，alist=[1,2,3,["a","b"]] （1）直接赋值,默认浅拷贝传递对象的引

python

深浅拷贝

转载 2019-03-25 01:27:14 1302 阅读

Python 一篇学会多线程

原文出处：https://www.cnblogs.com/yeayee/p/4952022.html 多线程和多进程是什么自行google补脑，廖雪峰官网也有，但是不够简洁，有点晕，所以就整个简单的范例。　　对于python 多线程的理解，我花了很长时间，搜索的大部份文章都不够通俗易懂。所以，这里力图用简单的例子，让你对多线程有个初步的认识。单线程　　在好些年前的

python

多线程

threading

转载 2019-02-20 16:48:26 1130 阅读

为什么Python有相同的不可变对象id不同？

测试环境Python 2.7.3 & python 3.6小一点int类型相等 s = 1 r = 1 # id(s) == id(r) true 大一点的int类型就不一样了？ s = 1111111111 r = 11111111111 # id(s) ！= id(r) 所有测试的float类型都不相等 s = 1.

不可变对象

id不同

转载 2018-04-26 12:25:10 1664 阅读 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

每天进步一点

使用 Scrapy 和 Splash 抓取 JavaScript 网站的完整指南

Django Model更新不触发Signals的原因及解决办法

一文看懂 YAML

你常常看到的 init.py 到底是个啥？

Linux无界面模式下使用selenium

Python爬虫BeautifulSoup基础知识总结（附带实操案例）

Python3 爬虫教程 - aiohttp 的基本使用

Python3中如何删除字典中值为空的键值对

Python3多进程multiprocessing模块的使用

你确定了解request如何接收数据吗？

Python的type和object之间到底是什么关系？

五个与Python属性相关的魔术方法

asyncio异步编程，你搞懂了吗？

Python中的eval()、exec()及其相关函数

Python_python四舍五入的正确姿势decimal

Python 中的 str 与 repr 到底有什么差别

python xlwt模块写入excel超过65536行报错问题解决方法

Python Fire指南

Python目录结构建议

如何保护你的 Python 代码（二）—— 定制 Python 解释器

如何保护你的 Python 代码（一）—— 现有加密方案

Python 中关于 round 函数的小坑

Python中的GIL详解

Python3：csv的读写

Python format 格式化函数

定时任务框架APScheduler学习详解

详解Python的装饰器

Python的复制、浅拷贝和深拷贝的区别

Python 一篇学会多线程

为什么Python有相同的不可变对象id不同？

欢迎