乐胖代购免代理版

redis连接池优化

问题来源最近项目中用到tornado + mongodb + redis，之前写爬虫的时候用到过redis-py感觉简单容易上手，结合tornado使用就出现了连接池中连接失效重连耗时太久的问题。代码例子如下：import timeimport redisredis_setting = dict( host='127.0.0.1',)db = redis.Redis(connection_p

redis

连接池

优化

转载 2019-11-03 20:15:27 4909 阅读 1点赞 1收藏

（爬虫预热）01 Requests模块

一、Requests模块的作用。Requests的左右就是充当http的客户端，向服务端发送http请求，然后获得对应的响应头和响应体。二、包含的请求方式。#请求方式:#requests.post()#requests.get()#requests.delete()#requests.head()#requests.options()三、基本用法。response=requests.get("ht

Requests

模块

原创 2019-02-13 12:24:06 1484 阅读 2点赞

13.Django之数据库models&orm连表操作补充以及其他知识点补充（二）

一.外键关联。假如说，现在有两张表，一张user表，这个表中存放了用户账户信息，还有一张usertype表，这张表存放了用户账户的类型。fromdjango.dbimportmodelsclassUserType(models.Model):#用户类型表,虽然没有创建ID字段，但是ID字段会自动创建。type=models.CharField(max_length=32)classUser(mo

django

orm

python

原创 2018-01-30 21:44:24 3075 阅读

14.Django之操作cookie

一、cookie简介1.cookie就是保存在浏览器端的键值对。2.服务端可以去编写存放在浏览器端的cookie。3.客户端每次访问服务器请求的时候，都会携带cookie到服务端。4.cookie会被放在请求头二、如何在django中操作cookie？1.从request请求对象中的cookie里通过指定的key来获取相应的值。test=request.COOKIES.get('key1')#获取

cookie

python

http

原创 2018-01-21 21:32:21 6275 阅读

13.Django之数据库models&orm初探（一）

一、使用djangoorm的准备操作。django默认支持sqlite，mysql,oracle,postgresql数据库。在默认情况下django的项目中会默认使用sqlite数据库，在打开settings里有如下设置：当我们想改为mysql数据库时，需要在settings.py中做以下修改。DATABASES={'default':{'ENGINE':'

django

orm

python

原创 2018-01-18 22:27:42 1868 阅读

13.Django之模板初探（一）

一、关于django模板的构成。django模板是由HTML代码＋逻辑控制代码构成的。二、关于django模板的基本语法。1.关于模板中的Template和Context对象，以及如何将python中的字符串列表等数据类型传递给模板的变量中。首先，执行python3manange.pyshell(进入该django项目的环境)fromdjango.templateimportContext,Tem

django

模板

原创 2017-11-28 13:26:33 3711 阅读

13.Django之view初探视图函数（一）

一、什么是视图函数？Django框架中的视图函数其实就是个普通的python函数，这个函数可以接收web请求，并且返回web响应。视图函数响应给客户端浏览器的内容，可以是一个html文档，还可以是一个重定向，还可以是一张图片，还可以是一个重定向......无论视图函数中包含什么样的逻辑，都需要返回web响应。一般情况下，我们喜欢把视图函数放在views.py这个文件中。二、初识视图函数的执行流程与

python

django

view

视图

原创 2017-11-26 14:22:23 2070 阅读

13.Django之url路由系统初探（一）

一、什么是django中的url路由系统？django中的url路由系统的本质就是简历某个URL与某个视图（view）函数的对应（映射表）关系表，用下面这种特定的方式来告诉django这个web框架，哪个url可以去调用哪段python代码。urls.pyurlpatterns=[url(正则表达式,views视图函数，参数，别名),]正则表达式：一个用来表示正则表达式的字符串。views视图函数

python

django

urls

url

原创 2017-11-25 14:06:01 1710 阅读 1点赞

13.django入门01（django入门初探视图，模板，路由）

一、django的基本使用流程。pip install django #安装django创建一个project： django-admin startproject mysite---mysite ---settings.py ---url.py&nbs

python

django

原创 2017-06-15 21:51:11 779 阅读

13.python中web框架概念的引入。

一、什么是web框架？框架，就是一个为解决一个开放性问题而设计的具有一定约束性的支撑结构，使用框架可以帮你快速开发特定的系统，简单地说，就是你用别人搭建好的舞台来做表演。对于所有的Web应用，本质上其实就是一个socket服务端，用户的浏览器其实就是一个socket客户端。最简单的Web应用就是先把HTML用文件保存好，用一个现成的HTTP服务器软件，接收用户请求，从文件

web

框架

python

原创 2017-06-12 21:04:44 1086 阅读

12.python之pymsql模块

一、pymysql模块的简介。pymysql是python3.x版本用来操作mysql数据库的一个模块，其实和python2.7中的MySQLdb模块的作用和操作语法都是一模一样的。可以通过pip来进行安装：pip3.5 install pymysqlpymysql这种数据库接口的使用，大概分为4个步骤：执行连接数据库->执行query->提取数据->关闭连接在使用pymysql

mysql

py

原创 2017-06-11 09:14:37 2146 阅读

11.python并发入门（part15 关于I/O多路复用）

一、为什么要产生I/O多路复用？两个主机之间通信，主机A和主机B都需要开启socket，主机A首先要等待客户端来进行连接，这是会发起一个recvfrom的系统调用，如果主机B一直没有去连接主机A，没有给主机A发送任何数据，进程就会被阻塞，无法去做其他的事情（默认的阻塞I/O模型），一直阻塞到主机B去连接主机A，主机A收到了这个连接。其实这种模式在单服务器，单客户端（两台主机之间单独通信）没有什么问

python

select

poll

原创 2017-05-22 11:37:53 1015 阅读

11.python并发入门（part14阻塞I/O与非阻塞I/O，以及引入I/O多路复用）

一、初步了解什么是I/O模型。1.回顾，用户态与内核态。操作系统位于应用程序和硬件之间，本质上是一个软件，它由内核以及系统调用组成。内核：用于运行于内核态，主要作用是管理硬件资源。系统调用：运行与用户态，为应用程序提供系统调用的接口。操作系统的核心，就是内核，内核具有访问底层硬件设备的权限，为了保证用户无法直接对内核进行操作，并且保证内核的安全，所以就划分了用户空间和内核空间。2.回顾进程切换。如

模型

python

多路复用

原创 2017-05-19 08:43:08 2166 阅读

11.python并发入门（part13 了解事件驱动模型））

一、事件驱动模型的引入。在引入事件驱动模型之前，首先来回顾一下传统的流水线式编程。开始--->代码块A--->代码块B--->代码块C--->代码块D--->......--->结束每一个代码块里是完成各种各样事情的代码，但编程者知道代码块A,B,C,D...的执行顺序，唯一能够改变这个流程的是数据。输入不同的数据，根据条件语句判断，流程或许就改为A--->

驱动

事件

原创 2017-05-17 18:07:46 1662 阅读

11.python并发入门（part12 初识协程）

一、协程的简介。协程，又被称为微线程，虽然是单进程，单线程，但是在某种情况下，在python中的协程执行效率会优于多线程。这是因为协程之间的切换和线程的切换是完全不一样的！协程的切换是由程序自身控制的（程序的开发者使用yield去进行控制，协程和协程之间的切换是可控制的，想什么时候切换就什么时候切换）。当使用多线程时，开的线程越多，协程的优势就越明显。协程的另一个优点，就是无需锁机制，因为协程只有

python

协程

原创 2017-05-17 10:26:27 738 阅读

11.python并发入门（part11 进程同步锁，以及进程池，以及callback的概念）

一、关于进程锁。其实关于进程锁没啥好讲的了，作用跟线程的互斥锁（又叫全局锁也叫同步锁）作用几乎是一样的。都是用来给公共资源上锁，进行数据保护的。当一个进程想去操作一个公共资源，它就可以给公共资源进程“上锁”的操作，其他进程如果也想去访问或者操作这个公共资源，那么其他的进程只能阻塞，等待刚刚的进程把锁释放，下一个进程才可以对这个公共资源进行操作。下面是个关于进程锁的使用示范：#!/usr/local

python

Lock

进程锁

原创 2017-05-16 09:35:54 2464 阅读 1收藏

11.python并发入门（part10 多进程之间实现通信，以及进程之间的数据共享）

一、进程队列。多个进程去操作一个队列中的数据，外观上看起来一个进程队列，只是一个队列而已，单实际上，你开了多少个进程，这些进程一旦去使用这个队列，那么这个队列就会被复制多少份。（队列=管道+锁）这么做的主要原因就是，不同进程之间的数据是无法共享的。下面是使用进程队列使多进程之间互相通信的示例：下面这个例子，就是往进程队列里面put内容。#!/usr/local/bin/python2.7# -*-

manager

python

数据共享

原创 2017-05-15 16:12:10 10000+阅读

11.python并发入门（part9 多进程模块multiprocessing基本用法）

一、回顾多继承的概念。由于GIL（全局解释器锁）的存在，在python中无法实现真正的多线程（一个进程里的多个线程无法在cpu上并行执行），如果想充分的利用cpu的资源，在python中需要使用进程。二、multiprocessing模块的简介。multiprocessing是python中用来管理多进程的包，与threading用法非常类似，它主要使用multiprocessing.Proces

python

多进程

multiprocessing

原创 2017-05-14 21:40:46 5694 阅读

11.python并发入门（part8 基于线程队列实现生产者消费者模型）

一、什么是生产者消费者模型？生产者就是生产数据的线程，消费者指的就是消费数据的线程。在多线程开发过程中，生产者的速度比消费者的速度快，那么生产者就必须等待消费者把数据处理完，生产者才会产生新的数据，相对的，如果消费者处理数据的速度大于生产者，那么消费者就必须等待生产者。为了解决这种问题，就有了生产者消费者模型。生产者与消费者模型，是通过一个容器，来解决生产者和消费者之间的耦合性问题，生产者和消费者

线程

python

队列

原创 2017-05-14 17:20:08 683 阅读

11.python并发入门（part7 线程队列）

一、为什么要用队列？队列是一种数据结构，数据结构是一种存放数据的容器，和列表，元祖，字典一样，这些都属于数据结构。队列可以做的事情，列表都可以做，但是为什么我们还要去使用队列呢？这是因为在多线程的情况下，列表是一种不安全的数据结构。为什么不安全？可以看下面这个例子：#开启两个线程，这两个线程并发从列表中移除一个元素。import threadingimport timel1 = [1,2,3,4,

线程

python

队列

原创 2017-05-14 14:55:12 2261 阅读

11.python并发入门（part6 Semaphore信号量）

一、什么是信号量。信号量也是一种锁。信号量的主要用途是用来控制线程的并发量的，BoundedSemaphore或Semaphore管理一个内置的计数器，每调用一次acquire()方法时，计数器-1，每调用一次release()方法时，内部计数器+1。不过需要注意的是，Semaphore内部的计数器不能小于0！当它内部的计数器等于0的时候，这个线程会被锁定，进入阻塞状态，直到其他线程去调用rele

python

Semaphore

信号量

原创 2017-05-14 12:45:28 6441 阅读

11.python并发入门（part5 event对象）

一、引入event。每个线程，都是一个独立运行的个体，并且每个线程的运行状态是无法预测的。如果一个程序中有很多个线程，程序的其他线程需要判断某个线程的运行状态，来确定自己下一步要执行哪些操作。threading模块中的event对象恰好能做到这一点，event对象包含了一个可以通过线程设置的一个信号标志位，它允许线程一直等待某些事件的发生。在初始化默认的情况下，event对象中的信号标识被设置为“

event

python

原创 2017-05-14 10:03:48 769 阅读

11.python并发入门（part4 死锁与递归锁）

一、关于死锁。死锁，就是当多个进程或者线程在执行的过程中，因争夺共享资源而造成的一种互相等待的现象，一旦产生了死锁，不加人工处理，程序会一直等待下去，这也被称为死锁进程。下面是一个产生“死锁”现象的例子：import threadingimport timelock_a = threading.Lock()lock_b = threading.Lock()class test_thread(thr

线程

python

Lock

原创 2017-05-13 23:07:24 1578 阅读 1收藏

11.python并发入门（part3 多线程与互斥锁）

一、锁的概念。锁，通常被用来实现共享数据的访问，为每一个共享的数据，创建一个Lock对象（一把锁），当需要访问这个共享的资源时，可以调用acquire方法来获取一个锁的对象，当共享资源访问结束后，在调用release方法去解锁。二、python中的互斥锁。在介绍互斥锁之前，先来一起看一个例子。（每个线程对num实现一次-1的操作）import threadingimport timen

线程

python

lock

原创 2017-05-12 11:44:33 1794 阅读

11.python并发入门（part2 threading模块的基本使用）

一、在使用python多线程之前，你需要知道的。python的多线程中，实现并发是没有问题的，但是！！是无法实现真正的并行的。这是因为python内部有个GIL锁（全局解释器锁），这个锁限制了在同一时刻，同一个进程中，只能有一个线程被运行！！！二、threading模块的基本使用方法。可以使用它来创建线程。有两种方式来创建线程。1、通过继承Thread类，重写它的run方法。2、创建一个threa

多线程

python

treading

原创 2017-05-12 08:58:51 974 阅读

11.python并发入门（part1 初识进程与线程，并发，并行，同步，异步）

一、什么是进程？在说什么是进程之前，需要先插入一个进程切换的概念！进程，可以理解为一个正在运行的程序。现在考虑一个场景，假如有两个程序A和B，程序A在执行到一半的过程中，需要读取大量的数据输入（I/O操作），而此时CPU只能静静地等待任务A读取完数据才能继续执行，这样就白白浪费了CPU资源。你是不是已经想到在程序A读取数据的过程中，让程序B去执行，当程序A读取完数据之后，让程序B暂停。这当然没问题

进程

线程

同步

原创 2017-05-10 10:16:30 1075 阅读

10.python网络编程（socket server 实现并发 part 2）

一、基于tcp的socket通信的基本原理分析。基于tcp的socket通信，主要依靠两个循环，分别是连接循环和通信循环。这个前面的文章有写过，在这里就不再重复了。二、socketserver实现多并发的原理分析。1.server类：2.reques类。类继承关系：示例代码：import socketserver import struct import json i

tcp

socket

socketserver

原创 2017-05-09 16:54:52 1118 阅读

10.python网络编程（解决粘包问题 part 2）

一.什么时候会产生粘包现象。只有在使用tcp协议的情况下才会产生粘包现象！udp协议永远不会！发送端可以1k1k的把数据发送出去，接收端，可以2k2k的的去接收数据，一次可能会接收3k，也有可能1次接收6k。TCP协议是面向流的协议，这也是容易出现粘包问题的原因。而UDP是面向消息的协议，每个UDP段都是一条消息，应用程序必须以消息为单位提取数据，不能一次提取任意字节的数据，这一点和TCP是很不同

tcp

socket

python

原创 2017-05-08 21:20:08 2001 阅读

10.python网络编程（startin part 1）

一.什么是socket？socket就是为了实现C/S架构而生的，socket位于应用层和传输层之间，是传输层和应用层之间的一组接口，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议，所以，我们无需深入理解tcp/udp协议，socket已经为我们封装好了，我们只需要遵循socket的规定去编程，写出的程序自然就

tcp

socket

python

原创 2017-05-07 18:16:40 1162 阅读 1收藏

9.python之异常处理

一.python中的错误与异常。先来说说什么是错误。在python中错误分为两种语法错误这种语法错误根本过不了python解释器下面这几种就属于语法错误。例1: if输出 File "/Users/macbook/PycharmProjects/untitled1/作业2/test2.py", line 1 if

python

except

try

原创 2017-05-01 20:37:27 1635 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

reBiRTH

redis连接池优化

（爬虫预热）01 Requests模块

13.Django之数据库models&orm连表操作补充以及其他知识点补充（二）

14.Django之操作cookie

13.Django之数据库models&orm初探（一）

13.Django之模板初探（一）

13.Django之view初探视图函数（一）

13.Django之url路由系统初探（一）

13.django入门01（django入门初探视图，模板，路由）

13.python中web框架概念的引入。

12.python之pymsql模块

11.python并发入门（part15 关于I/O多路复用）

11.python并发入门（part14阻塞I/O与非阻塞I/O，以及引入I/O多路复用）

11.python并发入门（part13 了解事件驱动模型））

11.python并发入门（part12 初识协程）

11.python并发入门（part11 进程同步锁，以及进程池，以及callback的概念）

11.python并发入门（part10 多进程之间实现通信，以及进程之间的数据共享）

11.python并发入门（part9 多进程模块multiprocessing基本用法）

11.python并发入门（part8 基于线程队列实现生产者消费者模型）

11.python并发入门（part7 线程队列）

11.python并发入门（part6 Semaphore信号量）

11.python并发入门（part5 event对象）

11.python并发入门（part4 死锁与递归锁）

11.python并发入门（part3 多线程与互斥锁）

11.python并发入门（part2 threading模块的基本使用）

11.python并发入门（part1 初识进程与线程，并发，并行，同步，异步）

10.python网络编程（socket server 实现并发 part 2）

10.python网络编程（解决粘包问题 part 2）

10.python网络编程（startin part 1）

9.python之异常处理

欢迎