乐胖代购免代理版

Pandas常用函数速查手册中文版

对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。如果你想学习Pandas，建议先看两个网站。（1）官网：Python Data Analysis Library（2）十分钟入门Pandas：10 Minutes to panda

python

pandas

转载 2018-01-12 16:01:24 9804 阅读 1点赞 1收藏

pandas 之 concat

准备：In [1]: import pandas as pdIn [2]: df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], ...: &nb

pandas

python

contat

dataframe

转载 2018-01-12 15:56:05 10000+阅读

Pandas库DataFrame的排序

df1为dataframe结构的测试数据：df1数据是从test.xlsx文档中读取的，使用示例代码如下：tushare ts pandas pd df = pd.read_excel() df1 = df.head()

python

pandas

dataframe

原创 2018-01-10 23:15:01 10000+阅读

python中@staticmethod和@classmethod的作用与区别

一般来说，要使用某个类的方法，需要先实例化一个对象再调用方法。而使用@staticmethod或@classmethod，就可以不需要实例化，直接类名.方法名()来调用。这有利于组织代码，把某些应该属于某个类的函数给放到那个类里去，同时有利于命名空间的整洁。既然@staticmethod和@classmethod都可以直接类名.方法名()来调用，那他们有什么区别呢从它们的使用上来看,@static

python

@classmethod

@staticmethod

转载 2017-12-05 11:09:59 3938 阅读

scrapy随机更改User-Agent方法

1 Scrapy设置User-Agent1.1 在settings.py文件中设置USER_AGENT参数即可实现1.1.1 使用固定User-Agent方法在settings.py文件中加入如下代码即可（USER_AGENT是固定写法），具体使用什么agent可以自己更改下面蓝色字体内容。

User

agent

更改

原创 2017-12-03 19:49:47 10000+阅读

python的requests模块实现登陆示例

51cto用python的requests模块实现登陆示例代码如下：--coding:utf-8--importrequestsimportreclient=requests.session()agent="Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/62.0.3202.94Sa

requests

模块

登陆

原创 2017-12-02 17:18:33 3225 阅读 1收藏

python使用IP代理示例及出错解决方法

一、代码示例requests header = { : } proxy_ip = { : } html = requests.get(=header=proxy_ip) html html.text二、通过修改proxy_

python

代理

IP

原创 2017-12-02 13:54:55 10000+阅读

随机生成UserAgent的python库（fake-useragent库）

一、安装fake-useragent库：pipinstallfake-useragent二、使用方法：1、导入fake-useragent库fromfake_useragentimportUserAgent2、实例化一个对象ua=UserAgent()3、随机生成IE浏览器的UserAgentua.ieu'Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.

fake

useragent

python

原创 2017-11-30 17:41:23 10000+阅读

python虚拟环境virtualenv下安装MySQL-python

我们在Windows下开发python应用时，可能需要安装各种第三方模块，但如果又不想污染公共的python环境，怎么办呢？最好是在各自的python工程中创建一个virtualenv虚拟环境。博主最近需要在虚拟环境中安装MySQL-python模块，这个模块如果采用pip命令行的方式安装的话，很有可能会遇到蛋疼的提示各种缺少微软某些动态链接库的问题，这个模块的安装，除了命令行方式外，另外一种方式

MySQLdb模块;windows平

；python操作数据

转载 2017-11-28 15:23:32 1766 阅读

scrapy - Request 中的回调函数不执行

scrapy-Request中的回调函数不执行在scrapy.Request()函数中将参数dont_filter=True设置为True例子：yieldRequest(url=next_page,callback=self.parse,dont_filter=True)转自http://blog.csdn.net/honglicu123/article/details/75453107

scrapy

python

爬虫框架

转载 2017-11-27 18:04:51 4977 阅读

urlparse模块（python模块）

一、urlparse模块简介 urlparse模块主要是把url拆分为6部分，并返回元组。并且可以把拆分后的部分再组成一个url。主要有函数有urljoin、urlsplit、urlunsplit、urlparse等。二、urljoin函数使用 urljoin主要是拼接URL，它以base作为其基地址，然后

urlparse python

原创 2017-11-01 14:35:44 2223 阅读

python 发送邮件小程序

一、使用qq邮箱接收和发送邮件1、程序代码：smtplib email.mime.text MIMEText _user = _pwd = _to = msg = MIMEText() #邮件内容 &nbs

python 邮件

原创 2017-10-24 15:44:58 949 阅读

scapy网络嗅探

python scapy模块的使用转自：http://blog.csdn.net/hitwangpeng/article/details/49278409嗅探转自：https://www.2cto.com/kf/201505/399374.html

scapy 网络嗅探 python编程

转载 2017-09-17 13:35:15 1609 阅读

Scapy基础学习之一

关于ScapyScapy的是一个强大的交互式数据包处理程序（使用python编写）。它能够伪造或者解码大量的网络协议数据包，能够发送、捕捉、匹配请求和回复包等等。它可以很容易地处理一些典型操作，比如端口扫描，tracerouting，探测，单元测试，攻击或网络发现（可替代hping，NMAP，arpspoof，ARP-SK，arping，tcpdump，tethereal，P0F等）。最重要的他还

scapy

转载 2017-09-17 13:20:52 3206 阅读

python读写excel文件

一、概述Python操作excel的三个工具包如下，注意，只能操作.xls，不能操作.xlsx。xlrd: 对excel进行读相关操作xlwt: 对excel进行写相关操作xlutils: 对excel读写操作的整合这三个工具包都可以直接使用pip进行下载：sudo pip install xlrdsudo pip install xlwtsudo pip install xl

python xlrd xlwd xlu

原创 2017-07-16 13:23:40 2470 阅读 1收藏

amazon爬取亚马逊页面信息

代码：# -*- coding: cp936 -*-import requestsfrom lxml import etreeASIN = 'B00X4WHP5E'#ASIN = 'B017R1YFEG'url = 'https://www.amazon.com/dp/'+ASINr = requests.get(url)html = r.texttree = etree.HTML(html)#获

爬虫

pyton

原创 2017-07-06 00:37:54 3607 阅读

表单和登陆爬虫

转自：http://www.ituring.com.cn/article/200288?utm_source=tuicool&utm_medium=referral当你想编写更为复杂的网页爬虫的时候，你面临的第一个问题也许会是：“如何获取登陆页面后的信息？”，因为网络已经飞快地向互动、社交媒体、用户生成内容方向发展。表格和登陆就成为这些类型网站几乎不可或缺的主要组成。幸运的是，表单和登陆还

python 表单处理爬虫

转载 2017-07-05 15:13:38 1635 阅读

python使用百度进行爬虫简单学习例子

http://www.baidu.com/s?wd=pythonwd后面的参数就是在百度搜索引擎里面输入的关键字。分析页面：获取每一页的链接。代码：root@kali:~/py# more table.py import urllibimport urllib2from lxml import etree#输入python关键字进行查询text = "python"starurl = "

爬虫

python

lxml

原创 2017-07-05 14:48:12 3759 阅读 1收藏

Python 爬虫入门—— IP代理使用

转自：http://www.cnblogs.com/hearzeus/p/5157016.html上一节，大概讲述了Python 爬虫的编写流程，从这节开始主要解决如何突破在爬取的过程中限制。比如，IP、JS、验证码等。这节主要讲利用IP代理突破。　　1.关于代理　　简单的说，代理就是换个身份。网络中的身份之一就是IP。比如，我们身在墙内，想要访问google、u2b、fb等，直接访问是404，

IP代理 urllib2 爬虫

转载 2017-07-04 17:21:41 2373 阅读 1收藏

urllib2——伪装浏览器、表单处理

1.表单的处理登录必要填表，表单怎么填？首先利用工具截取所要填表的内容。比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包。以verycd为例，先找到自己发的POST请求，以及POST表单项。可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项，其中fk是随机生成的（其实不太随机，看上去像是把epoc

python urllib2 表单处理

转载 2017-07-04 16:06:01 1204 阅读

csv模块-python

CSV模块式python的内置模块,用于读写CSV文件. testqq.csv文件内容:序号姓名年龄1啊啊102宝宝153尺寸174等等195恩恩206方法21 一、从CSV文件读取内容使用CSV模块的reader函数读CSV文件代码:import csv f = open('testqq.csv','rb')reader &

模块

csv

python

原创 2017-07-03 17:08:27 1819 阅读

urlparse模块

urlparse模块主要是把url拆分为6部分，并返回元组。并且可以把拆分后的部分再组成一个url。主要有函数有urljoin、urlsplit、urlunsplit、urlparse等。 urlparse.urlparse(urlstring[, scheme[, allow_fragments]]) 将urlstring解析成6个部分，它从urlstring

urlparse模块

转载 2017-07-03 13:55:02 719 阅读

itertools迭代模块

itertoolsPython的内建模块itertools提供了非常有用的用于操作迭代对象的函数。首先，我们看看itertools提供的几个“无限”迭代器：>>> import itertools>>> natuals = itertools.count(1)>>> for

itertools迭代模块

转载 2017-07-03 12:22:39 634 阅读

爬虫实例1-爬取新闻列表和发布时间

一、新建工程scrapy startproject shop 二、Items.py文件代码：import scrapy class ShopItem(scrapy.Item): title = scrapy.Field() time = scrapy.Field() 三

爬虫

python

工程

原创 2017-06-19 20:43:49 3025 阅读

python抓取网页数据的三种方法

一、正则表达式提取网页内容解析效率：正则表达式>lxml>beautifulsoup代码：import reimport urllib2 urllist = 'http://example.webscraping.com/places/default/view/United-Kingdom-239' html = &nbs

python

表达式

import

原创 2017-06-19 20:38:46 5708 阅读

python 下载图片（urllib）

下载图片利用urlib库中的urlretrieve函数import urllib imgurl = "http://ww1.sinaimg.cn/bmiddle/9150e4e5ly1fgo6vvwz5bj20i50fltam.jpg"#把下载的图片保存在'/usr/lxusr/python-program/目录下，并且命名为1.jpgurllib.urlretrieve(imgurl,

python

urllib

下载图片

原创 2017-06-18 21:47:04 1737 阅读

pxssh模块——python

1、描述：pxssh预先已经有了login（）、logout（）和prompt（）等函数直接与ssh进行交互。1.1 示例代码：#导入pxssh模块import pxsshdef send_command(s,cmd):#发送命令 s.sendline(cmd)#获取期望的输出提示符 s.prompt()#显示返回信息

python

块

pxssh模

原创 2017-04-23 14:01:52 3908 阅读

python 网络编程第六篇

1 TCP编程Socket是网络编程的一个抽象概念。通常我们用一个Socket表示“打开了一个网络链接”，而打开一个Socket需要知道目标计算机的IP地址和端口号，再指定协议类型即可。1.1 客户端大多数连接都是可靠的TCP连接。创建TCP连接时，主动发起连接的叫客户端，被动响应连

python编程

转载 2016-12-27 18:21:47 1991 阅读

python 正则表达式第五篇

1 Python正则表达式正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。本章介绍re模块的match函数、search函数，sub函数。2

python编程

转载 2016-12-27 15:38:55 1644 阅读

python文件打开和关闭第四篇

1 open函数open（）函数式python内置的一个函数，可以通过open函数打开或者创建一个文件，如果文件不存在，则使用open函数的时候会自动创建一个文件，open函数执行后返回一个文件对象，后续的对文件的读写和其他操作都是基于这个对象来进行的。 file object = open(file_na

编程

python

原创 2016-12-27 14:08:10 1761 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

老鹰a

Pandas常用函数速查手册中文版

pandas 之 concat

Pandas库DataFrame的排序

python中@staticmethod和@classmethod的作用与区别

scrapy随机更改User-Agent方法

python的requests模块实现登陆示例

python使用IP代理示例及出错解决方法

随机生成UserAgent的python库（fake-useragent库）

python虚拟环境virtualenv下安装MySQL-python

scrapy - Request 中的回调函数不执行

urlparse模块（python模块）

python 发送邮件小程序

scapy网络嗅探

Scapy基础学习之一

python读写excel文件

amazon爬取亚马逊页面信息

表单和登陆爬虫

python使用百度进行爬虫简单学习例子

Python 爬虫入门—— IP代理使用

urllib2——伪装浏览器、表单处理

csv模块-python

urlparse模块

itertools迭代模块

爬虫实例1-爬取新闻列表和发布时间

python抓取网页数据的三种方法

python 下载图片（urllib）

pxssh模块——python

python 网络编程第六篇

python 正则表达式第五篇

python文件打开和关闭第四篇

欢迎