乐胖代购免代理版

python 使用 mechanize 模拟浏览器访问网页

知道如何快速在命令行或者python脚本中实例化一个浏览器通常是非常有用的。每次我需要做任何关于web的自动任务时，我都使用这段python代码去模拟一个浏览器。 import mechanize import cookielib # Browser br = mechanize.Browser() # Cookie Jar cj = cookielib.LWPCookieJar(

浏览器

的

Cookie

python

import

转载精选 2013-01-13 13:25:17 3202 阅读

Python Mechanize 睡觉问题

mechanize默认会保存模拟过的操作历史，导致占用的内存越来越大 class NoHistory(object): def add(self, *a, **k): pass def clear(self): passb = mechanize.Browser(history=NoHistory())

的

history

历史

原创 2013-01-13 01:59:55 603 阅读

This is the fast solution with threads

import os, re, threading class ip_check(threading.Thread): def __init__ (self,ip): threading.Threa

fast

solution

import

nb

原创 2012-12-01 16:32:34 570 阅读

python 多线程插入mysql

#!/usr/bin/pythonfrom __future__ import divisionfrom socket import gethostname;import threadingimport sysimport osimport MySQLdbclass threader(threading.Thread): def __init__(self,method): t

mysql

sql

python

import

future

原创 2012-11-22 11:21:40 2540 阅读

Python MySQLdb模块例子

#-*- encoding: gb2312 -*-import os, sys, stringimport MySQLdb# 连接数据库　try: conn = MySQLdb.connect(host='localhost',user='root',passwd='xxxx',db='test1')except Exception, e: print e sys.exit()#

sql

primary

localhost

连接数据库

age

原创 2012-11-22 11:09:51 451 阅读

Python抓取框架：Scrapy的架构

最近在学Python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。一、概述下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。二、组件1、Scrapy Engine（Scrapy引擎）Sc

网页

框架

python

如何

转载精选 2012-11-18 13:59:36 605 阅读 1收藏

python list 循环中remove

>>> a = [0,1,2,3,0,0,3] >>> for item in a : print item a.remove(item) print a 输出： 0 [1, 2, 3, 0, 0, 3] 2 [1, 3, 0,

list

python

循环

原创 2011-06-12 10:43:00 711 阅读

Python读写文件

Python中文件操作可以通过open函数，这的确很像C语言中的fopen。通过open函数获取一个file object，然后调用read()，write()等方法对文件进行读写操作。 1.open 使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。 file_object = open('thefile.txt'

python

open函数

读写操作

原创 2011-06-10 15:30:00 763 阅读

python dict的list排序

对于简单的list排序，直接调用内建函数就可以了，但是对于dict的list排序就没有那么直接了，不过，还是有很简洁的办法的，如： >>> ls1 = [{'a' : 1, 'b' : 12}, {'a' : -1, 'b' : 22},{'a' : 12, 'b' : 32},{'a' : 6, 'b' : 42}] >>> ls1.sort(key=

排序

python

lambda

原创 2011-04-24 12:20:00 1146 阅读

一个python版的开源web截图工具:python-webkit2png

一个python版的开源web截图工具:python-webkit2png http://github.com/AdamN/python-webkit2png/ 一个使用pyqt4里的QtWebkit实现的命令行的web截图软件,可用于服务器端的web截图貌似是个比较新的项目，以前找过类似的工具,没有多好用的，但是这个真的很好用，看一下参数就知道了 Creates a screens

工具

开源

python

原创 2011-03-08 11:25:00 1451 阅读

如何在windows下安装python2.6的setuptools

1. 下载 setuptools-0.6c9.tar.gz 2. 下载 setuptools-0.6c9-py2.6.egg （放在同一个目录） 3. 用7-zip或者其他解压工具打开 setuptools-0.6c9.tar.gz ，并且把里面的 ez_setup.py 文件解压到同一个目录里。 4. 打开cmd窗口，并进入你刚才下载和解压文件的目录里。（例如： d:\downl

安装

windows

如何

原创 2010-12-11 12:52:00 974 阅读

python的json库

今天的多线程例子一个运行在python2.5下.一个运行在2.6下..发现python写好的多线程代码在2.6下运行不了.在2.5下运行好好的. 代码没错啊..检查了一翻才看到原来提json的问题. 2.5默认是没有json这个库的.我手工添加的 .另一台服务器我装的2.6.内内置是有的.不过虽然两个调用都是import json但是使用完全不一样 2.5我装的是 json-

json

python

import

原创 2010-11-29 13:17:00 672 阅读

Python 标准库 urllib2 的使用细节

Python 标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细节。 1 Proxy 的设置 2 Timeout 设置 3 在 HTTP Request 中加入特定的 Header 4 Redirect

proxy

http

python

原创 2010-11-05 02:22:00 256 阅读

Python 获取文件属性

文件属性的获取，使用了os.stat() 方法： >>> import os >>> statinfo=os.stat(r"C:\1.txt") >>> statinfo (33206, 0L, 0, 0, 0, 0,

模块

python

原创 2010-07-14 10:10:00 913 阅读

python 多线程

# -*- coding: utf-8 -*- #!/usr/bin/python import urllib2 import urllib import base64 import sys import time import datetime reload(sys) sys.setdefaultencoding('utf-8') import threading clas

多线程

python

原创 2010-07-10 13:51:00 503 阅读

socket实现的memcache协议

使用socket实现的memcache协议，清除key部分： def clear_cache(md5v): “”"使用socket方式清除memcache”"” key1=KEY_CDNJAVA_MEMCACHE1%{’md5v’:md5v} key2=KEY_CDNJAVA_MEMCACHE2%{

socket

python

memcache协议

原创 2010-06-24 08:39:00 789 阅读

python 生成随机数

Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。random.random random.random()用于生成一个0到1的随机符点数: 0 <= n < 1.0random.uniform 　　random.uniform的函数原型为：random.uniform(a, b)，用于生成一个指定范围内的随机符点数，两个参数其中一个是上限

python

随机数

原创 2010-06-15 10:27:00 1848 阅读

setdefaultencoding python 编码问题

页面源代码如下 #-*- coding: utf8 -*- import cgitb , cgi cgitb.enable() form = cgi.FieldStorage() if (form.has_key("name") and form.has_key("addr")): print "&

初始化

编码

python

原创 2010-06-13 15:41:00 661 阅读

python 多线程

PYTHON的多线程看了一下，只是了解了最最基本的使用，我使用了threading,Queue这两个模块 #!/usr/bin/python #coding:utf8 import glob,threading,Queue,time start = time.time() ＃创建一个队列实例，后面使用数据填充 queue = Queue.Queue(maxsize = 10) DB

多线程

python

原创 2010-06-10 15:29:00 436 阅读

python多线程

最近写一个小的爬虫，对python的多线程稍微了解了一下，做个笔记以作备忘。这个小爬虫做的事情，分为以下简单几步：定向爬取某网站的数据对得到的网页数据进行解析过滤出所需要的数据将过滤出的数据存储到mysql中这里先将以上步骤分解成几个函数： def get_urls(): """获取需要爬取的url地址列表&qu

多线程

python

原创 2010-05-21 15:41:00 659 阅读

python 排列组合算法

def c(n,m,out): if(m==0): return 1 x=n while x>=m: out.append(x) if(c(x-1,m-1,out)): print out out.pop()

算法

python

组合

原创 2010-01-15 09:15:00 2325 阅读

python dict

1、Dictionary语法 Dictionary由key/value对（称为项目）组成，key和value之间用“：”分割，项目用“,”分割，所有项目用“{}”包括起来 >>> phonebook = {'Alice': '2341', 'Beth': '9102', 'Cecil'

Sequence

python

转换类型

原创 2010-01-11 14:22:00 556 阅读

python urllib2技术补充参考--中文版01

urllib2是python的一个获取url（Uniform Resource Locators，统一资源定址器）的模块。它用urlopen函数的形式提供了一个非常简洁的接口。这使得用各种各样的协议获取url成为可能。它同时也提供了一个稍微复杂的接口来处理常见的状况-如基本的认证，cookies，代理，等等。这些都是由叫做opener和handler的对象来处理的。 urlib2支持获取u

技术

中文版

python

原创 2010-01-06 09:36:00 324 阅读

用cx_Freeze把python打包成exe可执行文件

以前从来没有试过把Python打包,昨天试了试,发现打包也是一件挺容易的事情.Python打包有很多种选择.cx_Freeze是一种, py2exe也可以,还有一个pyinstaller.我用的是cx_Freeze,而py2exe因为sf实在太慢连不上.所以没办法,只好先用可以下载的.cx_Freeze的资料比较少,不过不是太痛苦,因为好像cx会比py2exe简便易用,而且好像是跨平台的,不错

打包

python

执行文件

原创 2009-11-20 09:43:00 797 阅读

windows下安装pygtk报g_assertion_message无法定位libglib-2.0-0.dll错误解决

昨天.安装pygtk装完以后使用时提示如下错误: >>> import gtk Traceback (most recent call last): File "<pyshell#5>", line 1, in <module> import gtk File &quo

windows

python

libglib

原创 2009-09-24 16:16:00 988 阅读

python os.path模块

os和os.path模块 os.listdir(dirname)：列出dirname下的目录和文件 os.getcwd()：获得当前工作目录 os.curdir:返回但前目录（'.') os.chdir(dirname):改变工作目录到dirname os.path.isdir(name):判断name是不是一个目录，name不是目录就返回false os.path.isfile(na

模块

python

原创 2009-09-18 10:20:00 356 阅读

python多线程

一个比较好的解决缓冲区多线程的代码： #!/usr/bin/env python import Queue import threading import urllib2 import time hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com&

多线程

python

原创 2009-08-05 16:36:00 479 阅读

python 命令行参数使用

# -*- coding: utf8 -*- #!/usr/bin/python import sys import getopt def main(argv): grammar = "kant.xml" try:

linux

python

原创 2009-08-05 01:40:00 559 阅读

python PIL模块安装

$ gunzip Imaging-1.1.6.tar.gz $ tar xvf Imaging-1.1.6.tar $ cd Imaging-1.1.6 $ python setup.py build_ext -i $ python selftest.py $ python setup.py install 　　安装完毕后,可在python安装目录下的site-packag

安装

模块

python

原创 2009-07-09 00:42:00 534 阅读

python时间戳与日期转换

import datetime import time s=datetime.datetime(2009,3,20,10,15,55) time=time.mktime(s.timetuple()) print time 输出：1237515355.0

日期

python

时间戳

原创 2009-03-20 16:03:00 707 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

让爱走吧~！

python 使用 mechanize 模拟浏览器访问网页

Python Mechanize 睡觉问题

This is the fast solution with threads

python 多线程插入mysql

Python MySQLdb模块例子

Python抓取框架：Scrapy的架构

python list 循环中remove

Python读写文件

python dict的list排序

一个python版的开源web截图工具:python-webkit2png

如何在windows下安装python2.6的setuptools

python的json库

Python 标准库 urllib2 的使用细节

Python 获取文件属性

python 多线程

socket实现的memcache协议

python 生成随机数

setdefaultencoding python 编码问题

python 多线程

python多线程

python 排列组合算法

python dict

python urllib2技术补充参考--中文版01

用cx_Freeze把python打包成exe可执行文件

windows下安装pygtk报g_assertion_message无法定位libglib-2.0-0.dll错误解决

python os.path模块

python多线程

python 命令行参数使用

python PIL模块安装

python时间戳与日期转换

欢迎