乐胖代购免代理版

欢迎

垂直爬虫 webmagic

新版文档地址 [url]http://webmagic.io/docs/zh/[/url], [url]http://webmagic.io/docs/zh/posts/ch1-overview/README.html[/url] webmagic的使用文档：[url]https://github.com/code4craft/webmagic/blob/

爬虫

java

.net

ide

github

原创 2023-06-04 15:54:38 72 阅读

你们都用什么来做爬虫的

看这里的回复 [url]http://www.v2ex.com/t/62657[/url] 42 回复 | 直到 2013-03-18 23:08:21 PM 1 for4 200 天前 ♥ 3 [color=darkblue]Python +requests +lxml +celery[/color] 2 xdeng 200 天前 @for4 -.-

爬虫

python

java

Python

原创 2023-06-04 15:17:19 121 阅读

python + request + pyquery[安装失败]

[color=red][size=x-large]比urllib好用的requests[/size][/color] [url]http://www.bsdmap.com/2013/01/13/python-requests/[/url] 更多见官方文档： [url]http://docs.python-requests.org/en/latest/use

python

json

javascript

ViewUI

html

原创 2023-06-04 15:15:49 107 阅读

Beautiful Soup 中文教程

[url]http://www.pythonclub.org/modules/beautifulsoup/start[/url] [color=red]使用yumex安装[/color] 官方文档：[url]http://www.crummy.com/software/BeautifulSoup/bs4/doc/[/url]，version=4 中文文档：

python

html

HTML

字符串

原创 2023-06-04 15:14:58 137 阅读

python: 界面开发Tkinter

python学习笔记——Tkinter GUI编程——简介[url]http://blog.sina.com.cn/s/blog_4b5039210100eoq7.html[/url] Python GUI编程(Tkinter) [url]http://www.yiibai.com/python/python_gui_programming.html[/url]

python

html

Python

原创 2023-06-04 15:12:44 143 阅读

Python多线程学习

Python中的线程使用： Python中使用线程有两种方式：函数或者用类来包装线程对象。1、函数式：调用thread模块中的start_new_thread()函数来产生新线程。如下例：[code="python"]...

python

初始化

对象名

子线程

原创 2023-05-16 15:51:13 37 阅读

开源爬虫Labin，Nutch，Neritrix介绍和对比

r]开发语言：C++http://larbin.sourceforge.net/index-eng.htmllarbin是个基于C++的web爬虫工具，拥有易于操作的界面，不过只能跑在LINUX下，在一台普通PC下...

爬虫

java

c/c++

Web

ide

原创 2023-05-16 15:48:37 135 阅读

python类型转换

函数描述 [code="python"]int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) ...

python

字符串

赋值

字符串格式化

原创 2023-05-16 15:47:45 12 阅读

python对文件的创建等处理

port os[/color]主要涉及到三个函数1、[color=darkblue]os.path.exists[/color](patakedirs[/color](path) 多层创建...

python

创建目录

html

.net

原创 2023-05-16 15:47:32 65 阅读

问题： Max retries exceeded with url

ries-for-requests-request[/url][code="python"]requests.adapters.DEFAULT_RETRIES = 5[/code]解决二：[url]http://obroll.com/max...

python

原创 2023-05-16 15:47:03 171 阅读

python Tkinter的一些记录

[color=red][b]1. Label里面的文本对齐方式[/b][/color]：[url]http://www.hiadmin.org/code/python_tkinter_label[/url] Label(root, text="www.hiadmin.org",bg="red",width=20,height=2, wraplength=8

python

Text

原创 2023-05-16 09:25:20 37 阅读

python字符串编码判断

def is_chinese(uchar): """判断一个unicode是否是汉字""" if uchar >= u'\u4e00' and uchar<=u'\u9fa5': return True else: return F

python

ide

半角

全角

原创 2023-05-15 13:45:21 145 阅读

Python：数组、列表(list)、字典(dict)、字符串(string)常用基本操作小结

[size=x-large][color=red]连接 list 与分割字符串[/color][/size][url]http://woodpecker.org.cn/diveintopython/native_data_types/joining_lists.html连接 list 与分割字符串 3.7.1. 字符串方法的历史注解您有了一个形如 key=value 的 key-value 对

数据库

c/c++

python

字符串

Python

原创 2023-05-15 13:44:51 72 阅读

Python模块学习 ---- datetime

[Python Tip]如何计算时间差 [url]http://blog.donews.com/limodou/archive/2005/02/16/278221.aspxQ:如何方便的计算两个时间的差，如两个时间相差几天，几小时等 A:使用datetime模块可以很方便的解决这个问题，举例如下： >>> import datetime >>> d1 = d

python

字符串

日期时间

使用例子

原创 2023-05-15 13:44:09 50 阅读

python html parser库lxml的介绍和使用

使用由 Python 编写的 lxml 实现高性能 XML 解析 [color=darkblue][size=x-large]用lxml解析HTML[/size][/color]分步遍历：比先遍历得到body的某个div,然后在使用这个div的内容做遍历基础，继续通过它往下遍历 def scanningHotArticle(url): print

python

html

xml

bc

原创 2023-05-15 13:40:34 120 阅读

用Python操作Mysql和中文问题

平时的主要编程语言是Java，开发时也主要用Mysql，经常为了测试，调试的目的需要操作数据库，比如备份，插入测试数据，修改测试数据，有些时候不能简单的用SQL就能完成任务，或都很好的完成任务，用Java写又有点太麻烦了，就想到了Python。Python语法简洁，不用编译，可以经较好的完成任务。今天看了下Python对Mysql的操作，做一下记录。首先，安装需要的环境，Mysql和Python

数据库

python

java

Python

原创 2023-05-15 13:40:01 35 阅读

Python 字符串操作（截取/替换/查找/分割）

[color=red][size=large]python字符串连接[/size][/color] 先介绍下效率比较低的，有些新手朋友就会犯这个错误： a = ['a','b','c','d'] content = '' for i in a: content = content + i print content说下为什么效率会低呢？原因：在

python

字符串

Python

内存空间

原创 2023-05-15 13:39:46 123 阅读

[Python]网络爬虫

[Python]网络爬虫（一）：抓取网页的含义和URL基本构成[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容 [Python]网络爬虫（三）：异常的处理和HTTP状态码的分类[Python]网络爬虫（四）：Opener与Handler的介绍和实例应用 [Python]网络爬虫（五）：urllib2的使用细节与抓站技巧 [Py

爬虫

python

Python

.net

百度贴吧

原创 2023-05-15 13:39:24 48 阅读

Python中使用中文

需要在[b][color=red]第一行或第二行指定编码声明[/color][/b]。把ChineseTest.py文件的编码重新改为ANSI，并加上编码声明：# coding=gbk2. 在中文字符串前面[color=red][b]加上u...

python

字符串

html

原创 2023-03-22 21:23:45 70 阅读

Nutch和CasperJS的区别

取的时候遇到动态内容读取的问题（淘宝上的价格，评论信息是通过JS动态加载的），Nutch在这方面并未考虑。对应的解决方案是基于Webkit/Geko等浏览器核心创建的Headless Browser Agent，比如casperjs（基于pantomjs），可以灵活实现各种模拟用户操作...

javascript

ViewUI

数据抓取

Web

编程风格

原创 2023-03-21 08:27:17 59 阅读

python: json,base64 的使用

JSON1. import json2. json.dumps() json obj => string3. json.load() string =>

json

python

字符串

数据

原创 2023-03-21 08:26:14 256 阅读

python requests 下载图片和数据库读取

[color=red][size=x-large]python requests 下载图片[/size][/color][code=

python

数据库

数据

sed

原创 2023-03-21 08:26:09 90 阅读

python + request + lxml的几个例子

例子没有加入[color=darkblue]失败后重做的功能[/color]，这个也可以考

json

python

数据库

xml

原创 2023-03-21 08:25:45 93 阅读

Python中执行外部命令并捕获双向输出

bprocess模块执行外部命令,并捕获stdout,stderr的输出:[code="python"]import subprocess#print ’popen3:’def external_cmd(cmd, msg_in=''): try:...

python

Standard

.net

原创 2023-03-21 08:23:57 81 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客