python html保存为jpg python htmlparser

    最后工作需要到处理html的数据的问题，然后使用HTMLParser，网上找了很多资料都是千篇一律的。

 

在这里记录下自己的成果，希望对你有用。

 

1。首先还是让我们来了解一下HTMLParser.

 

     python模块之HTMLParser: 解析html,获取url HTMLParser是python用来解析html的模块。

 

它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。 HTMLParser采用的是一种事件驱动的模式，

 

当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。

 

它主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。

 

当我们使用时，就从HTMLParser派生出新的类，然 后重新定义这几个以handler_开头的函数即可。

 

 

这几个函数包括：
handle_startendtag 处理开始标签和结束标签
handle_starttag 处理开始标签，
handle_endtag 处理结束标签，
handle_charref 处理特殊字符串，就是以&#开头的，一般是内码表示的字符
handle_entityref 处理一些特殊字符，以&开头的，比如 handle_data 处理数据，就是data中间的那些数据 handle_comment 处理注释 ，
handle_decl 处理<!开头的，
比如的东西 这里我以从网页中获取到url为例，介绍一下。要想获取到url，肯定是要分析标签，然后取到它的href属性的值。

MyHTMLParser.py

'''
Created on 2011-1-11
@author: [e-mail]
'''
from HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.flag = 0
        self.links = []
        self.title=""
        self.img=""
        self.content=""
 
    def handle_starttag(self, tag, attrs):
        #print "Encountered the beginning of a %s tag" % tag
        if tag == "a":
            if len(attrs) == 0: pass
            else:
                for (variable, value)  in attrs:
                    if variable == "href":
                        self.links.append(value)

 

前调用代码:start.py

'''
Created on 2011-1-11
@author: [e-mail]
'''
import re
import urllib
from MyHTMLParser import MyHTMLParser
     
if __name__ == "__main__":
    data=urllib.urlopen(r'http://gy.58.com/duanzu/3934202413954x.shtml').read().decode('utf-8')
    hp = MyHTMLParser()
    hp.feed(data)
    hp.close()
    for link in hp.links:
            print link

 

以一代码就是定义的一个我们一个自己的HTML处理类。这代码也是官方上的。其中测试链接，只做测试使用，不负法律责任

 

2.如果我们想要提取一段HTML里面的文本数据怎么办呢

首先我们应该要使用handle_data 处理数据。但它又是随机文本，所以我们要在handle_starttag 遇到这个标记的时候，做个标记，然后

在handle_data 中遇到此标记时，把数据传出来。

 

比如我们需要获取title的文本值，那么我们的代码如下

'''
Created on 2011-1-11
@author: [e-mail]
'''
from HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.flag = 0
        self.links = []
        self.title=""
 
    def handle_starttag(self, tag, attrs):
        #print "Encountered the beginning of a %s tag" % tag
        if tag == "a":
            if len(attrs) == 0: pass
            else:
                for (variable, value)  in attrs:
                    if variable == "href":
                        self.links.append(value)
                            
        if tag =="title":
            self.flag=1
        
            
    def handle_data(self,data):
        if self.flag == 1 and len(self.title)==0:
            self.title=data
            self.flag==0
          
                            
    
                        
                        
                         
'''
Created on 2011-1-11
@author: [e-mail]
'''
import re
import urllib
from MyHTMLParser import MyHTMLParser
     
if __name__ == "__main__":
    data=urllib.urlopen(r'http://gy.58.com/duanzu/3934202413954x.shtml').read().decode('utf-8')
    hp = MyHTMLParser()
    hp.feed(data)
    hp.close()
    print hp.title
    for link in hp.links:
            print link

其它节点取文本就类似了

 

下面是我工作中用到的一段脚本:

'''
Created on 2011-1-11
@author: [e-mail]
'''
import re
from HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.flag = 0 # lable flag
        self.content_flag= 0 #content flag
        self.links = []
        self.title=""
        self.img=""
        self.content=""
 
    def handle_starttag(self, tag, attrs):
        #print "Encountered the beginning of a %s tag" % tag
        if tag == "a":
            if len(attrs) == 0: pass
            else:
                for (variable, value)  in attrs:
                    if variable == "href":
                        self.links.append(value)
                            
        if tag == "ul":
            if len(attrs)==0:pass
            else:
                for(varviable,value) in attrs:
                    if varviable=="class" and (value=="info" or value=="description"):
                        self.flag=3
                        self.content_flag=1
        if tag == "div":
            if len(attrs)==0:pass
            else:
                for(varviable,value) in attrs:
                    if varviable=="class":
                        if value=="content" or value=="description" or value=="conleft":
                            self.flag=3
                            self.content_flag=1
        if tag=="meta":
            if len(attrs)==0:pass
            else:
                for (variable,value) in attrs:
                    if variable=="content":
                        pass#self.title=value
        if tag=="title":
            self.flag=1
            
        if tag=="img":
            if len(attrs)==0:pass
            else:
                img_host=u'http://pic.58.com/'
                for(variable,value) in attrs:
                    if variable=="src" and img_host in value:
                        if self.img=="":
                            self.img=value
        if tag=="p":
            if self.flag==3:
                self.flag=2
        if tag=="br":
            if self.content_flag==1:
                self.flag=2
        
    def handle_endtag(self, tag):
        if tag=="p":
            if self.content_flag==1:
                self.content_flag=0
                    
    def handle_data(self,data):
        if self.flag==1:
            self.title=data
            self.flag=0
        if self.flag==2:
            self.content+=data
            self.flag=0