案例1、python爬取网站Jpg图片

案例2、Python批量将ppt转换为pdf

案例3、python爬取歌曲评论



案例1

主要实现一个简单的爬虫，从一个百度贴吧页面下载图片。下载图片的步骤如下：


  1. 获取网页html文本内容；
  2. 分析html中图片的html标签特征，用正则解析出所有的图片url链接列表；
  3. 根据图片的url链接列表将图片下载到本地文件夹中。

代码如下：

import requests
import re
# 根据url获取网页html内容
def getHtmlContent(url):
    page = requests.get(url)
    return page.text

# 从html中解析出所有jpg图片的url
# html中jpg图片的url格式为：<img ... src="XXX.jpg" width=...>
def getJPGs(html):
    # 解析jpg图片url的正则
    jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width')  # 注：这里最后加一个'width'是为了提高匹配精确度
    # 解析出jpg的url列表
    jpgs = re.findall(jpgReg,html)
    
    return jpgs

# 用图片url下载图片并保存成制定文件名
def downloadJPG(imgUrl,fileName):
    # 可自动关闭请求和响应的模块
    from contextlib import closing
    with closing(requests.get(imgUrl,stream = True)) as resp:
        with open(fileName,'wb') as f:
            for chunk in resp.iter_content(128):
                f.write(chunk)
    
# 批量下载图片，默认保存到指定目录文件下
def batchDownloadJPGs(imgUrls,path = 'C:/Users/Administrator/Desktop/picture/'):
    # 用于给图片命名
    count = 1
    for url in imgUrls:
        downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
        print("下载中...请稍后...{0}.jpg".format(count))
        count = count + 1
        
# 封装：从网页下载图片
def download(url):
    html = getHtmlContent(url)
    jpgs = getJPGs(html)
    batchDownloadJPGs(jpgs)
    
def main():
    url = 'http://tieba.baidu.com/p/2256306796'
    download(url)
    print("================================")
    print("已完成下载...请到指定目录进行查看！！！")
    
if __name__ == '__main__':
    main()

案例2

这是一个Python脚本，能够批量地将微软Powerpoint文件（.ppt或者.pptx）转换为pdf格式


使用说明

1、将这个脚本跟PPT文件放置在同一个文件夹下

2、运行这个脚本


代码如下：

import comtypes.client
import os

def init_powerpoint():
    powerpoint = comtypes.client.CreateObject("Powerpoint.Application")
    powerpoint.Visible = 1
    return powerpoint

def ppt_to_pdf(powerpoint,inputFileName,outputFileName,formatType = 32):
    if outputFileName[-3:] != 'pdf':
        outputFileName = outputFileName + ".pdf"
    deck = powerpoint.Presentations.Open(inputFileName)
    deck.SaveAs(outputFileName,formatType)
    deck.Close()
    
def convert_files_in_folder(powerpoint,folder):
    files = os.listdir(folder)
    pptfiles = [f for f in files if f.endswith((".ppt",".pptx"))]
    for pptfile in pptfiles:
        fullpath = os.path.join(cwd,pptfile)
        ppt_to_pdf(powerpoint,fullpath,fullpath)
        
if __name__ == '__main__':
    powerpoint = init_powerpoint()
    cwd = os.getcwd()
    convert_files_in_folder(powerpoint,cwd)
    powerpoint.Quit()
    print("已转换完成！！！")



案例3

一、抓数据

要想做成词云图表，首先得有数据才行。于是需要一点点的爬虫技巧。

基本思路为：抓包分析、加密信息处理、抓取热门评论信息


1.抓包分析

我们首先用浏览器打开网易云音乐的网页版，进入薛之谦《摩天大楼》歌曲页面，可以看到下面有评论。接着F12进入开发者控制台（审查元素）。

接下来就要做的是，找到歌曲评论对应的url，并分析验证其数据跟网页现实的数据是否吻合

整理思路，分析api并模拟发送请求，获取json解析就好了


2.加密信息处理

然后经过测试，直接把浏览器上这俩数据拿过来就可以。但是要想真正的解决这个加密处理，还需要有点加解密的只是存储


3.抓取热门评论信息


二、数据可视化

在获得相关评论数据后，我们将其做成图表与词云图，将让人看起来更直观。

接下来需要在自己电脑上安装需要相关的安装包： pyecharts（图表包）、matplotlib（绘图功能包）、 WordCloud（词云包）

pyecharts： https://github.com/pyecharts/pyecharts （下载源码解压到python目录cmd进入pyecharts目录输入命令python setup.py install）

WordCloud官网： https://amueller.github.io/word_cloud/index.html

WordCloud 下载地址： https://github.com/amueller/word_cloud

其中，pyecharts 是一个用于生成 Echarts 图表的类库。 Echarts 是百度开源的一个数据可视化 JS 库，主要用于数据可视化，同时pyecharts 兼容 Python2 和 Python3


代码如下：

import requests
import json
from pyecharts import Bar
from wordcloud import WordCloud
import matplotlib.pyplot as plt

url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_551816010?csrf_token=568cec564ccadb5f1b29311ece2288f1'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',
    'Referer':'http://music.163.com/#/album?id=38388012',
    'Origin':'http://music.163.com',
    'Host':'music.163.com'
}
#加密数据，直接拿过来用
user_data = {
    'params': 'vRlMDmFsdQgApSPW3Fuh93jGTi/ZN2hZ2MhdqMB503TZaIWYWujKWM4hAJnKoPdV7vMXi5GZX6iOa1aljfQwxnKsNT+5/uJKuxosmdhdBQxvX/uwXSOVdT+0RFcnSPtv',
    'encSecKey': '46fddcef9ca665289ff5a8888aa2d3b0490e94ccffe48332eca2d2a775ee932624afea7e95f321d8565fd9101a8fbc5a9cadbe07daa61a27d18e4eb214ff83ad301255722b154f3c1dd1364570c60e3f003e15515de7c6ede0ca6ca255e8e39788c2f72877f64bc68d29fac51d33103c181cad6b0a297fe13cd55aa67333e3e5'
}
response = requests.post(url,headers=headers,data=user_data)
data = json.loads(response.text)
hotcomments = []
for hotcommment in data['hotComments']:
    item = {
        'nickname':hotcommment['user']['nickname'],
        'content':hotcommment['content'],
        'likedCount':hotcommment['likedCount']     
    }
    hotcomments.append(item)
#获取评论用户名，内容，以及对应的获赞数   
content_list = [content['content'] for content in hotcomments]
nickname = [content['nickname'] for content in hotcomments]
liked_count = [content['likedCount'] for content in hotcomments]

bar = Bar("热评点赞示例图")
bar.add( "点赞数",nickname, liked_count, is_stack=True,mark_line=["min", "max"],mark_point=["average"])
bar.render()

content_text = " ".join(content_list)
wordcloud = WordCloud(font_path=r"C:\simhei.ttf",max_words=200).generate(content_text)
plt.figure()
plt.imshow(wordcloud,interpolation='bilinear')
plt.axis('off')
plt.show()