headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36’
}
def get_url(url):
res = requests.get(url,headers=headers)
html = etree.HTML(res.text)
infos = html.xpath(‘//ul[@class=“note-list”]/li’)
for info in infos:
root = ‘https://www.jianshu.com’
url_path = root + info.xpath(‘div/a/@href’)[0]
print(url_path)
get_img(url_path)
time.sleep(3)
def get_img(url):
res = requests.get(url, headers=headers)
html = etree.HTML(res.text)
title = html.xpath(‘//div[@class=“article”]/h1/text()’)[0].strip(‘|’).split(‘,’)[0]
name = html.xpath(‘//div[@class=“author”]/div/span/a/text()’)[0].strip(‘|’)
infos = html.xpath(‘//div[@class = “image-package”]’)
i = 1
for info in infos:
try:
img_url = info.xpath(‘div[1]/div[2]/img/@data-original-src’)[0]
print(img_url)
data = requests.get(‘http:’ + img_url,headers=headers)
try:
fp = open(‘row_img/’ + title + ‘+’ + name + ‘+’ + str(i) + ‘.jpg’,‘wb’)
fp.write(data.content)
fp.close()
except OSError:
fp = open(‘row_img/’ + name + ‘+’ + str(i) + ‘.jpg’, ‘wb’)
fp.write(data.content)
fp.close()
except IndexError:
pass
i = i + 1
if name == ‘main’:
urls = [‘https://www.jianshu.com/c/bd38bd199ec6?order_by=added_at&page={}’.format(str(i)) for i in range(1,201)]
for url in urls:
get_url(url)
人脸识别API使用
由于爬取了帖子下面的所有图片,里面有各种图片(不包括人脸),而且是为了找到高颜值小姐姐,如果人工筛选费事费力,这里调用百度的人脸识别API,进行图片过滤和颜值打分。
人脸识别应用申请
首先,进入百度人脸识别官网,点击立即使用,登陆百度账号(没有就注册一个)。
创建应用,完成后,点击管理应用,就能看到AppID等,这些在调用API时需要使用的。
API调用
这里使用杨超越的图片先试下水。通过结果,可以看到75分,还算比较高了(自己用了一些网红和明星测试了下,分数平均在80左右,最高也没有90以上的)。
from aip import AipFace
import base64
APP_ID = ‘’
API_KEY = ‘’
SECRET_KEY = ‘’
aipFace = AipFace(APP_ID, API_KEY, SECRET_KEY)
filePath = r’C:\Users\LP\Desktop\6.jpg’
def get_file_content(filePath):
with open(filePath, ‘rb’) as fp:
content = base64.b64encode(fp.read())
return content.decode(‘utf-8’)
imageType = “BASE64”
options = {}
options[“face_field”] = “age,gender,beauty”
result = aipFace.detect(get_file_content(filePath),imageType,options)
print(result)
颜值打分并进行文件归类
最后结合图片数据和颜值打分,设计代码,过滤掉非人物以及男性图片,获取小姐姐图片的分数(这里处理为1-10分),并分别存在不同的文件夹中。
from aip import AipFace
import base64
import os
import time
APP_ID = ‘’
API_KEY = ‘’
SECRET_KEY = ‘’
aipFace = AipFace(APP_ID, API_KEY, SECRET_KEY)
def get_file_content(filePath):
with open(filePath, ‘rb’) as fp:
content = base64.b64encode(fp.read())
return content.decode(‘utf-8’)
imageType = “BASE64”