python 爬取个人信息 利用爬虫爬取个人信息

一、爬取b站用户信息

本次爬取b站第1-10个用户的个人信息，包括昵称，性别，头像，粉丝数，播放数等。

1 import requests
 2 import json
 3 import os
 4 
 5 
 6 vip_type = {0:'普通用户',1:'小会员',2:'大会员'}
 7 headers = {
 8     'Referer': 'https://space.bilibili.com',
 9     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
10 }
11 
12 def download_face(url,mid,name):
13     ''' 下载头像 '''
14     print('正在下载用户头像...')
15     if not os.path.exists('b站用户头像'):
16         os.mkdir('b站用户头像') # 创建目录存放头像
17     img = requests.get(url,headers=headers).content # 获得头像的二进制源码
18     with open('b站用户头像/{}_{}.jpg'.format(mid,name),'wb') as f:
19         f.write(img)
20 
21 def get_user_ele_info(url):
22     '''获取用户基本信息'''
23     jsondata = requests.get(url).json()['data']
24     mid = jsondata['mid']
25     name = jsondata['name']
26     sex = jsondata['sex']
27     level = jsondata['level']
28     sign = jsondata['sign']
29     official = jsondata['official']['title']
30     vip_num = jsondata['vip']['type']
31     face_url = jsondata['face']
32     download_face(face_url,mid,name) #
33     print('用户UID：{}'.format(mid))
34     print('用户姓名：{}'.format(name))
35     print('用户性别：{}'.format(sex))
36     print('用户等级：{}'.format(level))
37     print('用户类型：{}'.format(vip_type.get(vip_num)))
38     print('用户个性签名：{}'.format(sign))
39     print('用户官方认证：{}'.format(official))
40 
41 def get_user_follow(url):
42     ''' __jp3获取用户关注数和粉丝数 '''
43     text_data = requests.get(url,headers=headers).text[6:-1] # str
44     # 获取的是非标准的json格式的数据，做一下字符串截取操作，去掉冗余数据
45     jsondata = json.loads(text_data) # 用json包重新加载一下字符串 ,变为dict类型
46     data = jsondata['data']   
47     following = data['following']
48     follower = data['follower']
49     print('用户关注数：{}'.format(following))
50     print('用户粉丝数：{}'.format(follower))
51 
52 def get_user_achieve(url):
53     ''' __jp4获取用户成就，如粉丝数、获赞数、播放数等 '''
54     text_data = requests.get(url,headers=headers).text[6:-1] 
55     jsondata = json.loads(text_data) 
56     data = jsondata['data']
57     video_views = data['archive']['view']
58     likes = data['likes']
59     print('用户获赞数：{}'.format(likes))
60     print('用户视频播放数：{}'.format(video_views))
61 
62 
63 def main():
64     for i in range(1,11):
65         url_ele_info = 'https://api.bilibili.com/x/space/acc/info?mid={}&jsonp=json'.format(i)
66         url_follow = 'https://api.bilibili.com/x/relation/stat?vmid={}&jsonp=jsonp&callback=__jp3'.format(i)
67         url_achieve = 'https://api.bilibili.com/x/space/upstat?mid={}&jsonp=jsonp&callback=__jp4'.format(i)
68         get_user_ele_info(url_ele_info)
69         get_user_follow(url_follow)
70         get_user_achieve(url_achieve)
71         print('-'*100)
72         
73 if __name__ == '__main__':
74     main()

运行结果：

用户头像：

 

二、

待续。。。