话不多说,直接上代码,代码里写了注释,有兴趣讨论一下的,欢迎指点评论。
import time
from urllib.request import urlopen,Request
#引入回车键的包,这些都是基本配置
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
}
chrome_options=Options()
#以下两个语句是设置浏览器是否可见,设置不可见时程序依然驱动一个浏览器去访问网页,只是我们看不见而已
#chrome_options.add_argument('--headless')
#chrome_options.add_argument('--disable-gpu')
driver=webdriver.Chrome(options=chrome_options)
#这个链接是浏览器访问的网页
music=driver.get("https://music.sounm.com/")
#设置一个列表存储音乐来源
source_s=[]
#查找来源,解析出来后加入创建的列表
source=driver.find_elements_by_xpath('//*[@id="j-type"]/label')
print("音乐来源主要有以下几个:")
for so in source:
source_s.append(so.text)
print(so.text,end=" ")
print('\n')
#用户选择音乐来源
lai_yuan=input("请选择音乐来源(输入来源名,如百度):")
#查找到的元素与用户输入的进行一一匹配
for i in range(len(source_s)):
if lai_yuan==source_s[i]:
dian=driver.find_elements_by_xpath('//*[@id="j-type"]/label/span/i[2]')
dian[i].click()
#匹配到就退出循环
break
else:
if i==len(source_s)-1:
print("没有找到这个音乐来源,请重新启动程序,重新输入:")
#没有匹配到就退出程序
exit()
#用户输入要搜索的歌曲
mi_n=input("请输入音乐名,连歌手名一起输入可提高匹配度:")
#查找网页的输入框
inp_ut=driver.find_element_by_xpath('//*[@id="j-input"]')
#将用户输入的内容填进搜索框
inp_ut.send_keys(mi_n)
#回车进行搜索
driver.find_element_by_id('j-input').send_keys(Keys.ENTER)
#睡眠2秒,等待网页加载
time.sleep(2)
#建一个列表存储搜索到的歌名
name_s=[]
#建一个列表存储歌名对应的歌手名
nam_es=[]
#找到歌曲名对应的标签,程序会自动形成一个列表
w_names=driver.find_elements_by_xpath('//*[@id="j-player"]/div[3]/ol/li/span[3]')
#如果没有找到标签,就退出程序
if len(w_names)==0:
print('未找到歌曲!请重新启动程序。')
exit()
#找到歌手名对应的标签
r_names=driver.find_elements_by_xpath('//*[@id="j-player"]/div[3]/ol/li/span[4]')
for i in range(len(r_names)):
name_s.append(w_names[i].text)
nam_es.append(r_names[i].text)
print("以逗号为界,前面的是歌名,后面的是歌手,下载时,请输入歌手的名字!")
#将歌名和歌手名组成一个元组,方便用户查看
for n in list(zip(name_s,nam_es)):
print(n)
#该网址搜到歌曲后会自动播放,所以要找到歌曲的暂停按钮停止播放
try:
#设置一个报错机制,防止程序崩溃
driver.find_element_by_xpath('//*[@id="j-player"]/div[1]/div/button').click()
print('音乐已暂停!')
except:
print('未找到暂停按钮!')
#找到音乐的歌名和歌手,作为文件名
t_name=''
#下载音乐的链接
url=''
def search():
#设置全局变量,否则在函数里无法访问函数外的变量
global t_name,url
ge_shou=input("请输入歌手名:")
#输入的歌手名和搜索到的歌手名进行对比
for k in range(len(nam_es)):
if nam_es[k]==ge_shou:
#哪一项对比上就点击该项
r_names[k].click()
#对文件名进行拼接
t_name=name_s[k]+'--'+nam_es[k]
#得到音乐地址的链接
new_url=driver.find_element_by_xpath('//*[@id="j-src-btn"]').get_attribute('href')
print(new_url)
time.sleep(1)
#点击了r_names[k]之后,会播放对应的歌曲,设置程序让它暂停
try:
#找到暂停按钮对应的标签
driver.find_element_by_xpath('/html/body/video').click()
print('播放已暂停!')
except:
print('按钮找不到!')
#重新请求得到的音乐地址的链接,
driver.get(new_url)
''' try:
time.sleep(2)
#让程序暂停2秒,让网页加载,否则暂停的按钮可能找不到
driver.find_element_by_xpath('//*[@id="j-player"]/div[1]/div/button').click()
print('播放已暂停!')
except:
print('按钮找不到!')'''
url=driver.find_element_by_xpath('/html/body/video/source').get_attribute('src')
print(url)
#退出匹配的循环
break
else:
#如果k等于已找到标签的个数,说明没有匹配上
if k==len(nam_es)-1:
print("没有找到这首歌,请重新输入歌手名:")
#这时候,是用户输入有误,所以重新输入,即重新调用这个函数
search()
search()
#关闭浏览器
driver.quit()
#下载函数,传入音乐对应的链接即可
def down(url):
#设置报错机制防止程序崩溃
try:
re=Request(url)
data=urlopen(re)
data=data.read()
#打开文件,以二进制的形式写入文件就下载好了
f=open('E:\\Desktop\\music\\{}.mp3'.format(t_name),'wb')
f.write(data)
f.close()
print('下载成功!')
except:
print('下载失败!')
print('正在下载.......')
down(url)
总结:学习爬虫已经有一段时间了,总结下来,爬取音乐、视频、图片等二进制文件,爬取小说,直接解析网页中的文字就好了,找到了直接写入文件就是了,没什么大不了,难的是找到文件对应的链接地址,因为网站为了保护目标文件采用了很多的反爬机制,而且技术在不断进步,所以找起目标文件来颇为费力。