因工作内容需要，尝试爬取所有海南的A级景区，因之前通过BeautifulSoup爬取过一些网站，这次仍旧选了该组件，不过爬取的结果有点不如人意，景区数量和实际不匹配，尽管如此，还是把代码帖一下吧。

Python做网络爬虫和网页内容解析是比较专业的，提供了很多专业的爬虫框架或组件，内容解析也有多种组件支持，各有各的利弊，在此不做赘述。

爬虫的难点有三点：

1、针对自己的目标，爬取合适的网站

2、爬取网站的入口，及url的入口和归纳

3、网站内容的解析，需要了解网页的格式

当然更多的难度在于系统验证和反爬手段，本次爬虫不涉及系统验证和反爬，也不多做详述了。

代码示例

  1. #"""

  2. Created on 2019-02-26

  3. @author: Administrator

  4. """

  5. import urllib.request

  6. import csv

  7. import time

  8. from bs4 import BeautifulSoup

  10. #获取景点的url列表

  11. def getsceneryurl():

  12. #http://www.bytravel.cn/Scene/1a.html

  13. #http://www.bytravel.cn/Scene/1a5.html

  14. #http://www.bytravel.cn/Scene/2a.html

  15. #http://www.bytravel.cn/Scene/2a107.html

  16. #http://www.bytravel.cn/Scene/3a.html

  17. #http://www.bytravel.cn/Scene/3a268.html

  18. #http://www.bytravel.cn/Scene/4a.html

  19. #http://www.bytravel.cn/Scene/4a289.html

  20. #http://www.bytravel.cn/Scene/5a.html

  21. #http://www.bytravel.cn/Scene/5a33.html

  22. #参照上面的url规则定义

  23. dict = {'1a':5,'2a':107,'3a':268,'4a':289,'5a':33}

  24. sceneryurllist = []

  25. for key, value in dict.items():

  26. level=key

  27. num=value+1

  28. for i in range(num):

  29. if i==0:

  30. sceneryurllist.append("http://www.bytravel.cn/Scene/" + level+ '.html')

  31. else:

  32. sceneryurllist.append("http://www.bytravel.cn/Scene/" + level + str(i)+'.html')

  33. return sceneryurllist

  35. #解析url列表中的景区

  36. def getscenerydetaillist(urllist):

  37. scenerydetailinfolist = []

  38. i=0

  39. #获取当前url中的内容及景区

  40. for cururl in urllist:

  41. #测试1条url的10个景点

  42. #if cururl!='http://www.bytravel.cn/Scene/1a.html':continue

  43. #如果爬虫受限制，修改爬虫时间间隔

  44. #time.sleep(1)

  45. htmlscenerylist = urllib.request.urlopen(cururl).read()

  46. xmlscenerylist = BeautifulSoup(htmlscenerylist, 'lxml')

  47. #根据特征标签解析每一个景区

  48. for curscenry in xmlscenerylist.find_all(attrs={'style':r'margin:0 3px 0 3px;padding:2px 0 2px 0'}):

  49. # 了解每个景点的HTML标签主要情况，以便进行解析

  50. # curscenry=

  51. # <div id="tctitletop10">3、

  52. # <a class="f14b" href="/Landscape/34/huafoshan.html" target="_blank">化佛山</a>

  53. # <span style="padding:0 0 0 5px">

  54. # <font class="f14" color="red">A</font>

  55. # </span>

  56. # [

  57. # <a href="/view/index133.html" target="_blank">云南省</a>

  58. # <a href="/view/index507.html" target="_blank">楚雄州</a>

  59. # <a href="/view/index1956.html" target="_blank">牟定县</a>

  60. # ]

  61. # </div>

  62. i+=1

  63. scenery={}

  64. scenery['No']=i

  65. scenery['name'] = curscenry.findAll(class_="f14b")[0].get_text()

  66. scenery['star'] = curscenry.findAll(class_="f14")[0].get_text()

  67. scenery['areaname'] = []

  68. #解析景区地址，景区地址不固定

  69. for area in curscenry.select('a[href^="/view/index"]'):

  70. scenery['areaname'].append(area.get_text())

  71. scenery['content'] = curscenry.findAll(attrs={'style':r'margin:0px 10px 0px 10px;'})[0].get_text().strip().replace(' ', '')

  72. scenerydetailinfolist.append(scenery)

  73. return scenerydetailinfolist

  75. def savetocsv(scenerydetailinfolist):

  76. #列表中数组的结构

  77. #{'No': 921, 'name': '人民红园', 'star': 'AA', 'areaname': ['甘肃省', '临夏州', '临夏市'],'content': '人民红园位于。整个…[详细]'}

  78. #{'No': 922, 'name': '平阳寺', 'star': 'AA', 'areaname': ['浙江省', '绍兴市', '柯桥区'],'content': '位于浙江省绍兴县…[详细]'}

  79. pass

  80. with open("jingqu.csv", "w", newline="", encoding='utf-8') as datacsv:

  81. csvwriter = csv.writer(datacsv, delimiter='^',dialect=("excel"))

  82. for scenery in scenerydetailinfolist:

  83. sceneryno=scenery['No']

  84. sceneryname =scenery['name'].encode('utf-8').decode('utf-8', 'ignore')

  85. scenerystar =scenery['star']

  86. sceneryareaname=','.join(scenery['areaname']).encode('utf-8').decode('utf-8', 'ignore')

  87. scenerycontent =scenery['content'].encode('utf-8').decode('utf-8', 'ignore')

  88. csvwriter.writerow([sceneryno,sceneryname,scenerystar,sceneryareaname,scenerycontent])

  90. sceneryurllist =getsceneryurl()

  91. scenerydetailinfolist=getscenerydetaillist(sceneryurllist)

  92. savetocsv(scenerydetailinfolist)