selenium获取方法

Selenium :

自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。

接下来我们获取美食杰里面的菜谱大全下面的孕妇菜谱的内容保存起来:

代码如下:

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time
driver = webdriver.Firefox()
driver.get('https://www.meishij.net/')
more = driver.find_element_by_class_name('hasmore')
ActionChains(driver).move_to_element(more).perform()
#获取a标签下的列表第7个值
driver.find_elements_by_xpath('//dl[@class="clearfix"]//a')[8].click()

for page in range(1,7,2):
    x = float(page) / 6
    # 获取整个网页可以滑动的长度
    ms = 'document.documentElement.scrollTop=document.documentElement.scrollHeight * %f' % x
    time.sleep(3)
    # 将字符串转化成可执行的代码
    driver.execute_script(ms)
    item_list_page = driver.find_elements_by_xpath('//div[@class="listtyle1"]/a')
    #遍历item_list_page
    for item in item_list_page:
        with open('item.txt','a',encoding='utf-8')as f:
            f.write(item.text)
            f.write('\n')

网页更新太快,有时候今天成功爬取的数据,明天这个代码就不能正常运行了.这就是爬虫的弊端.