乐胖代购免代理版

python

爬虫

反爬虫

原创 2023-06-07 08:53:03 79 阅读

使用PhantomJS+Selenium抓取经过JS渲染的页面

介绍PhantomJSPhantomJS下载地址PhantomJS是一个服务器端的 JavaScript API

javascript

webkit

css

Selenium

python

原创 2023-06-07 07:10:15 207 阅读

北京汉传佛寺游人评价数据的抓取与分析（1）

之前写好的部分明明已经保存了的，为啥就不见了呢mdzz!要求：运用Python语言编写网

python

自然语言处理

网络爬虫

css

html

原创 2023-06-07 07:09:17 64 阅读

基于Beautiful Soup 4.2.0文档的学习记录（1）——find()、find_all()、findAll()

find() find( name , attrs , recursive , text , **kwargs )find_all()方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中

文档

标签

tag

搜索

ci

原创 2023-06-07 00:28:08 120 阅读

基于Beautiful Soup 4.2.0文档的学习记录（2）——CSS选择器

注：配合chrome浏览器检查元素功能效果更佳Beautiful Soup支持大部分的CSS选择器,在 Tag 或 BeautifulSoup 对象的 .select() 方法中传入字符串

css

chrome

文档

浏览器

对象

原创 2023-06-07 00:28:03 63 阅读

基于Beautiful Soup 4.2.0文档的学习记录（3）——get_text()、get()

aaa

bs4

字符串

ico

分隔符

原创 2023-06-07 00:27:41 135 阅读

关于ctrip搜索内容的一点尝试

In [54]: a=parse.quote('万寿寺北京', encoding='utf-8')In [55]: aOut[55]: '%E4%B8%87%E5%AF%BF%E5%AF%BA%E5%8C%97%E4%BA 'E5', 'AF', 'BF', 'E5', 'AF', '

搜索

爬虫

原创 2023-06-07 00:26:39 65 阅读

北京汉传佛寺游人评价数据的抓取与分析（2）

用了不到4天的时间，一共抓取了17个寺院的3个信息来源的11049条评论使用 wordcloud, jieba, PIL, matplotlib, numpy 进行分词，统计词频，

分词

词云

自然语言处理

numpy

Image

原创 2023-06-07 00:26:19 68 阅读

使用 xpath 定位包含指定文本内容的标签

browser.find_element_by_xpath('//button/span[contains(text(), "指定文本内容")]').click()指定文本内容可以是匹配全部文本也可是匹配部分文本

xpath

标签

selenium

原创 2023-06-07 00:19:09 1859 阅读

设置 PhantomJs 的 User-Agent 的方法

class BaseTest(unittest.TestCase): @classmethod def setUpClass(cls): fire_fox_user_agent = "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:5Desire

PhantomJs

Selenium

自动化测试

Windows

原创 2023-06-07 00:19:02 89 阅读

xpath 获取当前节点的父节点，兄弟节点的方法

xpath_input_exp_mark = '//label[contains(text(), "文本内容")]/../following-sibling::div[1]//input'browser.find_element_by_xpath(xpath_input_

xpath

父节点

原创 2023-06-07 00:18:49 1030 阅读

Python爬虫知识（2）——正则表达式复习

"""特殊字符1、 ^ $ * ? + {2} {2,} {2,5} |2、 [] [^] [a-z] .3、 \s \S \w \W4、 [\u4E00-\u9FA5] () \d"""import re# line = 'bobby123'# . 代表任意字符， * 代表前边的字符出现任意多次# b 开头，后边任意字符出现任意多次# re_pattern = '^b.*'# if

python

正则表达式

爬虫

u9

特殊字符

原创 2023-06-07 00:14:18 45 阅读

关于设置爬虫随机user-agent的一点尝试

user_agent = [ \ "Mozilla/5.0 (Win "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.

爬虫

Chrome

Windows

Mac

原创 2023-06-06 21:34:05 99 阅读

关于设置爬虫随机proxy的一点尝试

proxy_list = [ 'http://117.177.250.151:808random.choice(proxy_list) # 随机获取代理ipproxies = {'http': proxy_ip}

爬虫

原创 2023-06-06 21:34:01 1988 阅读

python requests获取response headers中的location

python requests获取response headers中的location 只要类似如下做即可import requests res = requests.post(url=url, headers=headers, data=data, allow_redirects=False) # 注 allow_redirects=False是必须的 print(res.h

xml

html

python

转载 2023-06-06 17:07:31 1286 阅读

python requests 禁止重定向

r = requests.get('http://github.com', allow_redirects=False)http://www.testclass.net/requests/redirect/https://testerhome

github

.net

原创 2023-06-06 17:02:42 230 阅读

使用 requests 模拟用户单点登录的方法

每周开周会的时候，总是因为抢不到会议室使得下班太晚吃不上饭。遂从上个月

参考资料

单点登陆

重定向

原创 2023-06-06 16:54:05 247 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb647eeee548bfc的博客

欢迎

关于反爬虫的一点了解

使用PhantomJS+Selenium抓取经过JS渲染的页面

北京汉传佛寺游人评价数据的抓取与分析（1）

基于Beautiful Soup 4.2.0文档的学习记录（1）——find()、find_all()、findAll()

基于Beautiful Soup 4.2.0文档的学习记录（2）——CSS选择器

基于Beautiful Soup 4.2.0文档的学习记录（3）——get_text()、get()

关于ctrip搜索内容的一点尝试

北京汉传佛寺游人评价数据的抓取与分析（2）

使用 xpath 定位包含指定文本内容的标签

设置 PhantomJs 的 User-Agent 的方法

xpath 获取当前节点的父节点，兄弟节点的方法

Python爬虫知识（2）——正则表达式复习

关于设置爬虫随机user-agent的一点尝试

关于设置爬虫随机proxy的一点尝试

python requests获取response headers中的location

python requests 禁止重定向

使用 requests 模拟用户单点登录的方法