乐胖代购免代理版

必知必会，掌握 HTTP 基本原理

本课时我们会详细讲解 HTTP 的基本原理，以及了解在浏览器中输入 URL 到获取网页内容之间发生了什么。了解了这些内容，有助于我们进一步掌握爬虫的基本原理。 URI 和 URL 首先，我们来了解一下 URI 和 URL，URI 的全称为 Uniform Resource Identifier，即统一资源标志符，URL 的全称为 Universal Resource Locator，即统一资源定位

python

http

java

linux

网络

原创 2022-03-28 16:28:25 56 阅读

章节测试二答案

1.数字型和字符串类型的变量完全可以互相转换。A. 正确 B. 错误答案解析正确答案：B 易错项：A数字型转字符串类型可以使用str()函数，字符串类型转数字型可使用int()和float()函数2.加法运算符可以用来连接字符串并生成新字符串。A. 正确 B. 错误答案解析正确答案：A 易错项：B3.不管输入什么，Python 3.x 中 input() 函数的返回值总是字符串。A. 正确

字符串

python

正则表达式

java

c++

原创 2022-03-28 16:26:11 1147 阅读

本博客基于Handsome主题的一些小修改教程

说明：博客用Handsome主题也有一段时间了，体验还不错，特别适合做个人博客，而博主基于原主题做了下小小的修改，使其更加好看点，鉴于经常有人问博主修改方法，这里就在博客里说一下，顺便也说一下博客没有使用的修改方案，给同样使用Handsome主题的做下参考。方法1、首页文章版式圆角化本项修改的是首页文章版式，包括图片使其四个角由方形变成圆角形状。将以下代码添加至后台主题设

html

css

java

less

github

原创 2022-03-28 16:25:29 2680 阅读

介绍 appium 环境搭建的两种方法

1. Appium 移动端自动化测试工具介绍 Appium 是一个自动化测试开源工具，支持 iOS 平台和 Android 平台上的原生应用，Web 应用和混合应用；原生应用：使用 IOS 活 SDK 开发的应用，我们通常称为：App； Web 应用：使用移动浏览器访问的应用，所以 Appium 支持 IOS 上的 Safari 也支持 Android 上的 Chr

java

android

linux

python

vue

原创 2022-03-28 16:23:17 118 阅读

Requests 和 Scrapy 中的代理 IP 设置

摘要： Requests 和 Scrapy 中的代理 IP 设置方法。目标测试网页如下，请求该网页可以返回当前 IP 地址：∞ http://icanhazip.com先来说说 Requests 中如何设置代理 IP。 ▌不使用代理先来看一下不使用代理 IP 的情况：import requestsurl = 'http://icanhazip.com'try: response

python

java

linux

机器学习

数据分析

原创 2022-03-28 16:22:54 1984 阅读

灵眸

你好，我是悦创。自此三年以来，我不曾或者不敢再提笔，希望一些被深藏。但，又或者是该直面过往的内心，何尝不是一种进步呢？一篇为简书比赛而书写的，也是直叙自己的懵懂吧！就这样，越走越远，有时候真想成为：白衣蓝剑·舞长空的那种心境却有不失落寞。如果，看了希望留下你的印记！《灵眸》 2018.06.05 20:09:25 你的微笑是我唯一的追求

algorithm

db

exception

zabbix

firefox

原创 2022-03-28 16:21:27 101 阅读

两行代码设置 Scrapy UserAgent

摘要：代理 UserAgent 设置方法汇总。许多网站设有反爬措施，要想顺利爬取，就需要反反爬措施，其中，设置随机 User-Agent 伪装请求头是一项基本措施，能够避免网站直接识别出你是一个爬虫而封掉你。随机 UA 设置方法有很多种，有的复杂，有的简单到只需一行代码，下面来一一介绍。 ▌常规设置 UA 先说不使用 Scrapy 的用法。比较方便的方法是使用 fake_useragent

python

java

windows

github

chrome

原创 2022-03-28 16:20:53 166 阅读

作业1丨创建问答式简历程序

一个问答式简历程序通过一句一句的提问获取用户的信息，生成一个格式化的简历如例：

小程序

java

python

linux

区块链

原创 2022-03-28 16:20:12 68 阅读

08-写网络爬虫程序的三种难度

写爬虫，是一个非常考验综合实力的活儿。有时候，你轻而易举地就抓取到了想要的数据；有时候，你费尽心思却毫无所获。好多 Python 爬虫的入门教程都是一行代码就把你骗上了“贼船”，等上了贼船才发现，水好深～比如爬取一个网页可以是很简单的一行代码：r = requests.get('http://news.baidu.com')非常的简单，但它的作用也仅仅是爬取一个网页，而一个有用的爬虫远远不止于

python

大数据

编程语言

人工智能

java

原创 2022-03-28 16:18:36 216 阅读

项目作业丨对话式对战游戏

对话式对战游戏作业基本要求完善老师课上演示的游戏增加血条增加敌人增加攻击类型

游戏

游戏开发

unity

java

原创 2022-03-28 16:18:16 115 阅读

大规模异步新闻爬虫

目录简单的百度新闻爬虫实现一个更好的网络请求函数实现功能强大、简洁易用的网址池(URL Pool)让 MySQL 数据库操作更方便实现一个同步定向新闻爬虫网页正文的提取用 asyncio 实现异步爬虫 1. 简单的百度新闻爬虫前面悦创我唠叨了很多内容，都是为今天的实战做铺垫。小悦们可能已经等得有些不耐烦了，那么我们就废话不多说，马上干起来！这个实战例子是构建一个大规模的异步新闻爬虫，但要分几

数据库

百度

uefi

webgl

oauth

原创 2022-03-28 16:17:59 302 阅读

密码保护：上网方法

这是一篇受密码保护的文章，您需要提供访问密码：密码：

java

python

数据库

密码保护

原创 2022-03-28 16:17:04 50 阅读

Fiddler设置手机代理

你好，我悦创。这回我来补充一下群友遇到的问题：首先需要点击 Tools->options->Connections->Allow remote computers to connect设置好之后，需要打开你的手机，在手机设置里把手机的代理设置为电脑端的IP和端口，因为不同手机的设置环境不同，这里需要你自行百度，假设我们电脑地址为 192.168.1.1，...

百度

app

android

python

安卓

原创 2022-03-28 16:16:53 392 阅读

学员答疑贴

学员答疑帖序号学号答疑帖链接0120200712https://www.aiyc.top/20200712-20220200714

其他

原创 2022-03-28 16:16:52 185 阅读

作业二丨创建一个运势预测软件

请按以下要求完成程序：对用户进行提问并获取用户输入当用户输入不同信息时程序输出不同的运势预测结果注意：考虑用户在输入错误时程序如何处理。 input() print() if 条件判断语句 ...

python

java

小程序

linux

算法

原创 2022-03-28 16:16:52 77 阅读

补充：简单普及「阅读即可」

概念了解现在学前端有些浪费时间了，因为你要发展 Python 网络爬虫方向，基本上是不用写前端了。如何要做逆向工程，则需学习 JavaScript语言解析HTMLHTML 是描述网页的语言，(超文本标记语言)，并不是编程语言。CSSCSS 层叠样式表，用来修饰页面。JavaScriptJavaScript 网络脚本语言，用来和用户进行...

网络

脚本语言

python

ajax

java

原创 2022-03-28 16:16:52 86 阅读

04-Fiddler 配置及简单操作

04-Fiddler 配置及简单操作公众号：AI悦创你好，我是悦创。抓包软件名称支持的操作系统使用平台调试难易程度软件功能程度FiddlerWindows/Linux网页端、APP 端一般多MitmproxyWindows/Mac/Linux网页端、APP 端一般多Packet Capture安卓APP 端简单少本章我将带大家学习 Fiddler 抓包软件的安装以及介绍，本章我将给大

python

数据

服务器

选项卡

原创 2022-03-28 16:14:32 174 阅读 1收藏

AI悦创·进化岛（交流-1）

Django 与 Flask个人观点：django 和 flask 是两种完全不同风格的框架。 django 是大而全，就是 django 尽量帮你做好所有功能。比如自动化的后台管理系统。这些可以让你尽快熟悉web开发中需要用的知识点。flask一个属于小强调开发灵活性的框架。就是尽量什么都不帮你做，自己去写或者集成第三方。这些可以让你慢慢的理解原理。从学习成本和开发成本上来讲 django

java

web开发

django

编程语言

人工智能

原创 2022-03-28 16:13:27 114 阅读

还没用异步，爬取就速度太快？更智能的延迟插件

1. 前言你好，我是悦创。最近好久没更新公众号了，一直在啃代理池也快啃完一些了，然后发现公众号终于邀请小悦开通付费阅读体验，为此，就先来分享一下延迟插件的实现。其实，很忐忑。因为，别人付费之后发现不值这个钱亏了，就会流失好不容易攒起来的关注率。所以付费得保证绝对原创与精品。上一篇，我带你手摸手入门了 App 爬虫，可是问题来了，或许你没有想到，但这个问题确实存在，也就是爬虫速度要是过快该怎么办

python

初始化

数据

公众号

原创 2022-03-28 16:13:09 166 阅读

多个站点同时抓取！怎么做到的？

好久没来更新公众号了，也感谢各位的陪伴。本篇也将开启我自己啃代理池的心得，将逐步放送，因为代理池搭建较为复杂，这里我就尽可能把代理池分成几篇来讲，同时也保证，在我其他篇放出来之前，每一篇都是你们的新知识。学习就像看小说一样，一次一篇就会显得额外的轻松！当你把学习当作某个娱乐的事情来做，你会发现不一样的世界！我们无法延长生命长度，但是我们延长生命宽度，学习编程就是扩展生命最有力的武器！ 1. 看完

python

面向对象编程

proxy

编程语言

html

原创 2022-03-28 16:11:58 170 阅读

又回到最初的起点：软件和程序

1. 软件和程序每每提到“编程”这个词，大家都会觉得这是件高端、神秘的事，或者会皱皱眉头，觉得这肯定是个挺难的事儿吧？基本所有与编程没有打过交道的人，都认为编程似乎被一群秃头的程序员垄断了，是一种旁人无法介入的专属行为。而就在这一两年里，“少儿编程”的概念又伴随着素质教育、stem 教育迅速崛起。好像一时之间，连小学生、幼儿园小朋友都开始学编程了。而且还有不少幼儿型选手拿了不少编程大奖！所以

java

编程语言

python

小程序

大数据

原创 2022-03-28 16:10:30 31 阅读

10-多路加速，了解多进程基本原理

在上一课时我们了解了多线程的基本概念，同时我们也提到，Python 中的多线程是不能很好发挥多核优势的，如果想要发挥多核优势，最好还是使用多进程。那么本课时我们就来了解下多进程的基本概念和用 Python 实现多进程的方法。 1. 多进程的含义进程(Process)是具有一定独立功能的程序关于某个数据集合上的一次运行活动，是系统进行资源分配和调度的一个独立单位。顾名思义，

队列

python

多线程

java

多进程

原创 2022-03-28 16:09:19 168 阅读

00-致词：让正念融入我们的生活

Hi, 朋友你好，我是刘轩，欢迎你参加 Mindfulness Now 正念课程。正念，是过去十年来，在心理医学领域，最令人振奋的研究方向之一，也是我认为最有潜力，提升个人心理健康和生活质量的技巧之一。但我们最常听到的一个反馈就是：「我很想学，但是我实在太忙了。」这是很多人对正念持有的一个误解，觉得它会需要很多时间，或是一个很大、很专注的精神投入，才能够练得起来。在这里，我

人工智能

编程语言

java

游戏

强化学习

原创 2022-03-28 16:08:30 49 阅读

为什么我们要学习编程？

1. 为什么需要学习编程？如今，学习编程的人分为两类，一类是程序员，另一类是期望成为程序员的人。编程这个事儿，在大多数人眼中还是一种特定领域的、专门的技能，认为学的人都是需要以此谋生的。其实，我曾经跟一个作为一个“码龄”超过20年的老程序员聊过，他是这样认为的：在不久的将来（也许三五年，也许十来年之后），编程将从一个职业技能逐步蜕变为职场通用技能。对此，我们可以类比“识字”这个技能来看——

编程语言

数据

经典算法

原创 2022-03-28 16:07:53 319 阅读

学习数据挖掘的最佳路径是什么？

上一节中，我给你分享了数据分析的全景图，其中最关键的部分就是数据挖掘，那什么是数据挖掘呢？想象一下，茫茫的大海上，孤零零地屹立着钻井，想要从大海中开采出宝贵的石油。对于普通人来说，大海是很难感知的，就更不用说找到宝藏了。但对于熟练的石油开采人员来说，大海是有坐标的。他们对地质做勘探，分析地质构造，从而发现哪些地方更可能有石油。然后用开采工具，进行深度挖掘，直到打到石油为止。

数据挖掘

算法

大数据

编程语言

python

原创 2022-03-28 16:07:09 92 阅读

数据归一化「练习」

数据归一化使用 NumPy，下载 iris.data 数据集。仅提取 iris 数据集的第二列 usecols = [1]做数据归一化处理数据集链接：本题数据集文件名称：rating.txt本题数据链接：蓝奏云文件链接：https://aiyc.lanzous.com/iaVCifnpl0j在线请求链接：https://images-aiyc-13016413

数据集

归一化

数据

原创 2022-03-28 16:06:48 523 阅读

和你聊聊哈希算法

你好，我是悦创。今天我们不聊爬虫，我们聊聊哈希算法，我算法其实一直都很烂，最近觉得得安排上日程了。毕竟好记性不如烂笔头嘛，所以就搞了这个篇当作算法的第一篇吧，写的有很多不足之处，不过我会继续努力的！目录和你聊聊哈希算法什么是哈希函数？ 1. 和你聊聊哈希算法 1.1 引言哈希算法又称散列函数算法，是一种查找算法，应该说哈希算法是最快的查找算法，没有之一。对于查找问题

算法

python

数据结构

java

数据库

原创 2022-03-28 16:06:17 328 阅读 1点赞 1收藏

01-Pandas 环境安装配置

标准的 Python 发行版并没有将 Pandas 模块捆绑在一起发布。安装 Pandas 模块的一个轻量级的替代方法是使用流行的 Python 包安装程序，pip 来安装 NumPy。pip install pandas大多数用户安装 pandas 最简单的方法是将其作为 Anaconda 发行版的一部分进行安装，这是一个用于数据分析和科学计算的跨平台分发。这是大多数用户推荐的

Pandas

anaconda

人工智能

python

发行版

原创 2022-03-28 16:02:10 203 阅读

Requests 库的基本使用

上一课时我们了解了一些学习爬虫所需要的基本知识。从本课时开始，我们正式步入Python 爬虫的大门。学习爬虫，最基础的便是模拟浏览器向服务器发出请求，那么我们需要从什么地方做起呢？请求需要我们自己来构造吗？需要关心请求这个数据结构的实现吗？需要了解 HTTP、TCP、IP 层的网络传输通信吗？需要知道服务器的响应和应答原理吗？可能你无从下手，不过不用担心，Python 的强大之处就是提供了功能齐全

python

java

http

数据库

编程语言

原创 2022-03-28 16:01:49 522 阅读

「实战」南京房价的秘密——准备篇

公众号：AI悦创公众号最先发送！本文给大家准备了房地产大数据，基于爬虫采集来自互联网的公开信息，数据可以分为 4块：小区信息二手房在售信息二手房成交信息租房信息为了降低数据的清洗难度，提高实战的可重现性，爬虫在设计阶段注重考虑了数据采集的规整度，因此采集到的数据相对比较干净，但是距离直接用来可视化还是有相当距离的，本文，就来帮大家把这个坑填好~ 房地产数据准备房价，一个离我们很近又很远的词汇。很近

数据

字段

公众号

原创 2022-03-28 16:01:17 126 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

AI悦创