本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

本文章来自腾讯云 作者:python学习教程

想要学习Python?有问题得不到第一时间解决?来看看这里满足你的需求,资料都已经上传至文件中,可以自行下载!还有海量最新2020python学习资料。

python爬虫 监控数据 python爬虫日志监控_python爬虫 监控数据

相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。

1.成品图

python爬虫 监控数据 python爬虫日志监控_爬虫_02

这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M。爬虫的原理都是一样的,只不过将数据存到InfluxDB的方式不一样而已, 如下图。

python爬虫 监控数据 python爬虫日志监控_python爬虫 监控数据_03


可以实现对爬虫数量,增量,大小,大小增量的实时监控

python爬虫 监控数据 python爬虫日志监控_爬虫_04


6. 存数据

InfluxDb数据库的数据有一定的格式,因为我都是利用python库进行相关操作,所以下面将在python中的格式展示一下:

python爬虫 监控数据 python爬虫日志监控_python爬虫 监控数据_05


python爬虫 监控数据 python爬虫日志监控_可视化_06


python爬虫 监控数据 python爬虫日志监控_python爬虫 监控数据_07


所以,到这里,如何将爬虫的相关属性存进去呢?以MongoDB为例

python爬虫 监控数据 python爬虫日志监控_可视化_08


那么现在我们已经往数据里存了数据了,那么接下来要做的就是把存的数据展示出来。

7.展示数据
7.1 配置数据源
以admin登录到Grafana的后台后,我们首先需要配置一下数据源。点击左边栏的最下面的按钮,然后点击DATA SOURCES,这样就可以进入下面的页面:

python爬虫 监控数据 python爬虫日志监控_爬虫_09

点击ADD DATA SOURCE,进行配置即可,如下图:

python爬虫 监控数据 python爬虫日志监控_python_10


其中,name自行设定;Type 选择InfluxDB;url为默认的http://localhost:8086, 其他的因为我前面没有进行配置,所以默认的即可。然后在InfluxDB Details里的填入Database名,最后点击测试,如果没有报错的话,则可以进入下一步的展示数据了;7.2 展示数据

点击左边栏的+号,然后点击GRAPH

python爬虫 监控数据 python爬虫日志监控_python爬虫 监控数据_11


接着点击下图中的edit进入编辑页面:

python爬虫 监控数据 python爬虫日志监控_数据_12


python爬虫 监控数据 python爬虫日志监控_爬虫_13


python爬虫 监控数据 python爬虫日志监控_数据_14