分析背景
注册用户近4W人，最高峰活跃用户过2W，日常活跃用户过1W，通过nginx日志分析记录用户流量及系统负载等。系统采用3台nginx轮询负载，故三台流量均衡，取流量最高日进行分析。
日志格式如下所示：
系统数据：单表最大6g,单条数据根据表结构不同最大1.3k,最小0.18k,平均每天占用磁盘空间17G左右，表数据日最高：血压表近6W，佩戴状态表420W，心率表520W，呼吸率表560W，睡眠表27W，血氧表500W，运动表1500W，温度表600W，轨迹表16W
PV:日最高可达2000W
IP数量：日最高可达1.8W
系统并发：秒级可达4K 分级可达4W
通过ip相关统计可在系统突发流量异常情况下，分析是否受到攻击
页面访问统计及性能分析：可根据api访问频率及响应时间，优化对应接口，提高系统性能
一、统计PV,UV数
1、统计所有的PV数
cat access.log | wc -l
2、统计指定某一天的PV数
cat access.log-20220204 | sed -n '/03\/Feb\/2022/p' | wc -l
3、根据访问IP统计UV--近1.8W
awk '{print $1}' access.log|sort | uniq -c |wc -l
二、IP相关统计
1、统计每个IP访问次数
awk '{print $1}' access.log|sort | uniq -c
2、统计IP访问量（独立ip访问数量）--近1.8W独立IP
awk '{print $1}' access.log | sort -n | uniq | wc -l
3、查看某一时间段的IP访问量(10-11点)
grep "02/Feb/2022:1[0-1]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l
4、查看访问最频繁的前100个IP
awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100
5、查看访问100次以上的IP
awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn
6、查询某个IP的详细访问情况,按访问频率排序
grep '101.242.68.110' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100
三、页面访问统计
1、查看访问最频的api(TOP100)awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100
2、查看访问最频的页面([排除sendHrSpo2HalfOriginalData接口】(TOP100)
grep -v "sendHrSpo2HalfOriginalData" access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100
3、查询访问最频繁的api
awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more
4、查看页面访问次数超过100次的api
cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' |less
5、查看最近1000条记录，访问量最高的页面
tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less
四、每秒每分钟每小时请求量统计
1、统计每秒的请求数,top100的时间点(精确到秒)--近4k并发
awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100
2、统计每分钟的请求数,top100的时间点(精确到分钟)
awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100
3、每小时的请求数,top100的时间点(精确到小时)
awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100
五、性能分析
*在nginx log中最后一个字段加入$request_time
1、列出传输时间超过 3 秒的页面，显示前20条
cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20
2、列出uploadDataV2请求时间超过3秒的页面，并统计其出现的次数，显示前100条
cat access.log|awk '($NF > 3 && $7~/\uploadDataV2/){print $7}'|sort -n|uniq -c|sort -nr|head -100
