mb58bd586c30411的博客_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 软考 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

Docker镜像仓库

docker仓库的使用什么是镜像仓库? 存放着很多镜像的仓库为什么要使用镜像仓库？起到备份作用 方便其他机器下载使用镜像仓库的种类？我们可以大致分为俩大类：

原创 2021-08-01 17:44:29 10000+阅读

压力测试Jmeter安装

目前用的常用测试工具对比 loadrunner“ 性能稳定，压测结果及细粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多 apache ab(单接口压测最方便)：模拟多线程并发请求,ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服务器造成巨大的负载, 简单DDOS攻击等 webbench：webbench首先fork出多个子进程，每个子进

其他
原创 2021-07-27 15:35:52 10000+阅读

设计模式

目录概述创建型单例（Singleton）1. 懒汉式(线程不安全)2. 懒汉式(线程安全)3. 饿汉式(线程安全)4. 静态内部类5. 双重校验锁6. 枚举实现简单工厂（Simple Factory）工厂方法（Factory Method）抽象工厂（Abstract Factory）生成器（Builder）原型模式（Prototype）...

单例模式
装饰者设计模式
代理
简单工厂
原型模式
原创 2021-07-19 11:21:00 10000+阅读

Spark经典案列之JdbcRDD就不用sqoop了

JdbcRDD图示：代码展示：object JdbcRddDemo { val getConn = () => { DriverManager.getConnection("jdbc:mysql://localhost:3306/lj?characterEncoding=UTF-8", "root", "root") } def main(args: A...

java
编程
java编程
编程语言
原创 2021-07-19 11:20:39 10000+阅读

静静网站流量分析项目之网页埋点_1

在上一篇介绍了“静静网站流量分析"项目的整体架构，我们会先进行应用服务的建设，所以本篇介绍的是如何在网页中进行埋点。目录1.网页埋点（本质:开发JS）2.js编写3.开发应用服务器代码 JingJingAppServer4.开发日志服务器代码JingJingLogServer1.网页埋点（本质:开发JS）开发js文件，要求应用服务器的所有页面都引入这个js文...

静静网站流量分析项目
JS埋点
存入日志
经验分享
原创 2021-07-15 11:28:03 10000+阅读

静静网站流量分析项目_0

最近打算把大数据从日志收集，数据存储，数据清洗处理，数据导出，可视化展示进行一个整合,汇总到静静网站流量分析项目，本篇先对该项目做一个简单的介绍。1.业务背景 网站流量统计是改进网站服务的重要手段之一，通过获取用户在网站的行为数据，进行分析,得到有价值的信息。可以基于这些数据对网站进行改进。 1.按照在线情况分析： ...

静静网站流量分析项目
经验分享
原创 2021-07-15 11:28:02 10000+阅读

静静网站流量分析项目之日志收集数据到flum_2

1.在日志服务器中，通过Log4jAppender将日志发往flume客户端1.1 在日志服务器应用中导入Flume相关开发包，WEB-INF/lib下1.2 导入log4j的jar包，配置log4j配置文件log4j.properties，实现发送日志给flumelog4j.rootLogger = info,stdout,flumelog4j.appender.stdout ...

静静网站流量分析项目
flum
经验分享
原创 2021-07-15 11:28:00 10000+阅读

静静网站流量分析项目之flum中心服务器到HDFS存储_3

1.启动hadoop:start-all.sh2.修改中心服务器配置文件：#声明Agenta1.sources = r1a1.sinks = k1a1.channels = c1#声明sourcea1.sources.r1.type = avroa1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 44444#声...

静静网站流量分析项目
flum
hadoop
HDFS
经验分享
原创 2021-07-15 11:27:59 10000+阅读

静静网站流量分析项目之离线处理_数据清洗_4

在这一片我们将介绍如何将HDFS上的数据进行清洗得到自己想要的数据。在HDFS上我们得到的如下的信息"http://localhost/FluxAppServer/a.jsp|a.jsp|A页面|UTF-8|341x256|24-bit|zh-cn|0|1||0.5514263453546305|http://localhost/FluxAppServer/b.jsp|Mozilla/5.0...

静静网站流量分析项目
离线清洗
hive
外部表
分区表
原创 2021-07-15 11:27:57 10000+阅读

静静网站流量分析项目之hive数据处理_5

数据处理简单来说就是要用hsql真正的来实现我们的业务逻辑1. 利用Hive实现业务指标的计算a. PV访问量，一天之内访问的总量，有多少条日志就是多少个访问量。select count(*) as pv from dataclear where reportTime='2019-06-18';b. UV独立访客数，一天之内用户的总数，将一天内所有日志的uvid去重后计数...

静静网站流量分析项目
处理数据
计算标签
hsql
hive
原创 2021-07-15 11:27:55 10000+阅读

静静网站流量分析项目之自动化执行脚本_6

1.在MySql中创建需要的数据库和表create database JingJingdb;use JingJingdb;create table tongji1(reportTime date,pv int,uv int,vv int,br double,newi...

静静网站流量分析项目
离线分析
自动化脚本
定时任务
经验分享
原创 2021-07-15 11:27:53 10000+阅读

静静网站流量分析项目之实时分析消费flum数据_7

目标：将flum中心服务器的数据发布一份到kafka,用到的是Kafka Sink。1.修改两个节点的Flume中心服务器配置增加kafkaSink，将数据实时导入kafka#声明Agenta1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2#声明sourcea1.sources.r1.type = avroa1...

静静网站流量分析项目
kafka
flum
实时分析
Kafka Sink
原创 2021-07-15 11:27:51 10000+阅读

静静网站流量分析项目之实时分析sparkstreaming_8

简单回顾在上一篇介绍了如何将Flume的sink数据实时导入kafka。本篇将主要介绍sparkstreaming消费kafka数据，将消费到的数据“kafkaStream”在spark清洗数据，得到清洗后的数据“clearStream”，处理数据（基于清洗后的数据算出8个指标）得到结果数据resultStream。最后将结果数据存储在mysql中。Spark的数据来源有两种，第一种...

静静网站流量分析项目
实时分析
spark
kafka
flum
原创 2021-07-15 11:27:49 10000+阅读

静静网站流量分析项目之echarts可视化展示_9

回顾上一篇已经将数据存储在mysql中，在这一篇我们将需要把mysql中的数据以图表的形式展现出来。获取数据库数据需要导入mysql驱动包具体代码实现：package com.lj;import java.io.IOException;import java.sql.Connection;import java.sql.Date;import java.sql.Driv...

静静网站流量分析项目
echarts
可视化
实时展示
经验分享
原创 2021-07-15 11:27:47 10000+阅读

静静网站流量分析项目之集群部署_10

浏览器访问应用服务器，得到的页面触发JS,JS采集的数据通过网页嵌入的图片提交到日志服务器 ，日志服务器通过Log4jAppender发给FlumAgent进行数据收集,FlumAgent将数据通过随机分发在两个中心服务器上。离线分析：中心服务器将数据按日期存储在HDFS上，用hive对HDFS上的数据进行清洗，得到自己想要的字段保存起来，把清洗后的数据进行处理，通过定时任务hive每天晚上...

静静网站流量分析项目
集群搭建
大数据
大数据入门实战
大数据集群汇总
原创 2021-07-15 11:27:46 10000+阅读

爬虫入门案例——爬取电影信息

综述：先介绍开发环境，在介绍从豆瓣电影上面爬取电影的电影名称，电影信息，电影剧照等信息，最终效果是以电影名称为文件夹名，文件夹包含一个txt文件和许多张剧照。如下图所示1是电影名，2是电影信息，3是各种剧照 1.Python爬虫框架比较知名框架的是Scrapy 和PySpider。PySpider 上手更简单，操作更加简便，增加了 WEB ...

python
爬虫
python实战
爬虫入门案例
经验分享
原创 2021-07-15 11:27:44 1826 阅读

SpringData入门案列

springData基础目录1.创建项目，导入依赖：pom.xml2.配置Spring核心配置文件：ApplicationContext.xml3.创建实体：4.Repository接口5.Repository接口中方法定义约定6.@Query注解自定义SQL7.CrudRepository接口8.PagingAndSortingRepository接口1....

大数据
SpringData
经验分享
原创 2021-07-15 11:27:43 180 阅读

Hive中存储json格式的数据

启动hadoopstart-all.sh启动hive./hive加载hcatalog包，此包已经包含在hive中add jar hive目录/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.0.jar;准备一批json数据{"rate":"7.5","cover_x":2000,"title":"陪审员",...

Hive
Json
大数据处理Json
将json存在mysql
经验分享
原创 2021-07-15 11:27:40 1184 阅读

精英教育业务数据处理分析

目录业务背景业务需求：生产测试数据导包模板文件: jyjy.ftl生成bean类准备数据类Hive中存储json格式的数据加载hcatalog包，此包已经包含在hive中创建可以处理json格式数据的表加载数据Flume收集数据到Hive表1.配置环境变量2.初始化hive的元数据库3.建立事务性vip表4.启动Hive的Rem...

# 精英教育项目
大数据自动化生成测试数据
FreeMark
hives事务
SpringData
原创 2021-07-15 11:27:39 135 阅读

如何通过SpringData操作Hive数据

目录1.创建项目导入相关依赖2.编写Spring配置文件3.启动Hive的远程连接服务HiveServer24.通过API操作HIVE1.创建项目导入相关依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...

大数据
大数据hive
大数据SpringData
操作hive方法
经验分享
原创 2021-07-15 11:27:36 338 阅读

Spark系列七：Spark 任务执行的流程详解及相关概念

目录spark总体流程图示图解详解DAG（Directed Acyclic Graph）详解Stage总结细节流程总体流程线程池序列化spark总体流程图示：图解：四个步骤1.RDD Objects:构建DAG（调用RDD上的方法）2.DAGScheduler将DAG切分Stage（切分的依据是Shuffle），将Stage中生成的Task以...

spark
原创 2021-07-15 11:27:17 2139 阅读

Spark系列三：Spark经典案列之 求前几名问题，最受欢迎的

1.在所有的老师中求出最受欢迎的老师Top32.求每个学科中最受欢迎老师的top3（至少用2到三种方式实现）文件内容;http://english.com.lj/laodahttp://english.com.lj/laodahttp://english.com.lj/laoerhttp://english.com.lj/laoerhttp://english.com.lj/...

spark
原创 2021-07-15 11:26:44 71 阅读

Spark系列五：Spark经典案列之使用各种方法实现自定义排序

目录概述方案汇总方法一方法二方法三方法四方法五方法六概述总体需求：Array("laoduan 30 99", "laozhao 29 9999", "laozhang 28 98", "laoyang 28 99")排序规则：首先按照颜值的降序，如果颜值相等，再按照年龄的升序。下面列举了各种排序思路。方案汇总方法一建了一个user类，继承了...

spark
原创 2021-07-15 11:26:33 273 阅读

Spark系列四：Spark的经典入门案列之ip地址归属地查询

目录概述代码实现单级模式分布式模式方案一：方案二：工具类提示：所有需要的文件我全部放在资源里面了，可以自行下载概述需求：根据访问日志的ip地址计算出访问者的归属地，并且按照省份，计算出访问次数，然后将计算好的结果写入到MySQL解决方案流程： 1.整理数据，切分出ip字段，然后将ip地址转换成十进制 2.加载规则，整理规则，取出有用的字段...

spark
原创 2021-07-15 11:06:23 641 阅读

scala基础语法篇

目录 安装 数据类型 变量，常量 字符串 操作符 条件表达式  while用法 for循环 for yield 表达式 声明map(key->value) 异常处理机制 break 和continue 安装 1.window安装，一路下一步 2.cmd   窗口输入  >scal 数据类型 Any ->         AnyVal -> 7 数据类型(Byte、Char

scala
scala异常处理机制
scala操作符
scala数据类型
原创 2021-07-15 11:04:56 305 阅读

序列化框架之AVRO

目录概述序列化RPC概述1.AVRO是Apache提供的开源框架，可以完成序列化以及RPC过程2.原来是Apache Hadoop项目的子项目，后来不止可以用于Hadoop，也可以用于其他框架中进行序列化以及RPC，所以单立出来成为了Apache的顶级项目3.AVRO在序列化数据的时候是以字符串形式体现，以json形式来作为约束4.RPC用于完成数据的通信，使得前端...

并发
序列化
RPC
反序列化
经验分享
原创 2021-07-15 11:04:14 258 阅读

NIO

目录简述NIO与BIO的比较NIO组成Buffer 缓冲区存储类型重要的位置重要的操作常用语法Channel 通道Selector-多路复用选择器简述用于完成数据的传输BIO - BlockingIO - 同步式阻塞式IONIO - NonBlockingIO - 同步式非阻塞式IO - JDK1.4出现的AIO-异步式非阻塞式IO-JD...

并发
NIO
BIO
Buffer
Channel
原创 2021-07-15 11:04:13 222 阅读

scala之集合Collection篇

目录Array定义数组方式常用方法ListsetMapTuple(元组)总结集合相关APIArray1.Array: 长度不可变，内容可变2.immutable:定长数组是Array,一经声明,数组长度不能更改。3.mutalbe:变长数组是ArrayBuffer,长度可以变更(通过append方法追加)4.操作数组通过下标操作,从0开始。不同于...

scala
scala的数组
scala的list
scala的元组
scala的Map
原创 2021-07-15 11:04:09 209 阅读

scala之 类与对象

目录objectclass抽象类特质Trait样例类,样例对象模式匹配object单例的对象，里面定义的成员变量 和 方法都是静态的（static），如果要编写和运行main,必须要写在单例对象类中伴生对象： 当object 的名称和类的名称一致的时候。，这个对象叫着这个类的伴生对象（必须在同一个文件中）objectName.apply() 和 o...

scala
scala的特质trait
scala的模式匹配
scala的样例类
样例对象
原创 2021-07-15 11:04:07 129 阅读

scala之函数篇

目录def关键字函数的定义：（=>）柯里化技术偏函数成员函数和本地函数匿名函数和高阶函数fllter和foreach递归函数lazy懒值 def关键字scala通过def 关键字来定义函数.形式: def 方法名称（参数列表）：方法的返回值类型 = 方法体 方法可以转换成函数 方法名称 _函数的定义：（=>） ...

scala
scal高阶函数
scala柯里化技术
scala偏函数
scala递归函数
原创 2021-07-15 11:04:06 144 阅读
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯