乐胖代购免代理版

欢迎

mybatis--1、入门基本使用

一、mybatis概述1.1为什么需要mybatis传统通过jdbc连接数据库，缺点有很多：1、每次加载连接都需要显式指定驱动名字2、每次获取连接都需要指定连接信息，比如url、user、password等3、sql语句和java代码耦合严重4、参数类型需要手动判断5、结果集中，列名、数据类型都需要自己手动判断6、每次用完连接后都需要手动关闭1.2mybatis是什么mybatis是基于jdbc封

mybatis入门

原创 2020-04-09 16:56:52 1751 阅读

七、flink--异步IO

一、flink异步IO概述1.1异步IO的需求AsyncI/O是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决数据流与外部系统交互时的通信延迟（比如等待外部系统的响应）成为了系统瓶颈的问题。对于实时处理，当需要使用外部存储数据的时候，需要小心对待，不能让与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。例如，在mapfunction等算子里访问外部存

flink异步IO

原创 2019-12-10 18:42:31 4638 阅读

六、flink--容错机制

一、flink容错机制1.1flink的容错概述在使用了flink的状态管理之后，因为此时所有的state的读写都只是在task本地的内存中进行，也就是state数据此时只存储在内存中。假设当任务出现故障之后，这些在内存中的state数据也会丢失，就无法恢复了。所以需要一种机制来保障这些state数据的不丢失，这也就是容错机制。flink通过checkpoint来实现。flink开启了checkp

flink--容错机制

原创 2019-12-09 17:40:07 2625 阅读

五、flink--state状态管理机制

一、flink状态原理1.1什么是flink中的状态？为什么需要状态管理？flink运行计算任务的过程中，会有很多中间处理过程。在整个任务运行的过程中，中间存在着多个临时状态，比如说某些数据正在执行一个operator，但是只处理了一半数据，另外一般还没来得及处理，这也是一个状态。假设运行过程中，由于某些原因，任务挂掉了，或者flink中的多个task中的一个task挂掉了，那么它在内存中的状

flink state状态管理

原创 2019-12-09 17:38:11 9257 阅读 1收藏

四、flink--window、eventTime和watermark原理和使用

一、flink的window机制1.1window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。1.2window的类型

window

eventtime

watermark原理和使用

原创 2019-12-09 17:37:08 4521 阅读 2点赞 1收藏

三、flink--DataStreamAPI原理以及用法

一、DataStream基本概述1.1datastream是什么？datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的api封装，便于用户编程。1.2datastream运行模型一个完整的datastream运行模型一般由三部分组成，分别为Source、Transformation、Sink。DataSource主要负责数据的读取（也就是从数据源读

DataStreamAPI原理和用法

原创 2019-12-09 17:35:26 1670 阅读 1点赞 2收藏

二、flink--集群环境搭建

一、Flink环境搭建1.1flink部署方式Flink可以选择的部署方式有：Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。我们主要对Standalone模式和Yarn模式下的Flink集群部署进行分析。Standalone模式常用于单机进行程序测试，Yarn模式常用于实际线上生产环境。1.2集群规划1、集群规划节点名称mast

flink环境搭建

原创 2019-12-09 17:28:43 4962 阅读 1点赞 2收藏

一、flink--架构、运行、调度原理

一、flink概述1.1流处理技术语义Atmostonce（最多一次）：每条数据记录最多被处理一次，潜台词也表明数据会有丢失（没被处理掉）的可能。Atleastonce（最少一次）：每条数据记录至少被处理一次。这个比上一点强的地方在于这里至少保证数据不会丢，至少被处理过，唯一不足之处在于数据可能会被重复处理。Exactlyonce（恰好一次）：每条数据记录正好被处理一次。没有数据丢失，也没有重复的

flink--架构、运行、调度原理

原创 2019-12-09 17:27:56 5052 阅读 1点赞 1收藏 1评论

一、kafka--基本原理、环境搭建、api使用

[TOC]一、概述1.1什么是kafkaKafka是一个分布式消息队列，采用scala语言开发。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta

kafka原理

kafka api使用

kafka环境搭建

原创 2019-11-20 23:17:38 1665 阅读

三、kibana原理和使用

一、Kibana概述Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsea

kibana原理和使用

原创 2019-11-17 12:36:16 1907 阅读

二、logstash原理和使用

一、概述1.1logstash简介logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前

logstash原理和使用

原创 2019-11-17 12:35:14 10000+阅读 2收藏

一、Elasticsearch原理与基本使用

[TOC]一、Elasticsearch概述1.1什么是搜索搜索，就是在任何场景下，找寻想要的信息。通过关键字检索出与此关键字有关的信息。这和查询还不太一样，查询通常是在表格类型的数据中查找，字段的内容的长度往往不大。1.2使用传统数据库实现搜索传统数据库的情况下，如果要查询某个字段是否包含某些关键字的话，需要使用到like关键字来进行字段匹配，很大概率导致全表扫描，本身来说性能就不算好。如果

Elasticsearch原理与基本使用

原创 2019-11-17 12:33:16 2705 阅读

六、spark--spark调优

[TOC]一、spark调优概论1.1什么是spark调优spark的计算本质是分布式计算，程序的性能受集群中的任何因素的影响，如：CPU、网络带宽、内存等。一般情况下，如果内存足够大，那么其他因素影响性能。然后出现调优需求时，更多是因为资源不够用的情况，所以才需要调节资源的使用情况，更加高效的使用资源。比如如果内存比较紧张，不足以存放所有数据（10亿条），需要针对内存的使用，进行调优来减少内存

spark调优

原创 2019-11-15 18:08:06 1069 阅读 1点赞 1收藏

五、spark--spark streaming原理和使用

一、spark-streaming概述1.1常用的实时计算引擎实时计算引擎也叫流式计算引擎，常用的目前有3个：1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算（实时计算）把连续的流式数据，当成不连续的RDD来处理本质：是一个离散计算（不连续的数据）面试中问到时：先说它的本质，然后说自己的理解常用的方法和其他同类型技术的对比3、A

spark streaming原理和使用

原创 2019-11-15 18:07:27 1101 阅读

四、spark--sparkSQL原理和使用

[TOC]一、sparkSQL概述1.1什么是sparkSQLSparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。1.2sparkSQL的特点1、容易集成：安装Spark的时候，已经集成好了。不需要单独安装。2、统一的数据访问方式：JDBC、JSON、Hive、parquet文件（一种列式存

sparkSQL原理和使用

原创 2019-11-15 18:06:38 3861 阅读

三、spark--spark调度原理分析

[TOC]一、wordcount程序的执行过程importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}objectWordCount{defmain(args:Array[String]):Unit={//创建spark配置文件对象.设置app名称，master地址,local表示为本地模式。//如果

spark调度原理

原创 2019-11-15 18:05:46 486 阅读

二、spark--spark core原理与使用

[TOC]一、spark中一些基本术语RDD：弹性分布式数据集，是spark的核心重点算子：操作RDD的一些函数application：用户的写的spark程序（DriverProgram+ExecutorProgram）job：一个action类算子触发的操作stage：一组任务，会根据依赖关系将job划分成若干个stagetask：同一个stage内部有多个同样操作的task（但处理的数据不同

spark core原理和使用

原创 2019-11-15 18:04:38 1023 阅读

一、spark--spark基本概述

[TOC]一、spark概述1、什么是sparkSpark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Sp

spark基本概述

原创 2019-11-15 17:36:28 559 阅读

一、scala基本入门

[TOC]一、scala概述1.1简介scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。它也能运行于CLDC配置的JavaME中。目前还有另一.NET平台的实现，不过该版本更新有些滞后。Scala的编译模型（独立编译，动态类加载）与Java和C#一样，所以Scala代码可以调用Jav

scala语言入门

原创 2019-11-10 17:20:05 3710 阅读

一、Flume--数据采集器基本原理和使用

一、概述1、flume是什么1)Flume提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务，Flume只能在Linux环境下运行。2)Flume基于流式架构，容错性强，也很灵活简单，架构简单。3)Flume、Kafka用来实时进行数据收集，Spark、Storm用来实时处理数据，impala用来实时查询。2、flume的基本架构图1.1flume架构说到flume的架构，

flume原理和使用

原创 2019-11-05 15:07:13 5569 阅读

三、hbase--调优

hbase调优

原创 2019-11-04 18:43:45 1032 阅读

二、hbase--集成Phoenix实现类SQL操作hbase

一、Phoenix概述1、简介可以把Phoenix理解为Hbase的查询引擎，phoenix，由saleforce.com开源的一个项目，后又捐给了Apache。它相当于一个Java中间件，帮助开发者，像使用jdbc访问关系型数据库一些，访问NoSql数据库HBase。phoenix，操作的表及数据，存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操

hbase集成Phoenix

原创 2019-11-04 18:41:38 3629 阅读

一、hbase--基本原理和使用

hbase数据热点问题：一个region上访问数据量过多，解决方案是对热点数据的rowkey进行预处理，添加一些前缀东西，将热点数据分散到多个region中。预合并？动态分区？就是一开始初始数据的时候，就要对数据进行分区，存储到不同的region上，负载均衡例子：比如按电话号码开头分区，容易将电话号码都分到一个区中。后面可以按电话号码的逆序作为rowkey，这样就比较随机了。ctrL+backsp

hbase基本原理和使用

原创 2019-11-04 18:40:35 1865 阅读

一、sqoop--基本使用

一、sqoop概述1.1简介sqoop用于在hadoop（hdfs、hive）和关系型数据库等结构化数据存储之间相关导数据的场景。Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。请注意，1.99.7与1.4.6不兼容，且特征不完整，它并不打算用于生产部署。1.2基本原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputfor

sqoop基本使用

原创 2019-11-04 18:39:36 2256 阅读

三、zookeeper--实现NN和RM的HA

一、hdfsnamenodeHA1、概述在hadoop1.0的时候，hdfs集群中namenode存在单点故障的问题，当namenode不可用的时候，就会导致整个hdfs集群服务不可用。另外如果需要临时对namenode进行设计或者其他操作时，停掉namenode之后，hdfs集群也无法使用了。通过HA的方式，可以一定程度上解决单点故障问题。2、namenodeHA工作要点1）元数据管理方式需

zookeeper实现HA

原创 2019-11-02 18:05:54 1532 阅读

二、zookeeper--基本原理

一、概述1、基本概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致服务的软件。2、zk提供了什么虽然可以用zk实现很多功能，但是实际上zk只提供了三个东西：文件系统、通知机制、集群管理机制。（1）文件系统zk的存储的数据的结构，类似于一个文件系统，结构如下：

zookeeper基本原理

原创 2019-11-02 18:04:19 1681 阅读

一、zookeeper--部署和使用

一、部署zookeeper1、资源规划服务器bigdata121/192.168.50.121，bigdata122/192.168.50.122，bigdata123/192.168.50.123zookeeper版本3.4.10系统版本centos7.22、集群部署（1）安装zk[root@bigdata121modules]#cd/opt/modules/zookeeper-3.4.10[r

zookeeper部署和使用

原创 2019-11-02 17:54:32 442 阅读

三、hive--jdbc的使用

一、jdbc连接mysql代码示例publicclassTestConnector{finalstaticStringUSER="root";finalstaticStringPASSWORD="wjt86912572";finalstaticStringURL="jdbc:mysql://bigdata121:3306/metastore?useSSL=false&serverTimez

hive

jdbc

原创 2019-11-02 17:14:51 1221 阅读

二、hive调优

下面是hive使用过程中一些调优策略一、fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT*FROMemployees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion

hive调优

原创 2019-11-02 17:14:04 1563 阅读

一、hive基本原理和使用

一、概述1、什么是hive由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas

hive基本原理和使用

原创 2019-11-02 17:13:08 2565 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

KingLab

欢迎