乐胖代购免代理版

欢迎

基于Kafka+SparkStreaming+HBase实时点击流案例

背景Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑，Spark1.3版本后支持两种整合Kafka机制（Receiver-basedApproach和DirectApproach），具体细节请参考文章最后官方文档链接，数据存储使用HBase实现思路实现Kafka消息生产者模拟器Spark-Streaming采用DirectA

Kafka

击流

案例

原创 2018-12-15 14:47:42 680 阅读

深入浅出Hadoop：高效处理大数据

Hadoop与Google一样，都是小孩命名的，是一个虚构的名字，没有特别的含义。从计算机专业的角度看，Hadoop是一个分布式系统基础架构，由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。设想一个场景，假如您需要grep一个100TB的大数据文件，按照传统的方式，会花费很长时间，而这正是Hadoop所需要考虑的效率问题。　　关于Ha

java

处理

大数据

原创 2018-12-14 14:28:12 626 阅读

Hadoop高可用集群

若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算。*Hadoop依赖Zookeeper进行各个模块的HA配置，其中状态为Active的节点对外提供服务，而状态为StandB

java

高可用

集群

原创 2018-12-13 12:00:18 474 阅读

spring cloud中微服务之间的调用以及eureka的自我保护机制

我自己搭建了一个客户端微服务：所以现在有两个微服务，我们所实现的就是微服务1和微服务2之间的调用注册中心就不用多说了，具体看一下两个微服务在project-solr中的constroller中：@RestController//这里使此Constroller中所有的方法返回的不是页面publicclassSolrSearchConstroller{@RequestMapping("/SolrSea

java

spring

原创 2018-12-12 19:43:33 448 阅读

Spring Ioc 源码分析之Bean的加载和构造

我们都知道，SpringIoc和Aop是Spring的核心的功能，因此花一点时间去研究还是很有意义的，如果仅仅是知其所以然，也就体会不到大师设计Spring的精华，还记得那句话，Spring为JavaEE开发带来了春天。IOC就是Inversionofcontrol也就是控制反转的意思，另一种称呼叫做依赖注入，这个可能更直观一点，拿个例子来说吧：@ComponentpublicclassUserS

java

原创精选 2018-12-10 21:40:16 1262 阅读 1收藏

基于JVM原理JMM模型和CPU缓存模型深入理解Java并发编程

许多以Java多线程开发为主题的技术书籍，都会把对Java虚拟机和Java内存模型的讲解，作为讲授Java并发编程开发的主要内容，有的还深入到计算机系统的内存、CPU、缓存等予以说明。实际上，在实际的Java开发工作中，仅仅了解并发编程的创建、启动、管理和通信等基本知识还是不够的。一方面，如果要开发出高效、安全的并发程序，就必须深入Java内存模型和Java虚拟机的工作原理，从底层了解并发编程的实

java

原理

原创 2018-12-08 16:35:13 801 阅读

微服务架构可视化平台实践

为什么需要架构可视化随着企业进行微服务架构改造，系统架构复杂度越来越高，架构变化日益频繁，微服务改造后的实际架构模型可能与预期已经产生了巨大差异，架构师或系统运维人员很难准确记忆所有资源实例的构成和交互情况；其次，系统架构在动态演化过程中可能引入了一些不可靠的因素，比如弱依赖变强依赖、局部容量不足、系统耦合过重等，给系统的稳定性带了极大的安全隐患。所以我们每次在面对系统改造、业务大促以及稳定性治理

微服务

平台实践

原创 2018-12-07 15:57:59 532 阅读

利用反射机制实现对象转Map集合

分析问题问题主要有以下几点如何获取对象中的属性的名称？如何获取对象的属性值?如何这个属性被private修饰，该如何处理?返回的是一个对象该如何获取对象的属性参数呢？解决问题问题1:可以使用反射来获取POJO对象的get方法(当然包括boolean类型的is方法)，然后来处理成为属性，主要逻辑是分析是否包以is或者get关键字开头，如果是的话那么返回处理后的数据信息。转换简略代码如下：/***处理

java

Map

集合

原创 2018-12-06 17:11:18 657 阅读

深入Java源码解析容器类List、Set、Map

1常用容器继承关系图先上一张网上的继承关系图个人觉得有些地方不是很准确，比如Iterator不是容器，只是一个操作遍历集合的方法接口，所以不应该放在里面。并且Map不应该继承自Collection。所以自己整理了一个常用继承关系图如下如上图所示，接下去会自顶向下解释重要的接口和实现类。2Collection和Map在Java容器中一共定义了2种集合,顶层接口分别是Collection和Map。但是

java

解析容器

原创 2018-12-04 17:25:24 614 阅读

Redis的两种持久化操作RDB-AOF

Redis支持RDB和AOF两种持久化机制，持久化功能有效地避免因进程退出造成的数据丢失问题，当下次重启时利用之前持久化文件即可实现数据恢复。RDB是什么RDB持久化是把当前进程数据生成快照保存到硬盘的过程，触发RDB持久化过程分为**手动触发**和**自动触发**。1.1.1触发机制手动触发分别对应save和bgsave命令：save命令:阻塞当前Redis服务器，知道RDB过程完成为止，对于内

jjava

RDB

AOF

原创 2018-12-03 21:39:39 461 阅读

Java中的Comparable接口和Comparator接口

介绍Comparable<T>接口和Comparator<T>接口都是JDK中提供的和比较相关的接口。使用它们可以对对象进行比较大小，排序等操作。这算是之后排序的先导知识吧。Comparable，字面意思是“可以比较的”，所以实现它的类的多个实例应该可以相互比较“大小”或者“高低”等等。Comparator，字面意思是“比较仪，比较器”，它应该是专门用来比较用的“工具”。C

java

Comparable

原创精选 2018-12-02 21:01:40 1232 阅读 1点赞

教你十分钟构建好 SpringBoot + SSM 框架

目前最主流的javaweb框架应该是SSM，而SSM框架由于更轻便与灵活目前受到了许多人的青睐。而SpringBoot的轻量化，简化项目配置，没有XML配置要求等优点现在也得到了大众的青睐。而本文，我将教大家如何在intellijidea中快速构建好一个Maven+Spring+SpringMVC+MyBatis+SpringBoot的框架，做到了足够精简，让你可以立刻开始你的web项目。一.创建

SpringBoot

原创 2018-11-30 17:15:45 475 阅读

BlockingQueue的双锁源码解析

1.构造方法publicLinkedBlockingQueue(intcapacity){if(capacity<=0)thrownewIllegalArgumentException();this.capacity=capacity;last=head=newNode<E>(null);}其中capacity是队列的长度，构造方法很简单，初始化node，并设置队列的最大容量ca

java

源码解析

原创 2018-11-29 22:10:15 402 阅读

Spring Boot 集成Mybatis实现主从（多数据源）分离方案

新建一个Maven项目，最终项目结构如下：多数据源注入到sqlSessionFactoryPOM增加如下依赖：<dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-core</artifactId><

springboot

集成

原创精选 2018-11-28 17:19:56 1568 阅读

一个事半功倍的 Java 反射库

在Java和Android中，我们常常会使用反射来达到一些兼容的目的。Java原生提供的反射很是麻烦，使用起来很是不方便。比如我们想要调UserManager的静态方法get，使用原生的实现如下try{finalMethodm=UserManager.class.getMethod("get",Context.class);m.setAccessible(true);m.invoke(null,t

大数据

反射库

原创 2018-11-27 17:35:01 202 阅读

唯品会架构师是如何实现架构重构的

随着唯品会业务的快速发展，订单量的不断增长，原有的订单存储架构已经不能满足公司的发展了，特别是在大促高峰期，原订单库已经成为抢购瓶颈，已经严重制约公司的发展。唯品会旧订单库包含几十张订单相关表，旧订单库是典型的一主多从架构；主库容量已接近服务器物理空间上限，同时也已经达到MySQL的处理上限，很快将无法再处理新增订单。旧订单库面临的问题有：1、超大容量问题订单相关表都已经是超大表，最大表的数据量已

java

架构重构

原创 2018-11-25 21:23:41 521 阅读 1收藏

Spring Cloud综合实战 - 基于TCC补偿模式的分布式事务

本文通过使用SpringCloud和Docker构建了一个常见的Microservice体系.SpringCloud为开发者提供了快速构建分布式系统中的一些常见工具,如分布式配置中心,服务发现与注册中心,智能路由,服务熔断及降级,消息总线等.而SpringCloudSleuth为SpringCloud提供了分布式追踪方案,可视化地分析服务调用链路和服务间的依赖关系本次实战以模拟下单流程作为实战演示

java

综合实战

原创精选 2018-11-23 15:51:38 3521 阅读

Java内存模型与线程深入理解Java虚拟机总结

在许多情况下，让计算机同时去做几件事情，不仅是因为计算机的运算能力强大了，还有一个很重要的原因是计算机的运算速度与它的存储和通信子系统速度的差距太大，大量的时间都花费在磁盘I/O、网络通信或者数据库访问上。如果不希望处理器在大部分时间里都处于等待其他资源的状态，就必须使用一些手段去把处理器的运算能力”压榨”出来，否则就会造成很大的浪费，而计算机同时处理几项任务则是最容易想到、也被证明是非常有效的“

java

虚拟机

原创 2018-11-22 21:51:05 419 阅读

基于Kafka构建事件溯源模式的微服务

概要本文中我们将讨论如何借助Kafka实现分布式消息管理，使用事件溯源（EventSourcing）模式实现原子化数据处理，使用CQRS模式（Command-QueryResponsibilitySegregation）实现查询职责分离，使用消费者群组解决单点故障问题，理解分布式协调框架Zookeeper的运行机制。整个应用的代码实现使用Go语言描述。第一部分引子、环境准备、整体设计及实现第二部分

java

微服务

原创精选 2018-11-21 21:35:51 1038 阅读 2点赞 2收藏

Nginx的安装和多域名配置

Nginx安装centos6.xyum默认没有nginx的软件包安装方式：到nginx下载页面http://nginx.org/en/linux_packages.html#stable，复制CENTOS6的nginx软件源安装包运行命令：安装rpm包此步实际只是加入了nginx的软件包源执行yuminstallnginx-y就可以安装好nginx了。nginx默认安装为Linux的服务,所以可以

Nginx

域名

配置

原创 2018-11-19 21:38:44 521 阅读

今日头条架构演进之路——高压下的架构演进专题

今天给大家分享今日头条架构演进，前面几位讲师讲了很多具体的干货，我的分享偏重基础设施及架构思路的介绍，我们想法是通过提供更好的基础设施，帮助架构做更好的迭代。从架构的角度，技术团队应对的压力最主要来自三方面：服务稳定性。接口的稳定性，让服务更可靠；迭代速度。迭代速度对于大公司来讲相对没那么重要，规模比较大，生存压力相对小一点，但相对中型小型公司来讲，迭代速度是必须要保证的，时间窗也是一个决定能否成

java

演进之路

原创 2018-11-16 17:21:35 477 阅读

阿里P9架构师谈：高并发网站的监控系统选型、比较、核心监控指标

在高并发分布式环境下，对于访问量大的业务、接口等，需要及时的监控网站的健康程度，防止网站出现访问缓慢，甚至在特殊情况出现应用服务器雪崩等场景，在高并发场景下网站无法正常访问的情况，这些就会涉及到分布式监控系统，对于核心指标提前监控，防患于未然。常见的开源监控系统1.ZabbixZabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级开源运维平台，也是目前国内互联网用户中使用最广

java

监控指标

原创 2018-11-15 22:18:18 634 阅读 1收藏

基于Kafka构建事件溯源模式的微服务

概要本文中我们将讨论如何借助Kafka实现分布式消息管理，使用事件溯源（EventSourcing）模式实现原子化数据处理，使用CQRS模式（Command-QueryResponsibilitySegregation）实现查询职责分离，使用消费者群组解决单点故障问题，理解分布式协调框架Zookeeper的运行机制。整个应用的代码实现使用Go语言描述。第一部分引子、环境准备、整体设计及实现第二部分

java

微服务

原创 2018-11-14 17:46:04 380 阅读

微服务架构中zuul的两种隔离机制实验

ZuulExceptionREJECTED_SEMAPHORE_EXECUTION是一个最近在性能测试中经常遇到的异常。查询资料发现是因为zuul默认每个路由直接用信号量做隔离，并且默认值是100，也就是当一个路由请求的信号量高于100那么就拒绝服务了，返回500。信号量隔离既然默认值太小，那么就在gateway的配置提高各个路由的信号量再实验。两个路由的信号量分开提高到2000和1000。我们再

java

隔离

机制

实验

原创 2018-11-13 17:19:08 663 阅读

mysql表锁、行锁、索引之间暧昧的关系

Mysql领域的innodb存储引擎支持行级锁，innodb的行锁是通过给索引项加锁实现的，这就意味着只有通过索引条件检索数据时，innodb才使用行锁，否则使用表锁。根据当前的数据更新语句（UPDATEusersetname='11111'whereaccount='1'），该条件字段account并没有添加索引，所以导致数据表被锁。我们验证一下：第一种情况，通过

java

表锁

原创 2018-11-12 19:44:24 766 阅读 1收藏

Java线程池Executor框架详解

Java的线程既是工作单元，也是执行机制。从JDK5开始，把工作单元与执行机制分离开来。工作单元包括Runnable和Callable，而执行机制由Executor框架提供。Executor框架简介在HotSpotVM的线程模型中，Java线程（java.lang.Thread）被一对一映射为本地操作系统线程。Java线程启动时会创建一个本地操作系统线程；当该Java线程终止时，这个操作系统线程也

java

框架详解

原创精选 2018-11-08 19:36:46 1151 阅读

Spring Bean注入/单例理解/循环依赖

理解循环依赖问题，首先明白spring有四种注入方式。第一种，SET注入a类中持有b类的引用，并且a类有b的set方法。在bean中添加<property>标签即可注入。实质上是将b实例化，然后调用set方法注入。<beanid="a"class="com.qunar.pojo.StudentA"scope="singleton"><propertyname="stu

java

循环依赖

原创 2018-11-07 21:47:21 852 阅读

你必须了解的微服务架构设计的10个要点！

近来，几乎人人都在谈论微服务。微服务之所以火热也是因为相对之前的应用开发方式有很多优点，如更灵活、更能适应现在需求快速变更的大环境等。本文将介绍微服务架构设计中的一些要点。微服务架构设计时有哪些要点呢？先看下图是SpringCloud的整个生态。下图是完美实现微服务的十二原则：接下来，细说微服务架构设计中不得不知的十大要点。负载均衡+API网关在实施微服务的过程中，不免要面临服务的聚合与拆分。当后

java

微服务

架构

原创 2018-11-06 17:05:02 913 阅读

Spring Boot REST国际化

本指南将向您展示如何轻松只需几个简单的步骤即可实现SpringBoot应用的国际化我们将讨论如何在现有的SpringBoot项目中添加国际化。当您处理应该为来自不同国家/地区的用户提供不同语言服务的项目时，app国际化的问题变得很常见。比如，你需要向中国用户提供中文回复信息，并向法国用户提供法语信息，那么让我们来看看如何在SpringBoot中实现它。让我们使用SpringInitializer创

java

国际化

原创 2018-11-05 17:27:41 794 阅读

Zookeeper技术：分布式架构详解、分布式技术详解、分布式事务

一、分布式架构详解1、分布式发展历程1.1单点集中式特点：App、DB、FileServer都部署在一台机器上。并且访问请求量较少1.2应用服务和数据服务拆分特点：App、DB、FileServer分别部署在独立服务器上。并且访问请求量较少1.3使用缓存改善性能特点：数据库中频繁访问的数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的压力1.4应用服务器集群特点：多台应用服务器通过负载均衡

java

Zookeeper

技术

原创 2018-11-04 21:33:33 1379 阅读 1点赞 2收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

java架构师1的博客

欢迎

基于Kafka+SparkStreaming+HBase实时点击流案例

深入浅出Hadoop：高效处理大数据

Hadoop高可用集群

spring cloud中微服务之间的调用以及eureka的自我保护机制

Spring Ioc 源码分析之Bean的加载和构造

基于JVM原理JMM模型和CPU缓存模型深入理解Java并发编程

微服务架构可视化平台实践

利用反射机制实现对象转Map集合

深入Java源码解析容器类List、Set、Map

Redis的两种持久化操作RDB-AOF

Java中的Comparable接口和Comparator接口

教你十分钟构建好 SpringBoot + SSM 框架

BlockingQueue的双锁源码解析

Spring Boot 集成Mybatis实现主从（多数据源）分离方案

一个事半功倍的 Java 反射库

唯品会架构师是如何实现架构重构的

Spring Cloud综合实战 - 基于TCC补偿模式的分布式事务

Java内存模型与线程深入理解Java虚拟机总结

基于Kafka构建事件溯源模式的微服务

Nginx的安装和多域名配置

今日头条架构演进之路——高压下的架构演进专题

阿里P9架构师谈：高并发网站的监控系统选型、比较、核心监控指标

基于Kafka构建事件溯源模式的微服务

微服务架构中zuul的两种隔离机制实验

mysql表锁、行锁、索引之间暧昧的关系

Java线程池Executor框架详解

Spring Bean注入/单例理解/循环依赖

你必须了解的微服务架构设计的10个要点！

Spring Boot REST国际化

Zookeeper技术：分布式架构详解、分布式技术详解、分布式事务