乐胖代购免代理版

刚入驻51cto不久，几点注意事项

最近应邀入驻了51CTO博客。另作者在oschina会首发一些开源项目相关文章。开源项目主要运营在gitee，是gitee的最有价值开源GVP项目hotkey，asyncTool，md_blockchain作者，另有开源项目JLog、zuulAu

开源项目

.net

git

置顶原创 2023-03-27 10:43:58 119 阅读

京东App秒级百G日志传输存储架构设计与实战

本文作者：平台业务研发部-武伟峰，数据与智能部-李阳背景在日常工作中，我们通常需要存储一些日志，譬如用户请求的出入参、系统运行时打印的一些info、error之类的日志，从而对系统在运行时出现的问题有排查的依据。日志存储和检索是个很常见且简单的工作，市面也有很多关于日志搜集、存储、检索的框架可供使用。譬如我们只有个位数机器时，可以通过登录服务器，查看log4j之类的框架打印到本地文件的日志。当

数据

链路

服务器

置顶原创推荐 2023-03-14 14:47:13 6611 阅读 10点赞 6收藏 8评论

mybatisplus添加真正的批量新增、批量更新

使用mybatis-plus来进行批量新增和更新时，你会发现其实是一条条sql执行,下面进行优化。1.添加InsertBatchMethod和UpdateBatchMethod类import com.baomidou.mybatisplus.core.injector.AbstractMethod; import com.baomidou.mybatisplus.core.metadata.Tab

sql

List

apache

原创 2023-03-15 18:13:44 3147 阅读

以太坊Merkle tree学习

其中一个重要的概念是Merkle Tree，以前从来没有听说过，所以查了些资料，学习了Merkle Tree的知识，因为接触时间不长，对Merkle Tree的理解也不是很深入，如果有不对的地方，希望各位大神指正*/Merkle Tree概念　　　　Merkle Tr...

merkle tree

数据块

数据

客户端

转载 2023-02-21 16:26:09 158 阅读

使用Java开发一个自己的区块链产品、联盟链

区块链平台，基于Springboot开发的区块链平台。区块链交流群737858576，一起学习区块链平台开发，当然也交流Springboot、springcloud、机器学习等知识。起因...

java区块链

自己开发区块链

区块链开发

区块链

回滚

原创 2023-02-21 16:25:22 304 阅读

京东开源热key探测（JD-hotkey）中间件单机qps 提升17倍实战

京东hotkey框架（JD-hotkey）是京东app后台研发的一款高性能热数据探测中间件，用来实时探测出系统的热数据，并将热数据毫秒内推送至系统的业务集群服务器的JVM内存。以下统称为"热key"。该框架主要用于对任意突发性的无法预先感知的热key，包括并不限于热点数据（如突发大量请求同一个商品）

京东hotkey

京东开源

京东热key探测

京东热key框架

推送

原创 2023-02-21 16:24:33 2451 阅读

蚂蚁集团网络通信框架 SOFABolt 功能介绍及协议框架解析 | 开源

大家好，我是本期 SOFAChannel 的分享讲师丞一，蚂蚁集团，是 SOFABolt 的开源负责人。今天我们来聊一下蚂蚁集团开源的网络通信框架 SOFABolt 的框架解析以及功能介绍。本期分享将从以下四个方面展开：SOFABolt 简介；基础通信能力解析；

rpc框架

私有化协议

服务端

客户端

超时控制

转载 2023-02-21 16:23:59 283 阅读

网络编程入门从未如此简单(二)：假如你来设计TCP协议，会怎么做？

本文原题“你管这破玩意儿叫TCP？”，由作者闪客sun发布于“低并发编程”公众号，本次收录时有改动和修订1、引言网络编程能力对于即时通讯技术开发者来说是基本功，而计算机网络又是网络编程的理论根基，因而深刻准确地理解计算机网络知识显然能夯实你的即时通讯应用的实践品质。

tcp

TCP

窗口大小

网络编程

转载 2023-02-21 16:23:58 133 阅读

IP 基础知识“全家桶”，45 张图一套带走

目录前言正文前菜 —— IP 基本认识网络层与数据链路层有什么关系呢？主菜 —— IP 地址的基础知识IP 地址的分类无分类地址 CIDR公有 IP 地址与私有 IP 地址IP 地址与路由控制IP 分片与重组IPv6 基本认识IPv6 的亮点IPv6 地址的标识方法IPv6 地址的结构IPv6 单播地址类型

ip

IP

DNS

网络地址

转载 2023-02-21 16:23:47 46 阅读

网络编程入门从未如此简单(一)：假如你来设计网络，会怎么做？

本文原题“如果让你来设计网络”，有修订和改动，收录已征得作者同意，转载请作者。

tcp通信

IP

子网

路由表

转载 2023-02-21 16:22:44 105 阅读

京东猎户座发布开源，配置化一键生成cms系统

猎户座核心配置化功能开源啦！在降本提效的大环境下，猎户座系统为了扩展更多应用场景，近期完成了第一阶段的开源工作。此次开源的代码内容涉及两个代码库，内容为CCMS管理系统核心配置化功能以及包含表格列与表单项在内的常用组件。

猎户座

京东开源

业务逻辑

UI

管理系统

原创 2023-02-21 16:19:42 128 阅读

时间轮算法浅析

从定时任务说起自然界中定时任务无处不在，太阳每天东升西落，候鸟的迁徙，树木的年轮，人们每天按时上班，每个月按时发工资、交房租，四季轮换，潮涨潮落，等等，从某种意义上说，都可以认为是定时任务。大概很少有人想过，这些“定时”是怎样做到的。

时间轮

定时任务

线程池

数据结构

转载 2023-02-21 16:18:21 191 阅读

java在filter中修改一个http请求出入参内容

response保存了请求的返回信息,里面有个outputstream,你要返回给页面的流,都在这个地方保存.之前遇到一个问题,想把outputstream修改一下.因为这是个输出流,想要改这个里面的东西不是这么简单的.sun为我们提供了这么一个工具HttpServletResponseWrapper抽象类

filter response

java

ide

json

原创 2023-02-21 16:17:16 96 阅读

时间轮timewheel算法

时间轮是个不太常见，但在部分场景有较高使用价值的工具。

京东开源

时间轮

定时任务

线程池

数据结构

转载 2023-02-21 16:17:04 179 阅读

工商银行分布式服务C10K场景的解决方案

Dubbo是一款轻量级的开源Java服务框架，是众多企业在建设分布式服务架构时的首选。中国工商银行自2014年开始探索分布式架构转型工作，基于开源Dubbo自主研发建设了分布式服务平台。Dubbo框架在提供方消费方数量较小的服务规模下，运行稳定、性能良好。随着银行业务线上化、多样化、智能化的需求越来越旺盛，在可预见的未来，会出现一个提供方为数千个、甚至上万个消费方提供服务的场景。

c1

java

rpc

dubbo

提供方

转载 2023-02-21 16:16:52 109 阅读

netty堆外内存的使用

一、java的堆外内存堆外内存的限额默认与堆内内存(由-XMX 设定)相同，可用 -XX:MaxDirectMemorySize 重新设定1、优缺点优点：（1）可以扩展至更大的内存空间。比如超过1TB甚至比主存还大的空间;（2）理论上能减少GC暂停时间

java

开发语言

后端

堆外内存

池化

转载 2023-02-21 16:16:23 813 阅读

关于压缩后字符串写入clickhouse再读取后无法反解压的问题

我们将一个长字符串进行了压缩，采用zstd或者snappy之类的，将字符串压成了byte[]，然后将byte[]作为一个属性写入了clickhouse数据库

zstd压缩

clickhouse入库压缩

字符串

数据库

字段

原创 2023-02-21 16:16:03 88 阅读

Netty解决粘包和拆包问题的四种方案

在RPC框架中，粘包和拆包问题是必须解决一个问题，因为RPC框架中，各个微服务相互之间都是维系了一个TCP长连接，比如dubbo就是一个全双工的长连接。由于微服务往对方发送信息的时候，所有的请求都是使用的同一个连接，这样就会产生粘包和拆包的问题。本文首先会对粘包和拆包问题进行描述，然后介绍其常用的解决方案，最后会对Netty提供的几种解决方案进行讲解。

rpc

网络

java

netty

粘包拆包

转载 2023-02-21 16:15:02 188 阅读

既然有HTTP协议，为什么还要有RPC

纯裸TCP是能收发数据，但它是个无边界的数据流，上层需要定义消息格式用于定义消息边界。于是就有了各种协议，HTTP和各类RPC协议就是在TCP之上定义的应用层协议。RPC本质上不算是协议，而是一种调用方式，而像gRPC和thrift这样的具体实现，才是协议，它们是实现了RPC调用的协议。

http

rpc

网络

RPC

HTTP

转载 2023-02-21 16:10:04 71 阅读

高并发监控[一]:TP90、TP99耗时监控设计与实现

背景性能测试中,我们经常选择TP90、TP95、TP99等指标项作为性能对比的参考水位, 在本文中,我们给出一种计算 TP90、TP95 和 TP99 等水位线的方法,首先我们解释一下TP90、TP95、TP99的含义.TP90: 即 90% 的数据都满足某一条件.

监控

tp

tp99

Math

数据

转载 2023-02-21 16:09:50 1462 阅读

Java中的语法树结构

CaseTree 实现了JCStatement，但接口JCCase是继承了Tree。当为 Object o = int.class.toString();下面来看JCNewClass的语法结构，如下截图。

java

JAVA语法树

语法树

System

接口实现

转载 2023-02-21 16:09:08 176 阅读

AbstractProcessor相关的API记录

TreeMaker 里的方法用于构建JCTree某个子类，例：treeMaker.MethodDef(…JCTree的一个子类就是java语法中的一个节点，类、方法、字段等这些都被封装成了一个JCTree子类。Select() 创建域访问/方法访问。

java

jvm

开发语言

List

System

原创 2023-02-21 16:05:48 191 阅读

基于各服务注解方式，在网关zuul中对所有下游服务权限做控制，覆盖到所有接口，权限控制到角色、菜单、按钮、方法

开源地址：https://gitee.com/tianyalei/zuulauth在单体应用架构下，常见的用户-角色-菜单权限控制模式，譬如shiro，就是在每个接口方法上加RequireRole，RequirePermission，当调用到该方法时，可以从配置的数据库、缓存中来进行匹配，通过这种方式来进行的权限控制。

网关权限

网关控制所有权限

网关权限到每个接口

zuul控制所有接口权限

redis

原创 2023-02-21 16:03:58 134 阅读

京东毫秒级热key探测框架设计与实践，已完美支撑618大促

在拥有大量并发用户的系统中，热key一直以来都是一个不可避免的问题。或许是突然某些商品成了爆款，或许是海量用户突然涌入某个店铺，或许是秒杀时瞬间大量开启的爬虫用户，这些突发的无法预先感知的热key都是系统潜在的巨大风险。风险是什么呢？

热key探测

高并发

redis热key

redis

推送

原创 2023-02-21 16:03:28 151 阅读

深入理解docker的link机制

摘要：什么是docker的link机制同一个宿主机上的多个docker容器之间如果想进行通信，可以通过使用容器的ip地址来通信，也可以通过宿主机的ip加上容器暴露出的端口号来通信，前者会导致ip地址的硬编码，不方便迁移，并且容器重启后ip地址会改变，除非使用固定的ip，后者的通信方式比较单一，只能依靠在暴露出

docker link

docker

环境变量

自定义

转载 2023-02-21 16:01:54 336 阅读

Docker下实战zabbix三部曲之二：监控其他机器

@博陵精骑在上一章《Docker下实战zabbix三部曲之一：极速体验》中，我们快速安装了zabbix server，并登录管理页面查看了zabbix server所在机器的监控信息，但是在实际场景中，应该是对应用服务器做监控，所以今天我们来实战将应用服务器的监控

zabbix docker

mysql

docker

应用服务器

转载 2023-02-21 15:59:51 146 阅读

Docker下实战zabbix三部曲之三：自定义监控项

@博陵精骑通过上一章《Docker下实战zabbix三部曲之二：监控其他机器》的实战，我们了解了对机器的监控是通过在机器上安装zabbix agent来完成的，zabbix agent连接上zabbix server之后，将自己所在机器的信息定时给到zabbix

zabbix docker

docker

tomcat

mysql

转载 2023-02-21 15:59:24 134 阅读

JVM GC调优一则--增大Eden Space提高性能

：http://blog..net/hengyunabc/article/details/24924843缘起线上有Tomcat升级到7.0.52版，然后有应用的JVM FullGC变频繁，在高峰期socket连接数，Cpu使用率都暴增。思路思路是Tomcat本身的代码应该是没有问题的，有问题的可能是应用代码升级，或者环境改变了，总之Tomcat的优先级排在最后。先把应用的heap

jvm调优

jvm新生代

JVM

调优

sed

转载 2023-02-21 15:52:40 207 阅读

【分布式】Zookeeper使用--开源客户端

前言　　上一篇博客已经介绍了如何使用Zookeeper提供的原生态Java API进行操作，本篇博文主要讲解如何通过开源客户端来进行操作。二、ZkClient　　ZkClient是在Zookeeper原声API接口之上进行了包装，是一个更易用的Zookeeper客户端，其内部还实现了诸如Sess

zkClient使用

curator使用

zookeeper客户端

apache

System

转载 2023-02-21 15:52:10 209 阅读

kafka partition（分区）与 group

一、1、原理图2、原理描述一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，kafka确保每个partition只能同一个group中的同一个consumer消费，如果想要重复消费，那么需要

Group

数据

kafka

转载 2023-02-21 15:48:33 599 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

天涯泪小武的博客

刚入驻51cto不久，几点注意事项

京东App秒级百G日志传输存储架构设计与实战

mybatisplus添加真正的批量新增、批量更新

以太坊Merkle tree学习

使用Java开发一个自己的区块链产品、联盟链

京东开源热key探测（JD-hotkey）中间件单机qps 提升17倍实战

蚂蚁集团网络通信框架 SOFABolt 功能介绍及协议框架解析 | 开源

网络编程入门从未如此简单(二)：假如你来设计TCP协议，会怎么做？

IP 基础知识“全家桶”，45 张图一套带走

网络编程入门从未如此简单(一)：假如你来设计网络，会怎么做？

京东猎户座发布开源，配置化一键生成cms系统

时间轮算法浅析

java在filter中修改一个http请求出入参内容

时间轮timewheel算法

工商银行分布式服务C10K场景的解决方案

netty堆外内存的使用

关于压缩后字符串写入clickhouse再读取后无法反解压的问题

Netty解决粘包和拆包问题的四种方案

既然有HTTP协议，为什么还要有RPC

高并发监控[一]:TP90、TP99耗时监控设计与实现

Java中的语法树结构

AbstractProcessor相关的API记录

基于各服务注解方式，在网关zuul中对所有下游服务权限做控制，覆盖到所有接口，权限控制到角色、菜单、按钮、方法

京东毫秒级热key探测框架设计与实践，已完美支撑618大促

深入理解docker的link机制

Docker下实战zabbix三部曲之二：监控其他机器

Docker下实战zabbix三部曲之三：自定义监控项

JVM GC调优一则--增大Eden Space提高性能

【分布式】Zookeeper使用--开源客户端

kafka partition（分区）与 group

欢迎