乐胖代购免代理版

Transaction rolled back because it has been marked as rollback-only问题解决

在我们的日常开发中，经常会存在在一个Service层中调用另外一个Service层的方法。`比如`：我们有一个TaskService，里面有一个execTask方法，且这个方法存在事务，这个方法在执行完之后，需要调用LogService的insertLog方法记录一条日志，这个方法上也有事务，不管日志记录成功还是失败，都不能影响execTask方法的执行。因此我们很容易写出如下代码。

spring

Spring事务

rollback-only

事务传播

事物传播属性

原创 24天前 97 阅读 yyds干货盘点

在Java程序中监听mysql的binlog

`最近在开发的过程中遇到这么一个问题，当产生某种类型的工单后，需要实时通知到另外的系统，由另外的系统进行数据的研判操作。` **由于某种原因**，像向消息队列中推送工单消息、或直接调用另外系统的接口、或者部署`Cannal` 等都不可行，因此此处使用 `mysql-binlog-connector-java` 这个库来完成数据库`binlog`的监听，从而通知到另外的系统。

mysql

java

数据库

binlog

binlog解析

原创 4月前 119 阅读 yyds干货盘点

ForkJoinPool在生产环境中使用遇到的一个问题

在我们的项目中有这么一个场景，需要消费`kafka`中的消息，并生成对应的工单数据。早些时候程序运行的好好的，但是有一天，`我们升级了容器的配置`，结果导致部分消息无法消费。而消费者的代码是使用`CompletableFuture.runAsync(() -> {while (true){ ..... }})` 来实现的。

线程池

java

4G

原创精选 11月前 260 阅读 2点赞 1收藏 yyds干货盘点

MapReduce实现TopN的效果

最近在学习Hadoop的MapReduce，此处记录一下如何实现 `TopN` 的效果，以及在MapReduce中如何实现 `自定义分组`。

hadoop

java

mapreduce

mapreduce topn

mapreduce分组

原创 2023-07-17 14:11:32 103 阅读

MapReduce的基础知识

1. Hadoop MapReduce 是一个 `分布式计算框架`，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集） 2. MapReduce 是一种`面向海量数据`处理的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。

Hadoop

mapreduce

mapreduce基础知识

mapreduce数据类型

大数据

原创 2023-07-03 12:30:04 1429 阅读

Spring Cloud灰度部署

在我们系统发布生产环境时，有时为了确保新的服务逻辑没有问题，会让一小部分特定的用现呢？

spring cloud

java

微服务

灰度部署

负载均衡

原创精选 2023-07-01 11:05:28 324 阅读

Spring Cloud灰度部署

在我们系统发布生产环境时，有时为了确保新的服务逻辑没有问题，会让一小部分特定的用户来使用新的版本（`比如客户端的内测版本`），而其余的用户使用旧的版本，那么这个在Spring Cloud中该如何来实现呢？

Spring Cloud

Java

灰度部署

自定义负载均衡

自定义服务选择

原创 2023-06-21 08:36:04 128 阅读

hdfs的透明加密记录

我们知道，在`hdfs`中，我们的数据是以`block`块存储在我们的磁盘上的，那么默认情况下，它是以`密文`存储的，还是以`明文`存储的呢？如果是明文存储的，那么是否就不安全呢？那么在`hdfs`中是如何做才能做到数据的`透明加密`呢？

hadoop

HDFS

hdfs

透明加密

hdfds透明加密

原创精选 2023-06-19 12:08:32 295 阅读 1收藏

Spring Cloud Alibaba实现服务的无损下线功能

最近用到了`Spring Cloud Al

java

Spring Cloud

无损下线

微服务无损下线

感知服务下线

原创精选 2023-06-18 21:14:59 205 阅读

hdfs中acl权限管理的简单实用

1、背景在我们开发的过程中有这么一种场景， /projectA 目录是 hadoopdeploy用户创建的，他对这个目录有wrx权限，同时这个目录属于supergroup，在这个组中的用户也具有这个目录的wrx权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户root，我想root用户可以访问这个目录，在不修改root用户组和其他人的权限的情况下，还有什么方式可以实现这个功能呢？由

hadoop

hdfs

hdfs acl

原创精选 2023-06-05 12:29:58 291 阅读

hdfs开启回收站(废纸篓)

我们知道，在`mac`系统上删除文件，一般情况下是可以进入 `废纸篓`里的，如果此时我们误删除了，还可以从废纸篓中恢复过来。那么在`hdfs`中是否存在类似mac上的`废纸篓`这个功能呢？答案是存在的。

hadoop

hdfs

大数据

hdfs trash

hdfs 回收站

原创 2023-05-25 20:07:22 389 阅读

PLSQL一些常用的知识点

此处简单的记录一下在 oracle中如何使用plsql语法，记录一些简单的例子，防止以后忘记。

plsql

存储过程

游标

包

oracle

原创 2023-05-13 13:06:08 768 阅读

hdfs集群的扩容和缩容

当我们的hdfs集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。

hadoop

hdfs

大数据

hdfs集群节点上下线

hdfs集群扩容

原创精选 2023-04-04 12:25:22 429 阅读 1收藏

hdfs disk balancer 磁盘均衡器

在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。**比如：** 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢？借助Hadoop提供的`Diskbalancer`命令行工具可以实现。

hadoop

hdfs

大数据

磁盘均衡器

hdfs disk balancer

原创 2023-03-31 12:28:12 126 阅读

HDFS Balancer负载均衡器

当我们的 hdfs 集群运行了一段时间之后，各个`DataNode`上的`数据分布`并`不一定`是`均匀分布`的。**比如说：** 我们向现有集群中添加了一个新的DataNode。

hadoop

hdfs

hdfs balancer

hdfs集群节点均衡

datanode节点数据均衡

原创精选 2023-03-30 12:29:22 1035 阅读

HDFS Short-Circuit Local Reads

在`HDFS`中，读取操作通常是通过`DataNode`。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过`TCP套接字`将数据发送给客户端。**如果我们的客户端和数据在同一台机器上的时候，** 那么是否可以绕过DataNode，允许客户端直接读取数据呢？通过`Short-Circuit Local Reads`可以实现这一功能。

hadoop

hdfs

大数据

hdfs 短路读

hadoop hdfs

原创 2023-03-27 20:07:49 906 阅读

Spring Cloud Alibaba实现服务的无损下线功能

1、背景最近用到了Spring Cloud Alibaba开发微服务，在开发的过程中发现，当我们的服务上线或下线的时候，我们的Spring Cloud Gateway需要一段时间才能感知到，那么有没有办法能够让服务立即感知到呢？答案是可以的。此种实现方式是我自己记录下，目前未在生产环境中使用，此处记录是为了以后遇到此种场景，可以找到一种解决方案 2、解决方案 2.1 找到通过负载均衡组件获取可

spring

github

缓存

原创 2023-03-13 12:33:10 338 阅读

mac系统上hdfs java api的简单使用

在上一节中，我们简单学习了在命令行上如何操作`hdfs shell api`，此处我们通过`java`程序来操作一下。

java

hadoop

hdfs

hdfs java

hdfs api java

原创 2023-03-02 12:55:25 244 阅读

hdfs file system shell的简单使用

此处我们通过命令行，简单的学习一下 `hdfs file system shell ` 的一些操作。

hadoop

hdfs

txt文件

原创 2023-03-01 12:41:04 125 阅读

Centos7搭建hadoop3.3.4分布式集群

最近在学习`hadoop`，本文记录一下，怎样在Centos7系统上搭建一个`3`个节点的`hadoop` 分布式集群。

hadoop

java

hadoop3.3.4

hadoop3集群搭建

大数据

原创 2023-02-21 12:42:34 242 阅读

Centos7系统编译Hadoop3.3.4

最近在学习`hadoop`，此篇文章简单记录一下通过源码来编译`hadoop`。为什么要重新编译`hadoop源码`，是因为为了匹配不同操作系统的本地库环境。

hadoop

java

大数据

源码编译

hadoop3.3.4源码编译

原创 2023-02-20 12:40:34 432 阅读

elasticsearch使用painless的一些简单例子

此篇文档仅仅是简单的记录一下painless的一些简单的例子，防止以后忘记，不过多涉及painless的语法。

java

elasticsearch

es painless

painless

painless编程

原创 2023-02-09 12:31:04 222 阅读

elasticsearch中使用bucket script进行聚合

此篇文档简单的记录一下在`es`使用`bucket script`来进行聚合的一个例子。

java

后端

es

elasticsearch

bucket_script

原创 2023-02-07 12:41:34 409 阅读

elasticsearch中使用runtime fields

在我们使用es的开发过程中可能会遇到这么一种情况，比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型，但是后期发现需要使用这个字段来进行聚合操作，那么我们除了对索引进行reindex操作外，还有什么办法可以解决这个问题呢？此处我们通过runtime field来解决。

java

elasticsearch

runtime field

es runtime field

runtime field用法

原创 2023-02-01 22:31:11 244 阅读

在elasticsearch中简单的使用script_fields

在我们使用es时，有些时候需要动态返回一些字段，而这些字段是通过动态计算得出的，那么此时该如何操作呢？比如：我们索引中有一个sex字段，保存的是1或0，而在页面上需要展示男或女，那么这个时候就可以使用script_fields来解决。可能有些人说，我通过后台进行格式化一下不就行了吗，但是假设我们需要在kibana等可视化工具上展示呢？

java

elasticsearch

搜索

script_fields

es搜索

原创 2023-01-31 13:15:17 521 阅读

如何在es中查询null值

在我们向es中写入数据时，有些时候数据写入到es中的是null，或者没有写入这个字段，那么这个时候在es中该如何查询出这种为null的数据呢？

elasticsearch

java

es null查询

es null_value

es查询null值

原创 2023-01-29 21:18:07 283 阅读

elasticsearch实现基于拼音搜索

一般情况下，有些搜索需求是需要根据`拼音`和`中文`来搜索的，那么在`elasticsearch`中是如何来实现基于`拼音`来搜索的呢？可以通过`elasticsearch-analysis-pinyin`分析器来实现。

analyzer

搜索

分词器

原创精选 2023-01-15 12:24:15 1586 阅读

elasticsearch实现简单的脚本排序(script sort)

我有一堆学生数据，其中湖北省的学生需要排在所有数据的最前面。其余省正序排序，对于同一个省的数据，按照年龄倒序排序。

java

elasticsearch

es排序

es script排序

es script field

原创精选 2023-01-12 20:36:06 651 阅读

elasticsearch之metric聚合

此篇文章简单的记录一下 `elasticsearch`的`metric`聚合操作。比如求平均值、最大值、最小值、求和、总计、去重总计等。

java

elasticsearch

后端

metric聚合

es聚合

原创 2022-12-27 12:26:40 154 阅读

elasticsearch global 、 filters 和 cardinality 聚合

此处简单记录一下 `global` 、 `filters`和`cardinality`的聚合操作。

elasticsearch

filters聚合

global聚合

cardinality聚合

es聚合

原创 2022-12-10 11:39:22 156 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

编程技术分享

Transaction rolled back because it has been marked as rollback-only问题解决

在Java程序中监听mysql的binlog

ForkJoinPool在生产环境中使用遇到的一个问题

MapReduce实现TopN的效果

MapReduce的基础知识

Spring Cloud灰度部署

Spring Cloud灰度部署

hdfs的透明加密记录

Spring Cloud Alibaba实现服务的无损下线功能

hdfs中acl权限管理的简单实用

hdfs开启回收站(废纸篓)

PLSQL一些常用的知识点

hdfs集群的扩容和缩容

hdfs disk balancer 磁盘均衡器

HDFS Balancer负载均衡器

HDFS Short-Circuit Local Reads

Spring Cloud Alibaba实现服务的无损下线功能

mac系统上hdfs java api的简单使用

hdfs file system shell的简单使用

Centos7搭建hadoop3.3.4分布式集群

Centos7系统编译Hadoop3.3.4

elasticsearch使用painless的一些简单例子

elasticsearch中使用bucket script进行聚合

elasticsearch中使用runtime fields

在elasticsearch中简单的使用script_fields

如何在es中查询null值

elasticsearch实现基于拼音搜索

elasticsearch实现简单的脚本排序(script sort)

elasticsearch之metric聚合

elasticsearch global 、 filters 和 cardinality 聚合

欢迎