乐胖代购免代理版

elasticsearch

字段

ide

原创 2023-03-15 07:35:23 156 阅读

如何提高ElasticSearch 索引速度

大体是下面这三个点让es比原生的lucene吞吐量下降了不少：1. 为了数据完整性 ES额外

elasticsearch

索引

数据

Streaming

版本号

原创 2023-03-15 07:35:04 114 阅读

Spark Streaming 数据清理机制

大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数

Streaming

Time

数据

原创 2023-03-15 07:34:47 143 阅读

Spark Streaming Dynamic Resource Allocation 文档(非官方特性)

必要配置通过下面参数开启DRAspark.streaming.dynamicAllocation.en

spark

scala

App

原创 2023-03-15 07:34:34 55 阅读

Spark Streaming Dynamic Resource Allocation

Problem StatementDRA has already been implemented since Spark 1.2 . Ho

spark

Streaming

ci

原创 2023-03-15 07:34:23 47 阅读

Spark会把数据都载入到内存么？

这篇文章算是个科普贴。如果已经熟悉Spark的就略过吧。前言很多初如果你没有主动对...

数据

嵌套

bc

原创 2023-03-15 07:34:10 162 阅读

数据天生就是流式的

现在依然很多人使用Azkaban/Oozie等工具衔接各个系统，通过外力让数据

数据

批处理

Streaming

原创 2023-03-15 07:31:48 105 阅读

开源选型中的基因论

随着开源组件的日益增多，整个开源社区就像一个超级大的沃尔玛，琳

zookeeper

开源组件

Docker

原创 2023-03-15 07:31:30 35 阅读

天天在做大数据，你的时间都花在哪了

大数据做了这许多年，有没有问过自己，大数据中，工作量最大和技术难

数据

大数据

流式计算

原创 2023-03-15 07:31:18 66 阅读

由CarbonData想到了存储和计算的关系

原本不知道啥时候才有时间写，没想到在等高铁的时候就顺带写了。这篇文章谈

计算引擎

HDFS

数据

原创 2023-03-15 07:30:55 44 阅读

Spark 如何写入HBase/Redis/MySQL/Kafka

这篇文章是给Spark初学者写的，老手就不要看了。文章谈及如何和HBase/

序列化

MySQL

解决方案

原创 2023-03-15 07:30:44 95 阅读

如何做Spark 版本兼容

我们知道Spark2.0 ，Spark 1.6还有Spark 1.5 三者之间版本是不兼容的，尤其

spark

apache

API

原创 2023-03-15 07:30:11 75 阅读

运维=平台+数据

运维会比开发更加重要运维的发展日新月异，曾几何时，运维仅仅是被

运维

Hadoop

服务器

原创 2023-03-15 07:29:59 121 阅读

StreamingPro添加Scala script 模块支持

SQL 在解析字符串方面，能力还是有限，因为支持的算子譬如substring

字段

scala

SQL

原创 2023-03-15 07:29:44 54 阅读

ELK的崛起(Rise of the ELK)

前言忽如一夜春风来，千树万树梨花开，恍惚之间，ELK亦是遍地开花，甚至提供类似ELK解决方案的专业公司数量已然可观。ELK的用途传统意义上，ELK是作为替代Splunk的一个开源解决方案。Splunk 是日志分析领域的领导者。日志分析并不仅仅包括系统产生的错误

运维

日志分析

解决方案

原创 2023-03-15 07:29:36 104 阅读

Yarn使用cgroups隔离CPU资源实战

yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下的LinuxConta...

hadoop

centos

配置文件

原创 2023-03-15 07:06:56 299 阅读

CarbonData实践(一)

前言CarbonData 拥有不错的明细查询能力，比如简单的where条件过滤，性

字段

数据

spark

原创 2023-03-15 07:06:56 100 阅读

Spark 大/小文件读取优化

问题描述使用Spark写复杂SQL时，我们经常会遇到两个尴尬的情况：表里的单个文件都很大，而且因为record比较小，所以单个文件的record数量巨大。表里每个分区都有成百上千个小文件...

java

linux

大数据

python

hadoop

原创 2023-03-15 00:25:53 1086 阅读

Spark 资源自动清理

Spark运行一次SQL，根据SQL的具体执行情况，可能会产生很多垃圾。譬如你可以很容易观察到的就是在Spark UI上跑完SQL后会有Storage Memory的占用：这个应该是SQ...

队列

分布式

java

spark

数据库

原创 2023-03-15 00:25:42 90 阅读

可编程的SQL是什么样的？

背景如果你使用传统编程语言，比如Python，那么恭喜你，你可能需要解决大部分你不需要解决的问题，用Python你相当于拿到了零部件，而不是一辆能跑的汽车。你花了大量时间去组装汽车，而不是去操控汽车去抵达自己的目的地。大部分非计算机专业的同学核心要解决的是数据操作问题，无论你是摆地摊，开餐馆，或者在办公室做个小职员，在政

sql

hive

数据库

SQL

Python

原创精选 2023-03-15 00:25:30 184 阅读

排序算法的实际应用

上次在研究算法的时候详细的介绍了快速排序。今天有个朋友托我将一些域名排序，按域名长度进行排序。我看

算法

file

object

string

pivot

原创 2023-03-14 11:37:22 52 阅读

数据Pipeline质量控制浅谈

一般而言，实现某个特定业务的数据Pipeline都会比较长，这个时候对其中某个组件进行变更就是很有压力的事情。我们如何保证数据的准确性和完整性呢？引子以我们公司的实时带宽计算为例，就是一...

数据

离线

数据存储

转载 2023-03-14 08:24:52 57 阅读

mysql-安装篇

仔细讲述了Ubuntu源码安装mysql的步骤与注意事项。详细查看个人站点：www.allwefantasy.cn附件为完整word文档。

MySQL

Ubuntu

mysql

源码安装

转载 2023-03-14 08:22:02 55 阅读

12cd.com 开发分享--重新部署你的网站但不中断用户的使用

如何解决这个问题呢？如何做到网站重新部署而不中断用户的使用呢？ 12cd初期就遇到这个问题，当时不断有...

应用服务器

Tomcat

Web

Apache

Linux

原创 2023-03-14 08:21:34 53 阅读

Spark Streaming 的玫瑰与刺

前言说人话：其实就是讲Spark Streaming 的好处与坑。好处主要从一些

Streaming

偏移量

数据

原创 2023-03-11 09:55:38 108 阅读

Spark sc.textFile(...).map(...).count() 执行完整流程

本文介绍下Spark 到底是如何运行sc.TextFile(…).map(….).count() 这种代码的，从driver端到executor端。引子今天正好有人在群里问到相关的问题，不过他的原始问题是：我在RDD里面看到很多 new MapPartitionsRDD[U, T](this, (context, pid, iter) =>

序列化

spark

System

原创 2023-03-11 09:55:33 94 阅读

工作迷思

早上看到一个报告，说是北京工作学习时间平均达到每天9小

提高工作效率

新知识

原创 2023-03-11 09:55:29 79 阅读

用机器学习流程去建模我们的平台架构

Spark 提供了一个新的体系，spark.ml。相对于spark.mllib,这是

搜索

数据

机器学习

原创 2023-03-11 09:55:24 91 阅读

看不到服务器的年代，一个新的时代

冬瓜，把程序提交到集群上去哈冬瓜的日记冬瓜是一家互联

服务器

搜索

数据

原创 2023-03-11 09:55:19 88 阅读

Spark Streaming 1.6 流式状态管理分析

Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得

spark

流式计算

分布式

数据

Streaming

原创 2023-03-11 09:55:14 154 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wb5aaf1ddd20e7f的博客

欢迎

ElasticSearch Aggregation Bucket 实例分析

如何提高ElasticSearch 索引速度

Spark Streaming 数据清理机制

Spark Streaming Dynamic Resource Allocation 文档(非官方特性)

Spark Streaming Dynamic Resource Allocation

Spark会把数据都载入到内存么？

数据天生就是流式的

开源选型中的基因论

天天在做大数据，你的时间都花在哪了

由CarbonData想到了存储和计算的关系

Spark 如何写入HBase/Redis/MySQL/Kafka

如何做Spark 版本兼容

运维=平台+数据

StreamingPro添加Scala script 模块支持

ELK的崛起(Rise of the ELK)

Yarn使用cgroups隔离CPU资源实战

CarbonData实践(一)

Spark 大/小文件读取优化

Spark 资源自动清理

可编程的SQL是什么样的？

排序算法的实际应用

数据Pipeline质量控制浅谈

mysql-安装篇

12cd.com 开发分享--重新部署你的网站但不中断用户的使用

Spark Streaming 的玫瑰与刺

Spark sc.textFile(...).map(...).count() 执行完整流程

工作迷思

用机器学习流程去建模我们的平台架构

看不到服务器的年代，一个新的时代

Spark Streaming 1.6 流式状态管理分析