乐胖代购免代理版

spark

workflow

架构

Streaming

Server

原创 2023-03-11 09:55:07 128 阅读

运维之殇

引子早上醒了，百无聊赖，刷了下微博，一微博号发了如下

运维

分布式系统

数据分析

原创 2023-03-11 09:54:45 64 阅读

流式计算常见模块用法说明

说明StreamingPro有非常多的模块可以直接在配置文件中使用，本

spark

sql

JSON

原创 2023-03-11 09:54:40 82 阅读

Spark与HBase的整合

前言之前因为仅仅是把HBase当成一个可横向扩展并且

sql

API

spark

原创 2023-03-11 09:54:35 93 阅读

Kafka Zero-Copy 使用分析

之前有听过Zero-Copy 技术，而Kafka是典型的使用者。网上找了找，竟然没有找到合适的介绍文章。正好这段时间正在阅读Kafka的相关代码，于是有了这篇内容。这篇文章会简要介绍Zero-Copy技术在Kafka的使用情况，希望能给大家一定借鉴和学习样例。前言Kafka 我个人感觉是性能优化的典范。而且使用Scala开发，代码写的也很漂亮的。重点我觉得有四个NIOZero Copy磁盘顺

kafka

scala

zero-copy

数据

ide

原创 2023-03-11 00:09:35 80 阅读

ElasticSearch Rest/RPC 接口解析

ElasticSearch 的体系结构比较复杂，层次也比较深，源码注释相比其他的开源项目要少。这是ElasticS

RPC

ide

映射关系

原创 2023-03-11 00:09:29 83 阅读

Java一定要跨平台吗（更新篇）

一旦听到怎么写怎么写会损害Java的跨平台性，大家就神经紧张，视之为洪水猛兽。Jni技术，以及一些涉及到

java

跨平台

netbeans

jbuilder

设计模式

原创 2023-03-10 22:43:43 104 阅读

Java你不得不知道的，却总是感到迷惑的东西

关键字：环境变量类装载器 path CLASSPATH JDK 探秘在学Java的时候，很多东西会让学习者很沮丧。比如光配以个环境遍历就让人头疼的了，还有解决的不说这些，管一

java

jdk

path

windows

jvm

原创 2023-03-10 22:43:26 65 阅读

【抖音短文】痛点不能驱动一切，效率驱动才是

什么都等到痛了才去做，要你何用。在我们的内心世界，我们认为痛点驱动是一个理所当然的事情。只有有

Google

工作模式

搜索

原创 2023-03-10 22:18:28 54 阅读

【短文】为什么要关注技术趋势

很多对技术持有保守心态的人，总是希望某项技术烂大街以后再买入，但是技术本身并不是凭空而来的，

数据

需求驱动

业务需求

原创 2023-03-10 22:18:18 59 阅读

【短文】技术调研尽可能不要交给新手

技术调研是个技术上很有【挑战】，同时也是一个比较【艰苦】，也考验一个人的技术【品味】的任务。所以让一个新手去调研，这明显属于为难新手，并且大概率会得到一个不甚“真实”的调研结果。当然了，...

技术调研

原创 2023-03-10 22:18:12 44 阅读

【一站地铁短文】该不该追新的技术名词（概念）

先抛出结论（毕竟我们号称一站地铁短文）：无论什么新技术名词（概念），不要去抵触，试着去了解，最好是能

数据

数据库表

大数据

原创 2023-03-10 22:18:05 52 阅读

FUSE(FileSystem in User Space) 对算法的价值

前言MLSQL 有一段时间致力于融合大数据平台和算法平台，实现【同一个平台，同一个语言。】。事实上我们通过各种方式做到了,通过整合Spark ML,S 后每个数据集我们叫partitio...

数据

分布式算法

分布式存储

原创 2023-03-10 22:17:34 66 阅读

台北行二三事：不要让疲劳被掩埋

今天是到台北第三天，也是第二次来台北了。台北是个很舒适，很适合生活的城市。这两天来基本就是以酒店为中心，方圆一公里活动

安全问题

原创 2023-03-10 22:17:27 54 阅读

MLSQL数据源开发指南

前言MLSQL支持标准的Spark DataSource数据源。典型使用如下：load hive.`public.test` as test;set data='''{"key":"yes","value":"no","topic":"test","partition":0,"offset":0,"timestamp":"2008-01-24 1...

ide

spark

数据源

原创 2023-03-10 22:17:00 113 阅读

MLSQL 编译时权限控制

前言权限控制，对于MLSQL而言的重要程度可以说是生命线。 MLSQL需要面对各式各样的资源访问，比如MySQL, Oracle,HDFS，Hive,Kafka

bc

数据源

mysql

原创 2023-03-10 22:16:49 67 阅读

手动安装和启动MLSQL三套件

MLSQL-Engineclone项目git clone git@github.com:allwefantasy/streamingpro.git编译cd streamingproexport M

sql

docker

git

原创 2023-03-10 22:16:26 38 阅读

数据部门起步阶段需要建立数仓么？

之前我写了一篇关于数据中台和数仓的关系的文章，里面理清了数仓和中台的关系。后面我了解到更通用的技术词汇去表达数据

数据

数据库

数据获取

原创 2023-03-10 22:16:17 80 阅读

PySpark 通过Arrow加速

前言PySpark是Spark 实现 Unify BigData && Machine Learning目标的基石之一。通过PySpark,我们可以用Python在一个脚本里完成数据加

序列化

spark

sql

原创 2023-03-10 22:15:42 194 阅读

StreamingPro 基于Spark 2.1.1版本支持Spark Streaming

源码构建简化很多人吐槽StreamingPro构建实在太麻烦了。看源码都难。然后花了一天时间做了比较大重构，这次只依

spark

scala

Streaming

原创 2023-03-10 22:14:41 79 阅读

我是不是应该转行机器学习？

开始先说结论：要不要转行，不妨先业余时间玩一把，看这个是不是真的适合自己，然后再去

机器学习

数据

深度学习

原创 2023-03-10 22:14:30 66 阅读

深度学习思考

机器学习的套路大部分机器学习算法(包括深度学习)，其实是在一个理想空间里（接下来我们会以三维空间为例

数据

深度学习

机器学习

原创 2023-03-10 22:14:22 76 阅读

数据分析漫谈

前言今天突然想了想这事，后面正好也在群里有了讨论。所以这篇文章大体是做个总结。夜检索则是有别于1，2的一种数据获取分析方式，作为人类三大信息来源之一的文字，关键字检索是一个非常重要的从海量...

数据

海量数据

数据集

原创 2023-03-10 22:13:47 52 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wb5aaf1ddd20e7f的博客

欢迎

Spark Streaming 妙用之实现工作流调度器

运维之殇

流式计算常见模块用法说明

Spark与HBase的整合

Kafka Zero-Copy 使用分析

ElasticSearch Rest/RPC 接口解析

Java一定要跨平台吗（更新篇）

Java你不得不知道的，却总是感到迷惑的东西

【抖音短文】痛点不能驱动一切，效率驱动才是

【短文】为什么要关注技术趋势

【短文】技术调研尽可能不要交给新手

【一站地铁短文】该不该追新的技术名词（概念）

FUSE(FileSystem in User Space) 对算法的价值

台北行二三事：不要让疲劳被掩埋

MLSQL数据源开发指南

MLSQL 编译时权限控制

手动安装和启动MLSQL三套件

数据部门起步阶段需要建立数仓么？

PySpark 通过Arrow加速

StreamingPro 基于Spark 2.1.1版本支持Spark Streaming

我是不是应该转行机器学习？

深度学习思考

数据分析漫谈