乐胖代购免代理版

欢迎

14 - MLSQL on k8s（2） - Spark on k8s

Spark on k8s，可能都有听说，可是笔者从网上没有找到一个可以顺利运行的例子。笔者也是走了几个弯路才顺利跑通的。下面笔者将基于spark native方式部署，分别讲解如下三种模式...

docker

uefi

kubernetes

大数据

hadoop

转载 2023-03-17 19:56:24 246 阅读

【短文】Spark危机与机遇杂谈

MLFlow昨天发了一篇文章Spark团队新作MLFlow 解决了什么问题描述了我对Mlow并没有改变AI同学的...

数据处理

深度学习

数据预处理

原创 2023-03-17 19:53:36 32 阅读

如何实现AutoML--让机器先做出Baseline

前言我之前写过一篇如何实现AutoML -- 先Auto每个环节,大致思路是让机那么只需要计算30次，虽然最终结果可能不...

数据

枚举类型

最优算法

原创 2023-03-17 19:53:30 109 阅读

MLSQL 对Python的支持之路

前言Python是做机器学习框架一定要支持的。MLSQL很早就支持集成Python脚本做模型

python

bc

API

原创 2023-03-17 19:53:25 110 阅读

【深夜Spark】 Spark on K8S的进展

夜深了，来听听两位Spark Committers Erik和Yinan在上个月的KubeCon 2018 Seattle给了一个talk：Deep Dive: SIG-Big Data...

Python

自定义

ide

转载 2023-03-17 19:53:17 83 阅读

【深夜Spark】Spark At Paypal

夜深了，，，Paypal黑帮【PayPal Mafia】的传奇估计大家都听说过。过来瞧瞧电子支付..

Memory

驱动开发

Hadoop

转载 2023-03-17 19:53:13 168 阅读

【深夜Spark】聊聊Spark Scheduler

夜深了，来学习一下Spark Scheduler，几张slides，通俗易懂，立马领会精妙的Scheduler！有兴趣的同学，还可以读读Matei的Delay Scheduling的原文...

ide

Apache

数据

转载 2023-03-17 19:53:06 111 阅读

漫谈加持Blink的Flink和Spark

前言今天朋友圈有篇【阿里技术】发的文章，说Blink的性能如何强悍，功能现在也已经比典型作业，性能是原来的 3 到...

flink

代码质量

深度学习

原创 2023-03-17 19:53:00 136 阅读

精细化成本控制

前言最近有赞，新东方，还有掘金社区的公开信，也算是反应了企业成本控制这个重要的

组织架构

服务器

迭代

原创 2023-03-17 19:52:56 107 阅读

数据中台和数仓的关系

传统数仓传统数仓有几个特点：数据具有历史性基于文件存储以表为形态，自带元数据存储（比如Hive）在数仓的数据是其他数据的拷贝或者拷贝的加工传统数仓需要拷贝数据的重要原因是因为基于数据和存储需要尽可能的近。所以我们需要把MySQL等数据源的数据同步到数仓，才能进，所以导致数据规模庞大。数仓本...

数据

元数据

数据源

原创 2023-03-17 19:52:49 22 阅读

MLSQL Cluster 路由策略

前言MLSQL Cluster 具备多MLSQL Engine 实例管理功能，实现负载均衡，多业务切分等

负载均衡

接口文档

持续更新

原创 2023-03-17 19:52:44 47 阅读

MLSQL如何帮助分析师更高效

前言我之前写过一篇文章叫如何按程序员思维写分析师脚本，这里主要是在两能点，都已经在MLSQL中实现。当然，拥有这些还是远远不够的，因为SQL语言自身的设计...

SQL

建模

字段

原创 2023-03-17 19:52:41 51 阅读

对技术负债，技术和业务权衡和重构，重写，升级的一些看法

技术负债在技术圈，有一个债务术语叫【技术负债】或者【技术债务】。【技术负债】是指虽然你随便找个团队都能把某件事情(系统)做出来，但是这个事情（系统）埋的雷太多，它只是跑起来了，但其实不能持续的跑。不能持续的跑体...

技术负债

运维

商业模式

商业

原创 2023-03-17 19:52:34 52 阅读

MLSQL 语法扩展设计

前言MLSQL 语法非常简单，只有：setselecttrain/run/predictsaveload等几种语法。因为M

复用

Rust

解决方案

原创 2023-03-17 19:52:29 94 阅读

Rust FFI 实践

背景部门算法团队开始成长起来，开始有越来越多的尝试以及成果，但是现在工程方面严重使用TF serving，...

Rust

数组

封装

原创 2023-03-17 19:52:24 131 阅读

MLSQL Stack v1.2.0正式版发布

前言MLSQL Stack 包含如下几个组件：MLSQL Engine v1.2.0MLSQL Cluster v1.2.0MLSQL

Stack

迭代

权限控制

原创 2023-03-17 19:52:18 115 阅读

MLSQL Stack 应用场景示例

前言MLSQL Stack 都有哪些应用场景呢？毕竟现在是个场景为王的时代。其实MLSQL 是根据业务需求，用M...

数据

Stack

数据同步

原创 2023-03-17 19:52:12 73 阅读

MLSQL 1.3.0开发版中最新三个MPIPs--调度，资源，缓存

什么是MPIPMPIP 是新Feature提案。全称 MLSQL Project Improvement Proposals

缓存

定时任务

生命周期

原创 2023-03-17 19:52:07 58 阅读

Spark Streaming 与 Kafka 集成分析

前言Spark Streaming 诞生于2013年，成为Spark平台上流式处理的解决方案，同时也给

spark

storm

kafka

流式计算

数据

原创 2023-03-17 19:50:10 64 阅读

Spark Sort Based Shuffle内存分析

分布式系统里的Shuffle 阶段往往是非常复杂的，而且分支条件也多，我只能按着我关注的误之处，我会根据自己理解的深入，不断更新这篇文章。

spark

sort-based

shuffle

apache

数据

原创 2023-03-17 19:50:03 71 阅读

Spark Tungsten in-heap / off-heap 内存管理机制

这篇文章具体描述了Spark Tungsten project 引入的新的内存管理机制，并且描述了一些使用细节。

spark

tungsten

in-heap

off-heap

apache

原创 2023-03-17 19:49:57 94 阅读

Spark Streaming Crash 如何保证Exactly Once Semantics

这篇文章只是为了阐述Spark Streaming 意外Crash掉后，如何保证Exactly Once Semantics。本来这个是可以直接给出答案的，但是我还是啰嗦的讲了一些东西。

spark

storm

流式计算

kafka

数据

原创 2023-03-17 19:49:51 54 阅读

Spark Streaming 数据产生与导入相关的内存分析

前言我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。

spark

流式计算

数据接收

Receiver

数据

原创 2023-03-17 19:49:46 79 阅读

Mysql-命令行篇

讲解了一些MySQL常用命令。附件为完整word文档。

MySQL

常用命令

转载 2023-03-17 08:53:52 21 阅读

Mysql系列文章开始啦

，给偶发个E-Mail，不过注意提问必须要详细，把你觉得可能的错误日志等提交给偶，否则不予回答。整个系列基于Ubuntu。至于为什么使用Ubuntu而不是别的Linux发行版，很简单，偶不是系统工程师，8可能玩太多滴操作系统，Ubuntu是偶从大学起就玩滴东东，所以呢,就用它了。另外，偶要灰常灰常感...

MySQL

Ubuntu

Linux

Gmail

mysql

转载 2023-03-17 08:53:49 41 阅读

从内容/用户画像到如何做算法研发

中午和一前同事一起用餐，发现还是有很多碰撞点的。交流了很多正在做的事情，对方也提供了非常多的思想值得自己很好的思考。先是和他聊了下我们现在做内容标签的进展，其实就是在做内容画像。我们一般都是在谈用户画像，其实内容也是要画像的。我之前说，内容和用户是现在互联网企业核心的两个东西，用户的行为则将内容和用户连接了起来。很多人一上来，撸起袖子就开始做用户画...

用户画像

spark

Google

原创 2023-03-16 17:47:45 39 阅读

Spark Shuffle Write阶段磁盘文件分析

前言上篇写了 Spark Shuffle 内存分析后,有不少人提出了疑问，大家也对如何落文件挺感兴趣的，所以这篇文章会详细介绍，Sort Based Shuffle Write 阶段是如何进行落磁盘的流程分析入口处:org.apache.spark.scheduler.ShuffleMapTask.runTaskrunTask对应的代码为：...

文件名

ide

偏移量

原创 2023-03-16 17:46:59 145 阅读

hibernate 小技巧

Department 和 employer是一对多关系。现在我对Department分页显示，同时我也想把employer得个数也统计出来。当然也可以添加冗余字段在department做统计。不过每次添加employer就得更新Department相应字段，同理删除。很是麻烦。我们可以再Department里面添加一个字段 emplyer_size,在映射文件不做映射。然后使用 selec

hibernate

字段

映射文件

自定义

原创 2023-03-16 17:46:12 57 阅读

ElasticSearch Aggregations GroupBy 实现源码分析

在前文 ElasticSearch Aggregations 分析中，我们提及了【Aggregation

数组

字段

数据

原创 2023-03-15 07:36:13 100 阅读

ElasticSearch Aggregations 分析

承接上篇文章 ElasticSearch Rest/RPC 接口解析,这篇文章我们重点分析让ES步入数据分析领域的Aggregation相关的功能和设计。前言我记得有一次到一家公司做内部分享，然后有研发问我，即席分析这块，他们用ES遇到一些问题。我当时直接就否了，我说ES还是个全文检索引

elasticsearch

数据分析

全文检索

数据

SQL

原创 2023-03-15 07:35:42 91 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wb5aaf1ddd20e7f的博客

欢迎

14 - MLSQL on k8s（2） - Spark on k8s

【短文】Spark危机与机遇杂谈

如何实现AutoML--让机器先做出Baseline

MLSQL 对Python的支持之路

【深夜Spark】 Spark on K8S的进展

【深夜Spark】Spark At Paypal

【深夜Spark】聊聊Spark Scheduler

漫谈加持Blink的Flink和Spark

精细化成本控制

数据中台和数仓的关系

MLSQL Cluster 路由策略

MLSQL如何帮助分析师更高效

对技术负债，技术和业务权衡和重构，重写，升级的一些看法

MLSQL 语法扩展设计

Rust FFI 实践

MLSQL Stack v1.2.0正式版发布

MLSQL Stack 应用场景示例

MLSQL 1.3.0开发版中最新三个MPIPs--调度，资源，缓存

Spark Streaming 与 Kafka 集成分析

Spark Sort Based Shuffle内存分析

Spark Tungsten in-heap / off-heap 内存管理机制

Spark Streaming Crash 如何保证Exactly Once Semantics

Spark Streaming 数据产生与导入相关的内存分析

Mysql-命令行篇

Mysql系列文章开始啦

从内容/用户画像到如何做算法研发

Spark Shuffle Write阶段磁盘文件分析

hibernate 小技巧

ElasticSearch Aggregations GroupBy 实现源码分析

ElasticSearch Aggregations 分析