环境准备及提交流程程序起点执行内存管理:执行内存主要用来存储任务在执行shuffle时占用的内存,shuffle按照一定规则对rdd数据重新分区的过程,我们来看shuffle的write和read两阶段对执行内存的使用:
第一章1.1 什么是cdc cdc 是change data capture 变更数据获取的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入,更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件以供其他服务进行订阅及消费。1.2 cdc的种类cdc主要分为基于查询和基于binlog两种方式。cdc的主要分为 基于查询和基于binblog两种方式,我们主要
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号