乐胖代购免代理版

api

python

spark

大数据

RDD

原创 2017-09-23 22:31:23 1826 阅读 1点赞

spark2.x由浅入深深到底系列六之RDD java api用JdbcRDD读取关系型数据库

用spark RDD java api构建JdbcRDD来实现从关系型数据库中读取数据，这里使用的是derby本地数据库，当然可以是mysql或者oracle等关系型数据库

spark

大数据

JavaApi

原创 2017-09-20 23:19:42 4329 阅读 3点赞 1收藏

spark2.x由浅入深深到底系列六之RDD 支持java8 lambda表达式

介绍了RDD使用java8的lambda表示式来实现的方式，并且比对了java8 lambda于非lambda实现的区别

lambda

spark

java8

原创 2017-09-20 22:05:00 1579 阅读 1收藏

spark2.x由浅入深深到底系列六之RDD api reduceByKey与foldByKey对比

详细阐述了spark RDD api reduce与fold使用过程中的区别及其需要注意的点，也详细阐述了reduceByKey与foldByKey使用过程中的区别及其需要注意的点

老汤

spark

RDD

原创精选 2017-09-19 23:22:24 3836 阅读 3点赞 1收藏

spark2.x由浅入深深到底系列六之RDD java api详解四

对key-value类型的另一个重要的api cogroup做了详细的说明，并介绍了join等相关操作是基于cogroup实现的

spark

大数据

JavaApi

原创 2017-09-19 21:30:02 1203 阅读

spark2.x由浅入深深到底系列六之RDD java api详解三

详细的讲解了key-value类型RDD的创建方式，对key-value类型RDD中的api进行了详细的讲解，比如combineByKey，aggregateByKey，reduceByKey,foldByKey，groupByKey等api

老汤

spark

大数据

原创 2017-09-19 21:09:58 4691 阅读 1点赞

spark2.x由浅入深深到底系列六之RDD java api详解一

详细的介绍了spark rdd java api的四个部分的内容，分别是RDD的三种创建方式、单类型RDD基本的transformation api、采样Api以及pipe

老汤

spark

大数据

原创 2017-09-17 20:42:36 2070 阅读 1点赞 3收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

老汤

欢迎

spark2.x由浅入深深到底系列七之RDD python api详解二

spark2.x由浅入深深到底系列六之RDD java api用JdbcRDD读取关系型数据库

spark2.x由浅入深深到底系列六之RDD 支持java8 lambda表达式

spark2.x由浅入深深到底系列六之RDD api reduceByKey与foldByKey对比

spark2.x由浅入深深到底系列六之RDD java api详解四

spark2.x由浅入深深到底系列六之RDD java api详解三

spark2.x由浅入深深到底系列六之RDD java api详解一