LZ最近参加了一场大数据平台实践交流会,地点在杭州未来科技城海创园4号楼,就在阿里巴巴西溪园区附近。
LZ之前也没做过大数据平台相关的工作,对于大数据的了解基本来源于百度百科、微信文章以及知乎等问答网站,但是听了几位技术大佬的分享,很有收获(虽然我还不能get到他们最引以为傲的那些点qwq,毕竟对一些东西的实现难度还没概念)
下面写一点我自己觉得很有意思的东西。
ERM一般就是指Amazon的EMR,EMR的全称是Elastic MapReduce
2009年4月,亚马逊提出EMR的概念,Elastic MapReduce自动提供Hadoop集群、运行和终止作业以及处理EC2(VM)和S3(对象存储)之间的数据传输。
去IOE以后写
CDH以后写
大中台+小前台以后写
DataWorks以后写