算力云平台云算力xch

转载

云端梦想家 2023-10-21 17:45:22

在10月11日开幕的“2017杭州·云栖大会”首日主论坛，阿里云总裁胡晓明重点介绍新一代计算平台MaxCompute+PAI。

算力云平台云算力xch_数据

在12日的主论坛中，阿里巴巴集团副总裁，搜索事业部&计算平台事业部负责人周靖人说，数据是机器智能创新的基础，拥有充沛的计算能力才能全面释放数据的价值。随后周靖人与英特尔公司数据中心事业部副总裁Rob Hays共同进行BigBench On MaxCompute[1] 2.0+PAI的重磅发布。本次发布突破了TPCx-BB[2] 公布的各项历史最佳成绩，体现出MaxCompute极强的大规模数据处理能力以及公共云相对传统模式的绝对优势。

算力云平台云算力xch_操作系统_02

目前TPC官网公布的测试最大规模为10TB，最佳性能1491.23BBQpm，最高性价比589 Price/BBQpm。而此次阿里云发布的BigBench on MaxCompute 2.0+PAI，在全球范围内首次将规模拓展至100TB，成为首个达到7000分的引擎，也成为首个基于公共云服务的Benchmark。

据介绍，大会结束后，MaxCompute会在公共云开放一个月的测试环境，并开源BigBench On MaxCompute+PAI的SDK（继承自TPCx-Bigbench，并使之运行在阿里云的大数据环境上），供开发者验证试用。

BigBench on MaxCompute在规模上的巨大突破，得益于MaxCompute的海量数据处理能力和机器学习算法高效性，MaxCompute基于阿里云自主研发的分布式操作系统飞天，单集群服务器规模可以达到万台以上，数据规模达到EB级。

在性能上MaxCompute新一代处理引擎从Compiler、Optimizer、runtime等模块进行的持续深度优化。提供高性能计算的同时，阿里云机器学习PAI也为用户提供了强大的算法实验平台，包括传统的机器学习，也包括最新的深度学习以及增强学习等。同时为了满足阿里巴巴各种业务场景对于算法的需求，PAI 提供了大量的算法以及工具，并在性能以及数据规模上做了各种优化。

此外，MaxCompute与Intel开展深度合作，软硬结合深度优化，充分发挥Intel至强®可扩展处理器架构优势。英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化，并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

那么，究竟BigBench on MaxCompute2.0+PAI可以为开发者释放哪些计算红利，以帮助开发者抓住更多市场机遇呢？
1、突破规模限制。当BigBench作业的数据量达到10T以上时，市面上大多数产品会遇到各种瓶颈，无法进一步扩展。BigBench on MaxCompute可以将数据规模扩展到100T，轻松满足用户业务上不断增长的数据量需求。
2、不断降低成本。采用传统的硬件厂商+软件的方式需要购买服务器。虽然服务器成本可以分摊到服务器生命周期，但是硬件成本是逐年下降的，购买硬件服务器相当于用更高的价格预购未来的计算资源，必然导致抬高成本。BigBench采用pirce/QPM的方式计算性价比。与传统的采购硬件的方式相比，MaxCompute支持预付费和按量付费，计价方式非常灵活，性价比具有显著优势。
3、满足扩展性需求。互联网时代数据量需求随时可能会迎来爆炸式增长。传统的购买硬件方式周期太长，无法及时响应需求。BigBench on MaxCompute可按需扩充，实时响应企业数据扩展需求。
4、免服务运维。传统的硬件机房需要有运维团队保证，一般用户无法保证高质量的运维。BigBench on MaxCompute采用公有云免运维方式，企业客户不需投入专门的运维人员进行维护。
BigBench on MaxCompute基于TPCx-BB进行修改，兼容所有TPCx-BB语义。作为工业级Benchmark，TPCx-BB涵盖了大数据处理的多种作业类型，包括SQL、MapReduce、Streamling、MachineLearning等。BigBench on MaxCompute对这些作业类型完成了覆盖，展示了MaxCompute在大数据处理的软件栈完整性，下表是BigBench on MaxCompute的软件栈列表：

算力云平台云算力xch_大数据_03