关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
关于 Pulsar Summit
Pulsar Summit 是 StreamNative 组织的 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/ CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此盛会,大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识,切磋互动。Pulsar Summit Asia 旨在聚集亚洲地区 Pulsar 开发者和贡献者,促进 Apache Pulsar 在亚洲地区的发展。Pulsar Summit Asia 2020 将于 11 月 28-29 日以线上直播形式开展。GitHub 地址:http://github.com/apache/pulsar/
近期我们将陆续对 Pulsar Summit Asia 2020 中英文专场及分论坛议题予以详细介绍,帮助大家更好地了解即将到来的 Pulsar 社区盛会分享什么、有哪些亮点。Pulsar Summit Asia 2020 线上峰会,为亚洲开发者与全球开发者搭建了沟通平台,我们将分上、下为大家介绍英文专场议题内容。一起分享来自全球各地 Pulsar 开发者和爱好者的精彩吧!
备注:下面演讲时间及内容不能保证为最终版本,请关注 Pulsar Summit Asia 2020 官网获取最新动态 https://pulsar-summit.org/en/event/asia-2020 。
最佳实践:从 Pulsar 到 Elastic 的流数据处理分析
Ricardo Ferreira
Elastic 首席布道师。
演讲时间:11 月 28 日 13:30-14:10
演讲详情:
在数据快速增长的世界中,数据如果无法及时使用,将失去时效性和利用价值。为了最大限度地提高数据对企业的价值,我们必须洞察数据并据此对决策给予指导。本次演讲将讨论如何最大化发挥 Apache Pulsar 作为流数据层和弹性分析技术栈的特长,帮助企业快速挖掘数据价值。同时,我也将分享如何在 ElasticSearch 中进行数据处理和挖掘。
基于 Apache Pulsar 消息流技术支撑的持续智能实践
Simon Crosby
Simon Crosby 是 Swim 首席技术官。Swim 提供了第一个开放式企业级平台,可实现大规模连续智能,从而随时为企业提供完整的态势感知和运营决策支持。Simon 于 2010 年与他人共同创立了 Bromium(现为 HP SureClick),目前担任战略顾问。在此之前,他曾担任 Citrix Systems 数据中心和云部门的 CTO。他曾是英特尔公司的首席工程师,也是剑桥大学的一名教师,在那里他领导了有关网络性能、控制和多媒体操作系统的研究。Simon 也是 DCVC 的股权合作伙伴,是美国剑桥的董事会成员,也是众多初创公司的投资者和顾问。他是 35 项研究论文和专利的作者,涉及许多数据中心和网络主题,包括安全性、网络和服务器虚拟化以及资源优化和性能。他拥有剑桥大学的计算机科学博士学位,南非的斯泰伦博斯大学的理学硕士学位以及南非的开普敦大学的计算机科学和数学理学学士学位(荣誉学位)。
演讲时间:11 月 28 日 14:50 - 15:30
演讲详情:
Apache Pulsar 在帮助开发者征服大数据流方面发挥着关键作用,但许多用户仍然难以从多种数据源中获得价值。尽管流数据不会停止——其中很多只是短暂有用,继续使用“先存储后分析”架构的数据管道也经常跟不上业务要求的响应速度,因为数据库访问速度要比访问 CPU 慢一百万倍,速度上带来的迟缓则会造成批处理分析出来的业务洞察和响应很快失效。本次演讲将介绍借助 Apache Pulsar 的实时事件数据功能,SwimOS 如何基于“分析和反馈”架构进行业务数据分析、学习和持续预测。
Apache Pulsar 助力 Chatroulette 视频聊天业务,联接全球千万用户
Gabriel Volpe
Chatroulette 软件工程师,资深 Haskell & Scala 工程师,Nix 爱好者,Vim 忠粉,《Practical FP in Scala》一书作者。
Tamer Abdulazim
Tamer 是 Bitspire 首席软件工程师,他致力于帮助初创团队构建大规模数据系统,Apache Pulsar 是此大规模系统的核心技术。他的领域涉及大数据、实时数据分析和在线机器学习模型构建等方向。
演讲时间:11 月 28 日 15:30 - 16:10
演讲详情:
Pulsar 是 Chatroulette 视频聊天平台的核心技术支撑,助力 Chatroulette 联接全球的用户。Chatroulette 核心平台组件主要目的是将 WebSocket 和临时 topic 打通联接,并能按需进行水平扩展。我们还将 Pulsar 用作数据管道的关键技术,一个 Pulsar 窗口函数就能支撑在时序数据库中大吞吐量地验证、存储数百万个日常分析事件。此外,我们还采用了函数式编程(FP)范式,并开发开源了 Pulsar 的 Scala 和 Haskell(函数式编程语言)的客户端。
Apache Pulsar 集群的安全审计与认证实践
Shivji Kumar Jha
Shiv 是 Nutanix 的高级软件开发工程师,目前在 Beam 团队帮助 Nutanix 客户最大限度地降低云成本和混合云使用的安全风险。Shiv 在数据存储(数据库/流/分析等)有着强烈兴趣,并且是 MySQL 和 Pulsar 项目的贡献者。Shiv 也是一个狂热的读者(科技/科幻/经济等),并且始终追求简化软件架构的方法。
演讲时间:11 月 28 日 16:10-16:50
演讲详情:
一个 Pulsar 实例包括了 1 到 多组 Pulsar 集群,1 组集群又包括 1 个 broker 集群、1 个 BookKeeper 集群和 1 个 ZooKeeper 集群。当然每个都有提供模块和灵活的设计,在网络上有大量数据流动,其中在应用中也有大量安全相关的联接,比如集群内和集群间。在 Nutanix,我们已在安全环境部署了 Apache Pulsar 并通过了大量基础设施认证的安全审计。在本环节,我将分享如何设置网络通信的认证、审计来确保 Pulsar 部署安全。
技术剖析:借助 Pulsar Function 开启 Serverless 新时代
Axel Sirota
Axel Sirota 拥有数学学士学位,在深度学习和机器学习方面拥有浓厚的兴趣。在研究概率论、统计学和机器学习优化之后,他目前任职 JAMPP 担任机器学习研究工程师,致力于利用客户数据来进行实时投标的精准预测工作。
演讲时间:11 月 28 日 16:50-17:30
演讲详情:
有多少次需要于不同的 topic 间进行切换,但在部署整个服务时遇到问题?此刻,你可能想到使用 AWS Lambda 函数,但又觉得它们非常昂贵?Pulsar 自 2.0 版本开始提供了一个原生、Serverless 架构及轻量型的计算选项 Pulsar Function,让之前几周的工作量可以在几小时内完成!在本环节中,我们将探讨 Pulsar Function 相关技术细节及原理、为何 Pulsar Function 可以满足我们的需求,以及如何在 Apache Pulsar 运行 Serverless 处理任务。
BKVM 3.0 新特性解读:BookKeeper 可视化管理器
Enrico Olivelli
Enrico Olivelli 是 https://magnews.com 和 https://emailsuccess.com.he 的首席开发经理,也是 Apache ZooKeeper和 Apache BookKeeper 项目的 PMC 成员、Apache Maven Committer,同时还是一些开源分布式系统如 HerdDB 和 BlazingCache 的项目作者。
Matteo Minardi
Matteo Minardi 是 MagNews.com 和 EmailSuccess.com 的一名软件工程师,目前任职于研发团队。他也是开源爱好者和 BookKeeper 可视化管理器的创建人。
演讲时间:11 月 28 日 17:30 - 18:10
演讲详情:
在本环节,我们将分享即将发布的 BKVM 版本新特性,BookKeeper 可视化管理器也将会与 Pulsar Manager 集成打通。