快乐的哈士奇的博客_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 软考 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

关于数仓基础知识的超全概括！

数据仓库基础知识干货集锦

数据
数据仓库
元数据
原创 2021-12-18 14:04:44 549 阅读

Flink + Iceberg，百亿级实时数据入湖实战

俊杰在 4 月 17 日 上海站 Flink Meetup 分享的

数据
flink
spark
转载 2021-12-18 14:01:01 818 阅读

Flink 1.13，面向流批一体的运行时与 DataStream API 优化

摘要：本文 22 日在北京站 Flin

flink
数据
数据集
转载 2021-12-18 13:59:10 96 阅读

网易云音乐数仓治理之数据任务重构实践

云音乐数仓在经历了前期混沌摸索，中期建设完善，如今已逐步形成了一套适合自己的数仓体系和建设规范。增量模型及任

数据
大数据平台
spark
转载 2021-12-18 13:57:39 189 阅读

贝壳找房 x DorisDB：全新统一的极速OLAP平台实践

贝壳找房作为“科技驱动的新居住服务商”，致力于推进居住服务产业数字化、智能化进程，通过助力优质服务者，为三亿

数据
apache
物化视图
转载 2021-12-18 13:55:56 270 阅读

“数据湖”刚学会，又来了一个“数据海”？

主要内容：1、什么是数据海？2、大数据内卷现状3、大佬乱造词加速内卷4、如何反制大佬胡乱带节奏5、如何快速提升自己的技术一、数据海随着业务的蓬勃发展，商务智能、数据仓库、数据中台、数据湖已经无法满足大佬催牛逼的需求，他们希望出来一个新名词，来加速内卷，方便忽悠，就像黄河一样，每年都要把河床抬高，才能凸显出自己的技术沉淀，所以数据海就会应运而生，在讲述数据海的概念之前，我先带着大家温故一下商务智能、

数据
数据仓库
大数据
原创 2021-12-18 13:54:36 479 阅读

附300页PPT｜快手大数据治理专场，一次看个够

1快⼿从模型规范开始的数据治理实践分享嘉宾：孙伟,快手研发专家分享大纲：数据治理背景介绍数据模型规范治理实践

数据
数据质量
flink
转载 2021-12-18 13:51:55 291 阅读

企业级数据中台的建设方法、架构和技术栈

多数企业都意识到数据的重要性，都希望利用数据来驱动业务发展。但经常会听到这样一句话：“我们企业现在业务都还没

数据
技术架构
数据仓库
原创 2021-12-18 13:49:27 257 阅读

原创|实时数仓实战项目-第一节

业务需求场景介绍第一，实时

数据
flink
微信
转载 2021-12-18 13:47:57 138 阅读

原创|实时数仓实战项目-第二节（数仓分层）

马上就要到中秋节了，提前祝大家中秋节快乐，最近比较忙，考虑到粉丝一直要求我更新文章，我今天就加班更新一下文章

数据
离线
flink
转载 2021-12-18 13:46:28 552 阅读

原创|实时数仓实战项目-第三节（数仓治理）

实时数仓如何做数据治理在做技术分享之前，我就尽量画图，少写字，最好能让大家看一天图，就能懂最好。我不画大饼，搞一些高大上的东西，我就简单从我一个数据开发的角度来思考????我们应该如何去做数据治理。1、表概览有个地方可以维护你当前实时数仓维护了多少张表，这个好处就是，我们可以一目了然的发现我们当前有多少表，这些表目前的数量状况2、表明细有个地方记录你的每个表的创建信息、是否为临时表、近30天使用次

数据
离线
命名规范
转载 2021-12-18 13:45:17 194 阅读

网易云音乐实时数仓2.0进阶之路

导读：本篇文章是[2021年网易云音乐实时计算平台发展和挑战]的姊妹篇，由网易云音乐数据平台开发专家大愚分享

元数据
数据源
数据
转载 2021-12-18 13:44:03 89 阅读

从 Spark 做批处理到 Flink 做流批一体

主要内容为：为什么要做流批一体？当前行业已有的解决方案和现状，优势和劣势探索生产实践场景的经验Shuflle Service 在 Spark 和 Flink 上的对比，以及 Flink 社区后面可以考虑做的工作总结一、为什么要做流批一体做流批一体到底有哪些益处，尤其是在 BI/AI/ETL 的场景下。整体来看，如果能帮助用户做到流批一体，会有以上 4 个比较明显的益处：可以避免代码重复，复用代码核

flink
spark
批处理
转载 2021-12-18 13:40:53 363 阅读

应用实践｜ 新东方在线教育实时数仓的落地实践

背景介绍在传统数据仓库方面，通常以 T+1 离线批量计算为主，按照数仓建模方式，把要处理的业务按照主题域划分，构建各种数据模型，来满足公司经营分析，财务分析等各种公司管理层的数据需求。然而，随着在线教育快速发展市场竞争非常激烈，T+1 的方式在某些需求上很难对业务产生实际的价值，很可能因为数据延迟导致业务动作滞后，管理要求跟进不及时，最终导致客户流失，影响公司业务发展。目前我们遇到的主要痛点如下：

数据
flink
离线
转载 2021-12-18 13:36:10 150 阅读

万字对比ClickHouse、Kudu和Hbase全面（高级、16张图）

前言 Hadoop生态圈的技术繁多。HDFS一直用来保存底层数据，地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一些HDFS不足的地方。Clickhouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。能够使用SQL查询实时生成分析数据报告。它同样拥有优秀的数据存储能力。Apache Kudu是Cloude

数据
spark
服务器
转载 2021-12-18 12:00:47 1000 阅读

Hive SQL迁移Spark SQL在网易传媒的实践

引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。迁移背景SQL任务运行慢​Hive SQL处理任务虽然较为稳定，但是其时效性已经达瓶颈，无法再进一步提升，同一个SQL，Hive比Spark

sql
spark
hive
转载 2021-12-18 11:57:14 422 阅读

借助 Flink 与 Pulsar，BIGO 打造实时消息处理系统

摘要：本文主要内容包括：关于 BIGOBIGO 为什么会选择 Apache PulsarApache Pulsar 在 BIGO 中的角色BIGO 借助 Apache Pulsar 和 Flink 构造实时消息流处理系统。未来计划借助于大数据和人工智能技术，BIGO 基于视频的服务和产品获得了广泛的欢迎，在 150 多个国家和地区获得了大量的用户。BIGO 主要有两款非常流行的产品，第一款是 BI

flink
apache
数据
转载 2021-12-18 11:55:33 82 阅读

PPT限时下载！数据治理与安全在线峰会PPT合集！

今天小编给大家带来的PPT合集是数据治理与安全在线峰会的PPT合集，我们来看看都有哪些PPT吧（PPT限时下载，想下载的小伙伴抓紧！）：有哪些PPT

数据
flink
公众号
原创 2021-12-18 11:53:20 211 阅读

滴滴 x StarRocks：极速多维分析创造更大的业务价值

滴滴集团作为生活服务领域的头部企业，正在全面测试和上线StarRocks。其中橙心优选经过一年多的数据体系建设，我们逐渐将一部分需要实时交互查询、即席查询的多维数据分析需求由ClickHouse迁移到了StarRocks中，StarRocks在稳定性、实时性方面也给了我们良好的体验，接下来以StarRocks实现的漏斗分析为例介绍StarRocks在橙心优选运营数据分析应用中的实践。 作者：王鹏 

数据
hive
物化视图
转载 2021-12-18 11:51:57 566 阅读

干货|Spark优化之高性能Range Join

作者|张兴超 导 读Carmel是eBay内部基于Apache Spark打造的一款SQL-on-Hadoop查询引擎。通过对Apache Spark的改进，我们为用户提供了一套高可用高性能的服务，以满足eBay内部大量分析型的查询需求（如今单日查询量已超过30万）。在生产中，我们发现有很多包含非等值连接的查询。因为BroadcastNestedLoop的实现，这些查询会产生效率问题，而变得非常耗

数据
spark
等值连接
转载 2021-12-18 11:42:42 121 阅读

普通人的一生应该是怎样的？

普通人的普通一生。

知乎
转载 2021-12-18 11:36:50 207 阅读

【数据治理大赛作品分享】网易传媒数据管治建设实践

导读：本篇是首届网易数据治理大赛一等奖的作品分享，来自于网易传媒大数据团队。传媒的数据管治实践解决了资源使用

数据
元数据
数据质量
转载 2021-12-18 11:34:34 155 阅读

元数据管理在数据仓库的实践应用

什么是元数据管理？如何在数据仓库中应用？

元数据
数据
数据仓库
转载 2021-12-18 11:32:07 34 阅读

聊聊Kafka中值得我们学习的优秀设计

对你有帮助的话

kafka
数据
服务器
转载 2021-12-18 11:31:01 44 阅读

QuestDB是什么？性能居然跑赢了ClickHouse和InfluxDB

作者：Vlad Ilyushchenko在QuestDB(https://questdb.io/)，我们已经建立了一个专注于性能的开源时间序列数据库。我们创建QuestDB是为了将我们在低延迟交易方面的经验以及我们在该领域开发的技术方法带到各种实时数据处理用途中。QuestDB的旅程始于2013年的原型设计，我们在去年HackerNews发布会期间发表的一篇文章中描述了2013年之后所发生的变化。

数据
失序
时间序列
转载 2021-12-18 11:28:29 448 阅读

每日一问｜数据仓库面试题这些你都会吗？

问题1: 数据仓库为什要分层？为什么分层数据分层是一套让我们的数据体系更有序的行之有效的数据组织和管理方法

数据
建模
数据仓库
转载 2021-12-18 11:27:05 210 阅读

附PPT｜基于ES的搜索平台在哈啰的应用

flink
源码阅读
下载地址
原创 2021-12-18 11:24:41 165 阅读

Flink Sort-Shuffle 实现简介

Flink 作为批流一体的大数据计算引擎，大规模批数据处理也是 Flink 数据处理能力的重要组成部分。随着 Flink 的版本迭代，其批数据处理能力也在不断增强，sort-shuffle 的引入，使得 Flink 在应对大规模批数据处理任务时更加游刃有余。一、数据 Shuffle 简介数据 shuffle 是批数据处理作业的一个重要阶段，在这一阶段中，上游处理节点的输出数据会被持久化到外部存储中

数据
flink
数据压缩
转载 2021-12-18 11:23:03 223 阅读

聊聊Kafka中值得我们学习的优秀设计

我们今天来聊一聊Kafka中优秀的设计，希望可以提高你的设计能力、写代码能力！ 一.Kafk基础 消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画像分析。按照刚刚前面提到的消

kafka
数据
服务器
转载 2021-12-18 11:18:52 34 阅读

附PPT｜有赞数据地图实践

flink
源码阅读
下载地址
原创 2021-12-18 11:15:58 536 阅读
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯