乐胖代购免代理版

一篇文章让你了解Hive调优 - 文末赠书

Hive性能调优实战

执行计划

数据

缩进

转载 2023-01-05 15:46:19 140 阅读

接着！！大数据入门实用技术栈全在这里了

之前我们曾分享过阿里巴巴高级技术专家章剑锋对大数据行业趋势的分析与预测，可以了解到未来大数据将继续稳步发展，同时也将面临着更多新的挑战，诸如：如何将大数据与算力推到极致？如何更有效的提升数据效率与业务决策？如何更好地在千变万化的应用场景中抓住核心关键？我们挑选了一些能应对这些新挑战的有代表性的技术栈，绘制了如下大数据圈生态图，并在下文对主流的技术栈进行了介绍：新一代大数据计算引擎：Apac

Apache

Hadoop

大数据

转载 2023-01-05 15:45:53 236 阅读

融资数千万的小象科技了解一下

你一定听说过北京小象科技有限公司。

html

Hadoop

ci

转载 2023-01-05 15:45:32 175 阅读

从入门到精通 - Fayson带你玩转CDH

就这一篇文章让你精通Hadoop。

Hive

异常分析

API

原创 2023-01-05 15:45:10 670 阅读

CDH安装前置准备

本篇文章主要讲述安装Cloudera Manager和CDH前的准备工作。

服务器

数据库

centos

原创 2023-01-05 15:44:51 1302 阅读

Hive 终于等来了 Flink

等疫情过去了，我们一起看春暖花开。Apache Spark 什么时候开始支持集成 Hive 功能？笔者相信只要使用过 Spark 的读者，应该都会说这是很久以前的事情了。那 Apache Flink 什么时候支持与 Hive 的集成呢？读者可能有些疑惑，还没有支持吧，没用过？或者说最近版本才支持，但是功能还比较弱。其实比较也没啥意义，不同社区发展的目标总是会有差异，而且 Flink 在真

flink

Hive

hadoop

转载 2022-12-26 16:22:17 206 阅读

广州招Hadoop运维/开发工程师

招人。

Hadoop

运维

大数据平台

转载 2022-12-26 16:21:36 69 阅读

年薪50W+的必修术

自2013年起，无论是 BAT 还是传统的商业公司，都陆续在自己的软件系统中大规模使用大数据技术。不仅如此，越来越多的软件工程师开始转型成为大数据工程师，从事大数据开发与应用的工作。市场对于大数据的人才需求与日俱增，大数据方向俨然成为了业内炙手可热的职位。但是，不论是大数据的技术还是应用，都始终处于动态变化的过程中。这对很多刚开始接触大数据、考虑使用大数据的人来说，无疑带来了很多困惑。天天听别人讲

大数据

大数据开发

知识体系

转载 2022-12-26 16:21:08 71 阅读

YARN 资源调度那些事儿

本篇文章简要介绍了YARN调度器，以及小米的探索与实践。作者：小米运维在小米的计算平台中，Yarn 服务充当了非常重要的角色，MapReduce，Hive、Spark，Spark-sql 等都需要运行在 Yarn 集群上。（本文提到的 YARN 针对 Hadoop2.x）“我的作业为什么又失败了？”，“凭什么他的作业拿的资源比我多？”，“任务一直在 pending 啊，没法按时给老板交差！”..

ci

xml

hadoop

转载 2022-12-26 16:20:06 166 阅读

Druid Segment Balance 及其代价计算函数分析

文 | zhaojiandong on 大数据一、引言Druid 的查询

Pair

加载

List

转载 2022-12-11 22:04:14 100 阅读

独家｜手把手教你赋能Jupyter Notebooks！（附代码）

作者：Pranjal Chaubey翻译：宋文伯校对：丁楠

Python

模版

拼写检查

翻译 2022-12-11 22:03:08 264 阅读

YuniKorn：一个通用的资源调度程序

本文翻译自https://bl

调度程序

Hadoop

Apache

翻译 2022-12-11 22:03:01 200 阅读

Hadoop已死，Hadoop万岁

during ones persevere.

Hadoop

数据

Apache

转载 2022-12-11 22:02:10 326 阅读

HBase Bulkload 实践探讨

数据

Hive

SQL

转载 2022-12-11 22:01:13 169 阅读

Apache Flink 1.10.0 重磅发布,年度最大规模版本升级！

翻译｜宋辛童校对｜李钰Apache Flink 社区迎来了激动人心的两位数位版本号，Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（Py

apache

flink

SQL

翻译 2022-12-11 21:59:34 287 阅读

如何在CDH5.16.2中部署Apache Dolphin Scheduler 1.2.0

作者：黄立，长安汽车

apache

nginx

mysql

转载 2022-12-11 21:59:08 106 阅读

全国首个！广东移动1000+大数据集群成功升级！

8月4日，广东移动大数据平台再次取得重大突破——全国首个1000+

大数据平台

版本升级

Hadoop

转载 2022-12-11 21:57:57 318 阅读

你问我答3 - 关于Hive CLI与Beeline

请教一下，这个是cdp测试过程中，我这边想把hive命令默认client改为原来的hive cli，修改了use_beeline_for_hive_cli为false后,命令输入hive报了java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning,我尝试过将tez的jar包复制到hive 的lib目录下和修改h

hive

Hive

apache

原创 2022-12-11 21:56:57 313 阅读

0892-7.1.7-如何将CDP从7.1.7升级到7.1.8

CDP7.1.7+CM7.4.4 ->CDP7.1.8+CM7.7.1

cloudera

hive

Server

原创 2022-12-11 21:56:44 1078 阅读 1点赞 1收藏

0890-7.1.6-如何在CDP集群配置Kerberos高可用

1.文档编写目的本篇文章主要介绍如何在CDP 7.1.6集群中配置Kerberos的高可用。文档概述1.如何在CDP7集群配置Kerberos高可用2.验证3.总结测试环境1.操作系统Redhat7.22.CDP7.1.63.使用root用户操作2.备节点安装Kerberos服务1.在备节点安装Kerberos服务，暂时不进行相关配置[root@cdh1 ~]# yum install -y kr

ci

hdfs

上传

原创 2022-12-11 21:56:38 355 阅读

刘汨春：AI大数据在企业全链业务中的应用和价值（上）

AI大数据的应用和价值。

数据

大数据

深度学习

转载 2022-12-11 21:54:41 250 阅读

冲上云霄

星光明月不足幸，白云苍狗未了情。

腾讯云

公众号

Hadoop

转载 2022-12-11 21:54:16 79 阅读

杭州造云记

宁可西行死，不可东归生。

云计算

数据

IT

转载 2022-12-11 21:53:00 367 阅读

首发 | OceanBase 2.0 重磅发布，全面降低金融业务向分布式架构转型的技术风险

OceanBase的前世今生

数据库

数据

存储过程

转载 2022-12-11 21:52:32 203 阅读

你问我答1 - HDFS数据的写入原理

到底是同步还是异步呢？

hdfs

数据

hive

原创 2022-12-11 21:51:29 259 阅读

你问我答2 - 关于CDH上的一些安全

就是假设 Hadoop 使用了 Kerberos 验证，且 Yarn 使用 LinuxContainerExecutor，那么当 NM 以提交 Job 的用户身份启动 Container 时，当前 Container 进程需要进行 Kerberos 验证么？如果需要的话，它是 NM 的 keytab 进行验证呢，还是 Job 提交者 keytab 需要安装到所有 NM host 节点上？你这个是

hive

HDFS

Hive

原创 2022-12-11 21:51:16 94 阅读

一次Impala upsert kudu执行缓慢问题排查总结

问题背景BI同学会用Impala在Kudu表上跑一些ETL任务，最近，BI同学反馈一个Kudu表的ETL任务突然变慢，执行时间从原来的不到1分钟到现在的7分钟。解决过程下文中提到的软件环境为：Impala 3.2.0-cdh6.2.0 RELEASEKudu 1.9.0-cdh6.2.0我们主要

数据

SQL

sed

转载 2022-12-11 21:50:43 456 阅读

Hadoop 3.x 时代，EC 露个脸呗！

在本文中，笔者将详细研究 HDFS EC（Erasure Coding，纠删码），讲解什么是 HDFS EC

hdfs

HDFS

hive

转载 2022-12-11 21:50:16 803 阅读

0798-7.1.2-如何在Redhat7.8中安装CDP DC

文档编写目的CDP DC是Cloudera与Hortonworks合并后，第一个融合CDH和HDP所有组件的on-premise版本，CDP Data Center主要由Cloudera Runtime构成，Cloudera Runtime由超过35个开源项目组成，当然CDP Data Center还包括其它功能如管理功能Cloudera Manager，Key Management，专业支持等，

Apache

cloudera

java

原创 2022-12-11 21:49:43 658 阅读 1点赞 1收藏 1评论

官宣｜Apache Flink 1.15 发布公告

Apache Flink 1.15

flink

apache

SQL

翻译 2022-12-11 21:48:50 107 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Hadoop实操的博客

一篇文章让你了解Hive调优 - 文末赠书

接着！！大数据入门实用技术栈全在这里了

融资数千万的小象科技了解一下

从入门到精通 - Fayson带你玩转CDH

CDH安装前置准备

Hive 终于等来了 Flink

广州招Hadoop运维/开发工程师

年薪50W+的必修术

YARN 资源调度那些事儿

Druid Segment Balance 及其代价计算函数分析

独家｜手把手教你赋能Jupyter Notebooks！（附代码）

YuniKorn：一个通用的资源调度程序

Hadoop已死，Hadoop万岁

HBase Bulkload 实践探讨

Apache Flink 1.10.0 重磅发布,年度最大规模版本升级！

如何在CDH5.16.2中部署Apache Dolphin Scheduler 1.2.0

全国首个！广东移动1000+大数据集群成功升级！

你问我答3 - 关于Hive CLI与Beeline

0892-7.1.7-如何将CDP从7.1.7升级到7.1.8

0890-7.1.6-如何在CDP集群配置Kerberos高可用

刘汨春：AI大数据在企业全链业务中的应用和价值（上）

冲上云霄

杭州造云记

首发 | OceanBase 2.0 重磅发布，全面降低金融业务向分布式架构转型的技术风险

你问我答1 - HDFS数据的写入原理

你问我答2 - 关于CDH上的一些安全

一次Impala upsert kudu执行缓慢问题排查总结

Hadoop 3.x 时代，EC 露个脸呗！

0798-7.1.2-如何在Redhat7.8中安装CDP DC

官宣｜Apache Flink 1.15 发布公告

欢迎