乐胖代购免代理版

Datax与Sqoop的对比

sqoop主要特点1、可以将关系型数据库中的数据导入hdfs、hive或者hbase等hadoop组件中，也可将hadoop组件中的数据导入到关系

hadoop

hive

big data

sqoop

关系型数据库

转载 7月前 233 阅读

Spark on Hive动态分区表的应用

运行Spark的时候，同时跑多个任务对同一张表（parquet格式），同时写多个Hive分区，需要加一下参数set("spark.sql.hive.convertMetastorePar

大数据

hive

spark

插入数据

原创 7月前 46 阅读

利用Yarn多队列实现Hadoop资源隔离

大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，我们来研究一下yarn多队列做资源隔离

hadoop

大数据

hive

hadoop集群

用户组

转载 2022-11-05 01:14:28 10000+阅读

Excel对比不同Sheet的关键词个数匹配(VLOOKUP的应用)

VLOOKUP的应用

excel

语法规则

近似匹配

数据类型

原创 2022-10-08 09:10:36 10000+阅读

hive on spark下row_number()问题排查

涉及hive3.1.2原生的bug，在做row_number(partition by 字段A)排序之前，如发生cast( 字段A as 类型B) as 字段A情况，那分区排序结果是有问题的

spark

hive

大数据

字段

原创 2022-09-17 00:32:26 10000+阅读

Apache Iceberg理解和应用

Apache Iceberg它的定位是在计算引擎之下，又在存储之上

apache

大数据

Iceberg

数据

数据存储

原创 2022-09-03 00:25:22 9499 阅读

Hive合并小文件的配置项

一、启动压缩二、输入合并三、输出合并

hive

调优

apache

hadoop

原创 2022-05-02 10:48:03 10000+阅读

HiveonSpark调优

之前在Hive on Spark跑测试时，100g的数据量要跑⼗⼏个⼩时，⼀看CPU和内存的监控，发现 POWER_TEST阶段（依次执⾏30个查询）CPU只⽤了百分之⼗⼏，也就是没有把整个集群的性能利⽤起来，导致跑得很慢。因此，如何调整参数，使整个集群发挥最⼤性能显得尤为重要。

Spark on HIve

spark

调优

数据

原创 2022-05-01 16:30:26 10000+阅读

Hive 中 json 字符串解析之 get_json_object 与 json_tuple

hive 中 json 字符串解析

json

hive

数据

json字符串

原创 2022-04-20 13:47:12 10000+阅读 1点赞 1收藏

Hadoop如何将TB级大文件的上传性能优化上百倍

目录一、上传原理二、原始的文件上传方案三、HDFS对大文件上传的性能优

hadoop

性能优化

java

数据

上传

原创 2022-03-29 14:40:41 9940 阅读

Airflow运维部署功能调研

Airflow入门操作指南

运维

python

开发语言

bash

spark

原创 2021-10-24 10:58:09 10000+阅读

Datax和Kettle的对比Datax与Sqoop的对比

Datax和Kettle的对比较维度\产品 kettle DataX 设计及架构适用场景面向数据仓库建模传统ETL工具

linux

python

数据

数据仓库

建模

原创 2021-10-24 10:55:44 10000+阅读

OLTP与 OLAP混合使用实例—TiDB

TiDB是开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybridand Analytical Processing, HTAP) 的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决

数据库

mysql

sql

数据中心

数据

原创 2021-10-16 15:48:55 10000+阅读

事实表设计

事实表设计原则事实表类型事实表设计方法三种事实表的比较单事务事实表和多事务事实表

数据仓库

设计原则

生命周期

事务时间

加载

原创 2021-10-14 17:25:11 10000+阅读

Impala的原理和介绍

Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。

hive

big data

hadoop

hdfs

数据

原创 2021-10-11 11:36:17 10000+阅读

大数据常用的架构

随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务一、lamda架构基本介绍1、业务系统基本流程介绍

big data

数据

离线

实时处理

开发周期

原创 2021-10-11 10:55:06 10000+阅读

Kylin架构原理调研

Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

big data

kylin

hadoop

数据

hive

原创 2021-09-29 11:47:23 8365 阅读 20点赞 1收藏

Greenplum的发展和原理介绍

Greenplum是一个面向数据仓库应用的关系型数据库,它基于流行的PostgreSQL开发,因为有良好的体系结构,所以在数据存储,高并发,高可用,线性扩展,反应速度,易用性和性

postgresql

big data

数据库

数据

sql

原创 2021-09-13 11:45:10 10000+阅读

Flume实战配置教程

Flume的前世今生

flume

kafka

数据

hdfs

配置文件

原创 2021-09-05 14:16:52 10000+阅读

数据分析上钻，下钻，切片，转轴含义的理解

上钻：从当前数据往上回归到上一层数据。例如：（某数据的分类下面分为品名）从品名列表收拢到分类列表。下钻：从当前数据往下展开下一层数据。例如：（某数据的分类下面分为品名）从分类列表展开到品名列表。上钻、下钻统称钻取。切片：展现同一层面的数据。如上述的产品。转轴：这些应该属于查询、展现范畴

big data

数据库

数据

html

javascript

转载 2021-09-01 17:05:16 10000+阅读

深入了解Hdfs和Yarn架构

目录Hdfs1 元数据节点和数据节点2合并流程3数据的分发遵循就近原则Yarn1主从架构2. ApplicationMaster（AM）3. NodeManager（NM）4.ContainerHdfs1

应用程序

数据

元数据

hdfs

数据块

原创 2021-08-25 10:06:58 10000+阅读

Flink数据清洗和数据报表实战

数据清洗需求分析针对算法产生的日志数据进行清洗拆分1：算法产生的日志数据是嵌套json格式，需要拆分打平2：针对算法中的国家字段进行大区转换3：

flink

kafka

apache

json

数据

原创 2021-08-16 10:29:16 10000+阅读 1收藏

谓词下推的应用

经常听到谓词下推这个显得高大上的词，但一直没有真正理解到底是啥意思。查了一些资料，有了一定理解，在这里记录下。

数据

hive

sql

spark

连接查询

转载 2021-08-05 10:37:48 10000+阅读

15道Hive SQL经典训练提升题

15道经典hive sql基础面试题

字段

数据

hive

sql

建表

原创 2021-08-05 10:37:14 10000+阅读 1收藏

NameNode的HA 原理详解

Hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述NameNode HA内部的设计与实现。

大数据

原创 2021-07-26 16:36:30 10000+阅读

图数据库 Neo4j Java Api 的使用

Neo4j 提供 JAVA API 以编程方式执行所有数据库操作。它支持三种类型的API

数据库

原创 2021-07-19 11:21:57 9591 阅读

Kudu用法详尽剖析

HDFS 与HBase的数据存储的缺点目前数据存储有了HDFS与HBase，为什么还要额弄一个kudu呢？HDFS: 使用列式存储格式Apache Parquet , Apache ORC，适合离线分析，不支持单条记录级别的update操作，随机读写能力差HBase：可以进行高效读写，却并不是适合基于SQL的数据分析方向，

数据库

转载 2021-07-19 11:21:28 8707 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

13260164

Datax与Sqoop的对比

Spark on Hive动态分区表的应用

利用Yarn多队列实现Hadoop资源隔离

Excel对比不同Sheet的关键词个数匹配(VLOOKUP的应用)

hive on spark下row_number()问题排查

Apache Iceberg理解和应用

Hive合并小文件的配置项

HiveonSpark调优

Hive 中 json 字符串解析之 get_json_object 与 json_tuple

Hadoop如何将TB级大文件的上传性能优化上百倍

Airflow运维部署功能调研

Datax和Kettle的对比Datax与Sqoop的对比

OLTP与 OLAP混合使用实例—TiDB

事实表设计

Impala的原理和介绍

大数据常用的架构

Kylin架构原理调研

Greenplum的发展和原理介绍

Flume实战配置教程

数据分析上钻，下钻，切片，转轴含义的理解

深入了解Hdfs和Yarn架构

Flink数据清洗和数据报表实战

谓词下推的应用

15道Hive SQL经典训练提升题

NameNode的HA 原理详解

图数据库 Neo4j Java Api 的使用

Kudu用法详尽剖析

欢迎