众所周知，大数据开发和分析、机器学习、数据挖掘中，都离不开各种开源分布式系统。最常见的就是 Hadoop、Hive、Spark这三个框架了。最近不少朋友有问到关于这些的问题：大厂里还有在用 Hadoop 吗？感觉都在用 Spark，有些慌！SQL boy 大厂面试都问什么？Hadoop、Spark、Flink 都搞过！听说百度只用 Hadoop，为什么不用业界都在用的 Spark ! 为
目录概念优势hive和presto的语法对比presto比spark执行更快的原因概念Presto（或PrestoDB）是一个开放源代码的分布式SQL查询引擎，它是从头开始设计的，可以针对任何大小的数据进行快速分析查询。Presto是基于内存运算，减少没必要的硬盘IOMaster-Slave的架构presto自带的监控可以查看执行的完整sql优势内存管理：Presto使用内存管理技术来减少GC的开
转载
2023-08-13 20:41:26
103阅读
正文Apache Kylin 和 ClickHouse 都是目前市场流行的大数据 OLAP 引擎；Kylin 最初由 eBay 中国研发中心开发，2014 年开源并贡献给 Apache 软件基金会，凭借着亚秒级查询的能力和超高的并发查询能力，被许多大厂所采用，包括美团，滴滴，携程，贝壳找房，腾讯，58同城等；OLAP 领域这两年炙手可热的 ClickHouse，由俄罗斯搜索巨头 Yandex 开发
转载
2023-12-01 12:46:55
52阅读
译者何源（荆杭），阿里云计算平台事业部高级产品专家前言本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB 级的数据规模，简单的架构，被国内外公司广泛采用。阿里云 EMR-OLAP 团队，基于开源 ClickHouse 进行了系列优化，提供了开源 OLAP 分析引擎 ClickHouse
1.sparkspark是一个数据分析、计算引擎，本身不负责存储；可以对接多种数据源，包括：结构化、半结构化、非结构化的数据；其分析处理数据的方式有多种发，包括：sql、Java、Scala、python、R等；其中spark-sql用来对结构化数据分析处理，它将数据的计算任务通过SQL的形式转换成了RDD的计算。2.hive数据仓库，主要负责数据存储和管理，看作MapReduce计算引擎+HDF
转载
2023-09-01 10:59:11
104阅读
从Shark说起：Shark即Hive on Spark，为了实现与Hive兼容，Shark在HiveQL方面重用了Hive中HiveQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MapReduce作业替换成了Spark作业，通过Hive的HiveQL解析，把HiveQL翻译成Spark上的RDD操作。Shark的出现，使得SQL-on-Hadoop的性能比Hiv
转载
2023-10-01 16:42:20
174阅读
文章目录一、概述1.基本概念2.Impala与Hive关系3.Impala与Hive异同4.Impala架构二、安装部署(以Node01节点为例)1.安装前提2.下载安装包、依赖包3.配置本地yum源4.安装Impala5.修改Hadoop、Hive配置7.修改impala配置8.启动关闭impala服务 一、概述1.基本概念impala是cloudera提供的一款高效率的sql查询工具，提供实
转载
2023-07-23 15:15:45
183阅读
Spark SQL也公布了很久，今天写了个程序来看下Spark SQ
原创
2023-07-26 11:39:40
399阅读
原文的翻译多少有点瑕疵Spark，Hive，Impala和Presto是基于SQL的引擎，Impala由Cloudera开发和交付。在选择这些数据库来管理数据库时，许多Hadoop用户会感到困惑。Presto是一个开放源代码的分布式SQL查询引擎，旨在运行甚至PB级的SQL查询，它是由Facebook人设计的。Spark SQL是一个分布式内存计算引擎，它的内存处理能力很高。Hive也由Apach
作者：vivo 互联网搜索团队- Deng Jie随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。一、概述随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hiv
一．Hive on Spark的定义 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及
转载
2023-08-04 23:24:57
266阅读
此前，我已经搭建了 hive on spark, 不 准确说 是 spark on hive, 我可以在spark 中愉快得玩耍 hive,这也符合我当时得需求：hive on spark集群环境搭建然而，通过hive客户端连接，hive 使用spark 引擎时，却报了 我无法解决得错误：hive on spark异常Failed to create Spark client for Spark
正文Apache Kylin 和 ClickHouse 都是目前市场流行的大数据 OLAP 引擎；Kylin 最初由 eBay 中国研发中心开发，2014 年开源并贡献给 Apache 软件基金会，凭借着亚秒级查询的能力和超高的并发查询能力，被许多大厂所采用，包括美团，滴滴，携程，贝壳找房，腾讯，58同城等；OLAP 领域这两年炙手可热的 ClickHouse，由俄罗斯搜索巨头 Yandex 开发
Hadoop MapReduce采用了多进程模型，而Spark采用了多线程模型：Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver 端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spark则直接采用了开
转载
2023-11-23 22:39:05
71阅读
测试所用的文件格式有如下几种：SequenceFile（Hadoop生态圈常用文件格式）、RCFile（结合了行式和列式存储格式的优点）、Parquet（列式存储格式）- 从压缩的角度来讲，三种文件格式均有下述结论：压缩可以减少输入数据量，从而减少查询时间。原因在于这些查询当中IO的耗时占据查询时间的大部分时间。并且压缩后的数据量和查询时间成正比，压缩后的查询平均耗时是压缩前
转载
2021-06-07 18:00:55
527阅读
序言sql 在 hive的使用具体还分为了2种解决方案：hive on spark 和 sparksql，这里主要使用的是sparksql。因为两者都是使用spark替换mapreduce作为计算引擎.实际区别是Hive On Spark 是Hive封装了Spark. SparkSql是Spark封装了Hive.搜索引擎分别是自己的设计逻辑cuiyaonan2000@163.com简介Hive O
转载
2023-08-12 10:04:48
169阅读
目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把spark jar包上传到HDFS6）打包spark jar包并上传到HDFS7）配置1、配置spark-defaults.conf2、
转载
2023-07-12 09:39:06
153阅读
先说明一下，这里说的从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度，可以看这里https://issues.apache.org/jira/browse/HIV
转载
2023-08-29 13:58:23
151阅读
浅谈Hive vs. HBase 区别在哪里 导读：Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，Apache HBase是运行于HDFS顶层的NoSQL(=Not Only SQL，泛指非关系型的数据库)数据库系统。区别于Hive，HBase具备随即读写功能，是一种面向列的数据库。 对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。
转载
2023-11-29 09:11:31
59阅读
浅谈Hive vs. HBase 23小时前| 作者夏梦竹 摘要：对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场
