Hive参数设置及优化1.动静态分区属性设置2.Set hive.map.aggr=true 通过设置属性hive.map.aggr值为true来提高聚合的性能，这个设置会触发在map阶段进行的‘顶级’聚合过程。（非顶级的聚合过程会在执行一个GROUP BY后进行。）不过，这个设置需要更多的内存3.本地模式设置 大多数情况下查询都会触发一个MapReduce任务（job）,hive中某些情况的查询
转载
2023-07-18 12:30:37
155阅读
相信在Etl的过程中不可避免的实用union all来拼装数据，那么这就涉及到是否并行处理的问题了。在hive中是否适用并行map，可以通过参数来设定：set hive.exec.parallel=true; 那么还是实用上一篇博客的数据
原创
2021-08-24 16:13:58
825阅读
背景在刚使用hive的过程中，碰到过很多问题，任务经常需要运行7,8个小时甚至更久，在此记录一下这个过程中，我的一些收获join长尾背景SQL在Join执行阶段会将Join Key相同的数据分发到同一个执行Instance上处理。如果某个Key上的数据量比较多，会导致该Instance执行时间比其他Instance执行时间长。其表现为：执行日志中该Join Task的大部分Instance都已执行
一、前言公司实用Hadoop构建数据仓库，期间不可避免的实用HiveSql，在Etl过程中，速度成了避无可避的问题。本人有过几个数据表关联跑1个小时的经历，你可能觉得无所谓，可是多次Etl就要多个小时，非常浪费时间，所以HiveSql优化不可避免。注：本文只是从sql层面介绍一下日常需要注意的点，不...
原创
2021-08-24 16:14:29
300阅读
前言：最近发现hivesql的执行速度特别慢，前面我们已经说明了left和union的优化，下面咱们分析一下增加或者减少reduce的数量来提升hsql的速度。分析：select s.id,o.order_i...
原创
2021-08-24 16:14:39
375阅读
Twitter 工程师谈 JVM 调优 Twitter 工程师谈 JVM 调优 2016年03月24日 10:22:30 wenniuwuren https://blog.csdn.net/wenniuwuren/article/details/50969363 一. 调优需要关注的几个方面内存调优
转载
2018-12-04 11:18:00
337阅读
2评论
1 查看
less /proc/PID/status
less /proc/PID/statm
pmap PID(进程号)
memusage 命令 （yum install glibc-utils -y）
原创
2012-04-07 18:25:21
2153阅读
HDF/NiFi优化性能的设置方法Posted on Jul 07, 2017 简介NiFi的默认设置可以满足一般的运行和测试需求，但是如果想要处理大容量数据流，那就远远不够了。本文将介绍与NiFi性能有关的几个设置参数，让NiFi可以高效运转。本文重点在如何优化初始配置或者对默认参数进行小幅修改，并不会深入讨论如何优化数据流设计和NiFi处理器。这些优化可以简单地可以通过编辑
1 UDP
buffer size
sysctl -a 接收 net.core.rmem_default (默认)
&nb
原创
2012-04-07 18:26:27
831阅读
1.堆内存分区在具体介绍GC调优前，先复习下JVM内存结构中的堆堆是JVM内存区域中所占空间最大的内存区域，是.
原创
2022-07-29 10:49:44
354阅读
Jvm调优总结 系列文章！
转载
2021-07-29 16:25:52
740阅读
待学习内容：linux 系统参数调优。 weblogic 调优。数据库调优jvm调优。
原创
2018-04-19 07:36:15
543阅读
点赞
命令mpstatpidstatvmstat查看某进程线程数的几种方法pstree -p 1388 | wc -l cat /proc/1388/status | grep Threadsps xH手册中说：H Show threads as if they were processes这样可以查看所有存在的线程。ps -mp <PID>手册中说：m Show thr
原创
2019-02-13 18:05:02
1092阅读
内存调优 首先需要注意的是在对JVM内存调优的时候
原创
2022-08-02 15:28:53
261阅读
1项目调优作为一名工程师，项目调优这事，是必须得熟练掌握的事情。在SpringBoot项目中，调优主要通过配置文件和配置JVM的参数的方式进行。2修改配置文件关于修改配置文件 application.properties。SpringBoot项目详细的配置文件修改文档https://docs.spring.io/spring-boot/docs/current/reference/html/c
转载
2022-04-19 09:50:30
282阅读
首先上版本号：ES 版本：6.5.4一般来说ES 的默认参数已经能够满足大部分场景需求，不需要也不建议我们去调节。但是根据不同的业务场景我们还是可以做一些系统调优，接下来针对常用的参数总结如下:1、_routing 参数作用是将文档路由到不同的分片，默认是根据hash(document’s _id ) 进行路由的，默认情况，如果
在网上查了些资料，大牛们说的都很齐全，博主在这里针对他们所说的，根据自己的实践，整理了一些基本方法或步骤，算是对SQL调优的一个总结吧。1.查找慢查询查看慢查询的时间：show variables like ‘long_query_time’;临时设置慢查询的值：set long_query_time=2但是，如果需要永久设置，就需要在MySQL的配置文件中进行配置。在 mysql 的配置文件中，
转载
2023-10-28 21:38:25
67阅读
Hive性能调优一 Hive性能调优工具 - EXPLAIN二 Hive性能调优工具 - ANALYZE三 Hive优化设计四 Job优化 - 本地模式(强烈推荐)五 Job优化 - JVM重用（JVM Reuse）六 Job优化 - 并行执行七 查询优化八 压缩算法 一 Hive性能调优工具 - EXPLAINEXPLAIN：显示查询语句的执行计划，但不运行语法EXPLAIN [EXTENDE
转载
2023-12-27 09:58:51
45阅读
分析命令show full processlist; #该命令用于查看当前连接到mysql服务器的链接，以及经行的什么操作及状态。如果不加full，只能列出当前100条。show [global|session] status; #用于数据库运行时统计信息，默认是session。show [global|session] variables; #用于查询数据库的设置。
转载
2023-08-04 12:07:14
126阅读
文章目录MySQL调优数据库优化常见方案SQL生命周期慢查询日志查询是否开启慢查询日志开启慢查询日志查询慢查询日志的路径慢查询记录时间的阈值查询是否开启记录未使用索引的SQLSQL执行计划执行计划字段详解IDselect_typetabletypepossible_keysKeykey_lenrefrowfilteredrowsExtraSQL优化优化原则优化查询列优化where子句优化长难语句
转载
2023-08-01 21:37:10
114阅读
