在JVM启动参数中，可以设置跟内存、垃圾回收相关的一些参数设置，默认情况不做任何设置JVM会工作的很好，但对一些配置很好的Server和具体的应用必须仔细调优才能获得最佳性能。通过设置我们希望达到一些目标： GC的时间足够的小GC的次数足够的少发生Full GC的周期足够的长 前两个目前是相悖的，要想GC时间小必须要一个更小
转载
2023-09-05 22:22:58
89阅读
1. 参数调整 每个机器学习算法包含一系列参数，勇于调整算法来控制模型。一般来说随着算法复杂度的增加，调整参数会越多，更难于理解。下面几个例子为流行的分类算法调参方法：1）逻辑回归：无2）knn：要平均的近邻数目3）决策树：划分标准、树的最大深度、划分需要的最少样本数。4）核函数SVM：核函数类型、核函数系数、惩罚参数。5）随机森林
转载
2024-01-04 07:04:24
62阅读
首先上版本号：ES 版本：6.5.4一般来说ES 的默认参数已经能够满足大部分场景需求，不需要也不建议我们去调节。但是根据不同的业务场景我们还是可以做一些系统调优，接下来针对常用的参数总结如下:1、_routing 参数作用是将文档路由到不同的分片，默认是根据hash(document’s _id ) 进行路由的，默认情况，如果
前言Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spar...
转载
2021-06-10 20:56:42
3428阅读
本文翻译自官网：Streaming Aggregation https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/tuning/streaming_aggregation_optimization.htmlSQL是用于数据分析的最广泛使用的语言。Flink的Table API和SQL使用户能
序言：linux 内核参数特别多，大部分保持默认即可。当系统满足业务需求时，不建议随便调整内核参数。内核参数的调整是根据不同应用和特定场景进行的。调整内核参数的方法：通过 /proc/sys/ 目录，编辑目录下面的文件，系统重启失效编辑 /etc/sysctl.conf , 保存后执行 sysctl -p 生效。常用内核参数介绍：net.ipv4.tcp_max_syn_backlog
常用内存优化手段与参数 通过我们上篇的一些实现上的分析可以看出redis实际上的内存管理成本非常高，即占用了过多的内存，作者对这点也非常清楚，所以提供了一系列的参数和手段来控制和节省内存，我们分别来讨论下。 首先最重要的一点是不要开启Redis的VM选项，即虚拟内存功能，这个本来是作为Redis存储超出物理内存数据的一种数据在内存与磁盘换入换出的一个持久化策略，但是其内存管理成本也非常的
转载
2023-10-18 13:07:40
136阅读
有很多刚学习的小伙伴，想学习参数优化，又不知道有哪些参数，如何优化。给大家，说明思路。1.set 你知道在这里找，说明你知道实际生效的作用2.hive-site.default.xml，你知道在这里找，说明你知道这个配置文件的作用(cdp-hive3.1的部分配置hive官网都没有。。在clouder的官网)3.官网。官网永远是学习最好的地方，不用多说Configuration Pro
转载
2023-12-03 10:48:28
96阅读
一、堆内存参数配置-Xms10g ：JVM启动时申请的初始堆内存值-Xmx20G ：JVM可申请的最大Heap值-Xmn3g ： 新生代大小，一般设置为堆空间的1/3 1/4左右，en/from=eden/t
原创
2022-10-27 11:03:16
237阅读
前言Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spar...
转载
2021-06-10 20:56:41
3647阅读
hive on spark 性能远比hive on mr 要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hive on spark。 udf函数也是全部支持。本文主要是想讲hive on spark 在运行于yarn模式的情况下如何调优。下文举例讲解的yarn节点机器配置，假设有32核，120GB内存。1. yarn配置yarn.nodemanage
转载
2023-07-20 18:49:27
193阅读
线上Hadoop集群资源严重不足，可能存在磁盘，CPU，节点的操作，那么在这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn资源配置，然后使其生效。
背景线上Hadoop集群资源严重不足，可能存在磁盘，CPU，节点的操作，那么在这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Y
转载
2023-10-18 16:33:16
235阅读
文章目录1、通用优化策略1.1 通用最小化法则1.2 职责单一原则1.3 其他2、写性能调优2.1 基本原则2.2 优化手段2.2.1 增加 flush 时间间隔，2.2.2 增加`refresh_interval`的参数值2.2.3 增加Buffer大小，2.2.4 关闭副本2.2.5 禁用swap2.2.6 使用多个工作线程2.2.7 避免使用稀疏数据2.2.8 `max_result_wi
文章目录一、HDFS参数调优hdfs-site.xml二、YARN参数调优yarn-site.xml三、mapreduce的优化方法 一、HDFS参数调优hdfs-site.xml1、调整namenode处理客户端的线程数dfs.namenode.handler.count=20 * log2(Cluster Size)2、编辑日志存储路径dfs.namenode.edits.dir设置与镜像文
转载
2023-09-01 08:18:49
48阅读
调整以下参数，可以大幅度改善Redis集群的稳定性：
为何大压力下要这样调整？ 最重要的原因之一Redis的主从复制，两者复制共享同一线程，虽然是异步复制的，但因为是单线程，所以也十分有限。如果主从间的网络延迟不是在0.05左右，比如达到0.6，甚至1.2等，那么情况是非常糟糕的，因此同一Redis集群一定要部署在同一机房内。 这些参数的具体值，要视具体的压力而定，而且和消息的大小相
资源参数调优： Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源的使用效率,从而提高Spark的运行效率。 num-executors ###参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向集群管理器申请资源时,资源管理器会尽可能按照设置在集群各个节点上,启动相应的Executor进程。该参数
转载
2023-08-06 08:33:02
136阅读
SparkSQL性能调整 SparkSQL 优化 1.广播JOIN表 spark.sql.autoBroadcastJoinThreshold，默认10485760（10M） 在内存够用的情况下提高其大小，可以将join中的较小的表广播出去，而不用进行网络数据传输. 2.合理配置spark.sql.shuffle.partition设置shuffle并行度； 3. 缓存表 对于一条SQL语句中可能
转载
2023-09-18 21:28:44
1513阅读
Compaction的主要目的：1.将多个HFile合并为较大HFile，从而提高查询性能2.减少HFile数量，减少小文件对HDFS影响3.提高Region初始化速度。hbase.hstore.compaction.min当某个列族下的HFile文件数量超过这个值，则会触发minorcompaction操作默认是3，比较小，建议设置10-15这个值影响是：设置过小会导致合并文件太频繁，特别是频繁
原创
2021-03-30 06:34:36
1760阅读
1. spark 性能调优
a. 分配更多资源——第一步要做的
比如增加 executor个数（num_executor）、增加 executor 的 cpu 核数（executor_cores）、增加 executor 的内存量（executor_memory）
增加 executor个数 和 executor 的 cpu 核数是为了增加执行的并行能力（能够并行执行的task数量也变多了）；
转载
2023-08-29 19:46:26
170阅读
Hive优化-参数调优 Hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务，其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量，例如输入的数据量大小以及对这些数据执行的操作类型等。启用本地模式对于数据量比较小的操作，可以使用本地模式提交任务。因为在这种情况下，集群执行的话为查询
转载
2023-07-12 09:26:25
148阅读
