最近为了调试hive试了很多hive参数，对于hive任务优化，减少使用内存有一些自己的见解，在此做一个记录。一：mapreduce的基本流程及阶段可进行的优化操作（其实有很多不用设置有默认的设置，此处做面试，参考设置在下一节）附上网上的一张老图（虽然老但是很具有代表性，哈哈哈）上面的图知道，对于mapreduce任务可分为以上几个步骤，input、splitting、Mapping、Shuffi
前言堆内存的使用的基本用法一、什么是堆内存：是进程的一个内存段（text\data\bss\heap\stack），由程序员手动管理的 特点：足够大。缺点：使用麻烦二、为什么使用堆内存： 1、随着程序的复杂数据量变多 2、其他的内存段的申请和释放不受控制，堆内存的申请释放是受程序员控制三、如何使用堆内存： 注意：C语言没有控制管理堆内存的语句，只能使用标准C库中的函数 #include <s
最近工作中碰到了内存泄漏的问题emmm， 这曲线还真挺恐怖的。分析&解决过程：一、 为啥没有fullGCps -ef 看了下虚拟机参数，发现堆空间就开了8g，这曲线都涨到14g了，问了下同事，曲线显示的是进程内存（堆内内存+堆外内存），所以下面就分别看下堆内内存和堆外内存的情况了。二、 堆内内存的情况1. 先理解下内存模型内存模型
// https://mp.weixin.qq.com/s
一、 问题定位篇1.具体步骤定位内存泄漏类型II. 定位发生泄漏的具体方法III. 定位使用泄漏方法的具体堆栈2.实操过程压测，发现后台程序占用内存超过80%，8G内存占用超过6G，如图4.4所示。遂怀疑内存存在泄漏。 图4.4 压测一段时间后内存占用图示 然后使用MAT对进程dump堆栈进行
转载
2023-05-25 13:44:41
123阅读
堆内存根据生命周期进行分而治之，分区之后可以提高JVM垃圾收集的效率，更好地回收为了更好地分配。 如果在堆中无法分配内存，并且堆也无法再扩展时，将会抛出OutOfMemoryError异常。 HeapByteBuffer与DirectByteBuffer，在原理上
转载
2023-12-01 11:08:39
73阅读
1、什么是堆外内存？通常，我们在Java中创建的对象都处于堆内内存（heap）中，堆内内存是由JVM所管控的Java进程内存，并且它们遵循JVM的内存管理机制，JVM会采用垃圾回收机制统一管理堆内存。与之相对的是堆外内存，存在于JVM管控之外的内存区域，Java中对堆外内存的操作，依赖于Unsafe提供的操作堆外内存的native方法。2、为什么要使用堆外内存？对垃圾回收停顿的改善。由于堆外内存是
转载
2023-08-16 21:08:12
327阅读
Java的内存管理一直是一个很火的话题，今天聊一聊平常比较少关注的堆外内存，也叫直接内存，不懂不影响生活，懂了就很高级，有木有！！！看下图：1、堆外内存是个啥?堆外内存也叫直接内存，因为这部分内存就是机器的物理内存，够直接吧。直接内存并不是虚拟机运行时数据区的一部分，也不是Java 虚拟机规范中定义的内存区域。使用native 函数库直接分配堆外内存，然后通过一个存储在Java堆中的DirectB
转载
2023-07-16 20:45:02
204阅读
JVM可以使用的内存分外2种：堆内存和堆外内存. 堆内存完全由JVM负责分配和释放，如果程序没有缺陷代码导致内存泄露，那么就不会遇到java.lang.OutOfMemoryError这个错误。 使用堆外内存，就是为了能直接分配和释放内存，提高效率。JDK5.
转载
2023-07-31 20:19:07
87阅读
目录1.什么是堆外内存？2.堆外内存有什么优势？3.堆外内存的使用3.1堆外内存的设置3.2堆外内存的创建3.3堆外内存的回收3.3.1自动回收3.3.2手动回收1.什么是堆外内存？堆外内存和堆内内存是两个相对的概念，其中堆内内存（on-heap memory）是我们平常工作中接触比较多的。Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的，都是放在堆内内存。我们可以通过jvm参数-X
转载
2023-07-17 21:20:40
129阅读
引子今日项目中将springboot的相关监控指标对接了promethues，在网上找了找到了“jvm-micrometer_rev9”的grafana的前端模板，测试同事说展示的信息都要测试，吓我一身冷汗，我只不过做了一些配置而已，好家伙到时候测试那么多，于是乎我就把“jvm-micrometer_rev9”中的一些展示不出来的指标给删了嘿嘿。堆内存相关的指标含义含义还是比较好理解的，主要就是E
转载
2023-07-17 12:27:07
222阅读
[TOC]一、JVM内存的分配及垃圾回收JVM垃圾回收由于JVM会替我们执行垃圾回收，因此开发者根本不需要关心对象的释放。但是如果不了解其中的原委，很容易内存泄漏，只能两眼望天了！垃圾回收，大致可以分为下面几种：Minor GC:当新创建对象，内存空间不够的时候，就会执行这个垃圾回收。由于执行最频繁，因此一般采用复制回收机制。Major GC:清理年老代的内存，这里一般采用的是标记清除+标记整理机
转载
2023-08-07 15:53:40
113阅读
去年我面试了一些程序员，等级从低到高都有。但是没有一个人能够说明白什么是堆外内存！ 今天我们就一起来简单的说一说 Java 中的堆外内存。这一块可能 90% 的 Java 程序员都不清楚，希望你看过本文后，成为那 10% 中的大神级别的潜力股。 堆外内存是相对于堆内内存的一个概念。堆内内存是由 JVM 所管控的 Java 进程内存，我们平时在 Java 中创建的对象都处于堆内内存中，并且它们遵循
转载
2023-10-30 15:16:37
105阅读
调节executor堆外内存
spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存，所以使用了堆外内存！
什么时候需要调节Executor的堆外内存大小？
当出现一下异常时：
shuffle file cannot find，executor lost、task lost，out of m
转载
2023-10-05 20:02:00
75阅读
下文所说的 hbase client 版本，如无特指，则皆为 1.2.3。之前项目中出现堆外内存溢出（排查过程），虽然已经解决了问题，但当时没有深究底层的原理，最近抽空从底层入手，深入研究了 hbase client 读写源码，配合 jmeter 压测特定接口，并使用 mat 等工具分析，最终定位到了 hbase 堆外内存溢出的根本原因，本次就梳理下完整的过程，以及涉及的一些原理，防止以后踩坑。
转载
2023-10-25 11:54:19
47阅读
0 实战参考FastJson内存泄漏1 现象及原因堆外内存java 8下是指除了Xmx设置的java堆（java 8以下版本还包括MaxPermSize设定的持久代大小）外，java进程使用的其他内存。主要包括：DirectByteBuffer分配的内存，JNI里分配的内存，线程栈分配占用的系统内存，jvm本身运行过程分配的内存，codeCache，java 8里还包括metaspace元数据空间
转载
2023-08-30 10:19:09
263阅读
堆内内存：1.一般情况下，一个新的对象创建在JVM内的堆上，并为其分配内存空间。堆空间由JVM垃圾回收器管理，称为堆内内存（on-heap memory）2.虚拟机会定期对垃圾内存进行回收，有时会进行一次彻底的回收Full GC3.彻底回收时，垃圾收集器会对所有分配的堆内内存进行完整的扫描，这意味一次垃圾收集对Java 应用造成的影响，跟堆的大小是成正比的，过大的堆会影响 Java 应用的性能&n
转载
2023-07-19 23:48:24
230阅读
堆内内存：1.一般情况下，一个新的对象创建在JVM内的堆上，并为其分配内存空间。堆空间由JVM垃圾回收器管理，称为堆内内存（on-heap memory）2.虚拟机会定期对垃圾内存进行回收，有时会进行一次彻底的回收Full GC3.彻底回收时，垃圾收集器会对所有分配的堆内内存进行完整的扫描，这意味一次垃圾收集对Java 应用造成的影响，跟堆的大小是成正比的，过大的堆会影响 Java 应用的性能&n
转载
2023-07-17 12:11:26
369阅读
Java基础之数组队列及Java堆外内存学习笔记[图] 1.数组 1.1 数组基本概念： 数组是一个容器，可以存储同一数据类型的N个数据；数组是一个数据结构，是数据结构中访问速度最快的； 数组是直接通过下标进行定位； 数组是属于引用数据类型（数组名中存储的是内存首地址）；数组本身只有有length属性（获取数组能存储的数据个数），但是有从Objuect父类继承的属性和方法。 1.2数组在内存中的存
转载
2023-08-25 17:53:26
72阅读
Java中的对象都是在JVM堆中分配的，其好处在于开发者不用关心对象的回收。但有利必有弊，堆内内存主要有两个缺点：1.GC是有成本的，堆中的对象数量越多，GC的开销也会越大。2.使用堆内内存进行文件、网络的IO时，JVM会使用堆外内存做一次额外的中转，也就是会多一次内存拷贝。和堆内内存相对应，堆外内存就是把内存对象分配在Java虚拟机堆以外的内存，这些内存直接受操作系统管理（而不是虚拟机），这样做
原创
2023-08-04 15:39:01
79阅读
在之前介绍的分代垃圾回收算法中，我们一直有一个永久代存在，叫 PermGen，内存上它是挨着堆的。为了垃圾回收方便，HotSpot 在永久代上一直是使用老年代的垃圾回收算法。永久代主要存放以下数据：JVM internal representation of classes and their metadataClass staticsInterned strings从 JDK7 开始，JDK 开
转载
2023-10-07 17:39:01
91阅读
