执行引擎概述

  • 执行引擎是Java虚拟机核心的组成部分之一。
  • “虚拟机”是一个相对于“物理机”的概念,这两种极其都有代码执行能力,其区别是物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面的,而虚拟机的执行引擎则是由软件自行实现的,因此可以不受物理条件制约地定制指令集与执行引擎的结构体系,能够执行那些不被硬件直接支持的指令集格式。
  • JVM的主要任务是负责装载字节码到其内部,但字节码并不能够直接运行在操作系统之上,因为字节码指令并非等价于本地机器指令,它内部包含的仅仅只是一些能够被JVM所识别的字节码指令、符号表,以及其他辅助信息。
  • 那么,如果想要让一个Java程序运行起来,执行引擎的任务就是将字节码指令解释/编译为对应平台上的本地机器指令才可以。简单来说,JVM中的执行引擎充当了将高级语言翻译为机器语言的译者。

Java代码编译和执行过程


虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_java

执行引擎的工作过程

从外观上看,所有的Java虚拟机的执行引擎输入、输出都是一致的:输入的是字节码二进制流,处理过程是字节码解析执行的等效过程,输出的是执行结果。 

大部分的程序代码转换成物理机的目标代码或者虚拟机能够执行的指令集之前,都需要经过下图中的各个步骤。

虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_虚拟机的虚拟化引擎_02

 橙色部分是由javac编译器,也就是前端编译器完成的,最终遍历抽象语法树生成字节码文件,详细流程如下图所示,这一部分其实Java虚拟机还未参与其中,蓝色和绿色才是Java虚拟机考虑的问题。

虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_jvm_03

蓝色部分就是编译原理中传统的目标机器代码的形成过程,中间绿色部分实际上就是将字节码指令逐行解释执行的过程。

橙色部分生成的Java字节码的执行是由JVM执行引擎来完成的,流程图如下。

虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_jvm_04

 为什么说Java是半编译半解释型语言?

JDK1.0时代,将Java语言定位为“解释执行”是比较准确地,再后来,Java也发展出可以直接生成本地代码的编译器。

现在JVM在执行Java代码的时候,通常会将解释执行和编译执行二者结合起来进行。

机器码、指令、汇编语言

虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_java_05

 上边说了那么多,可能大家对机器码、指令以及汇编语言的认识不够清晰,会难以理解,这里再具体区分一下。

机器码

  • 各种用二进制编码方式表示的指令,叫做机器指令码。开始,人们就用它来编写程序,这就是机器语言。
  • 机器语言虽然能够被计算机理解和接受,但和人们的语言差别太大,不易被人们理解和记忆,并且用它编程容易出差错。
  • 用它编写的程序一旦输入计算机,CPU直接读取运行,因此和其他语言编写的程序相比,执行速度最快。
  • 机器指令与CPU紧密相关,所以不同种类的CPU所对应的机器指令也就有所不同。

指令

  • 由于机器码是由0和1组成的二进制序列,可读性太差,于是人们发明了指令。
  • 指令就是把机器码中特定的0和1序列,简化成对应的指令(一般为英文简写,如mov,Inc等),可读性稍好
  • 硬件平台不同,执行同一操作,对应的机器码可能不同,所以不同的硬件平台的同一种指令,对应的机器码也可能不同。

指令集

  • 不同的硬件平台,各自支持的指令是有差别的。因此每个平台所支持的指令,称之为对应平台的指令集,如常见的x86指令集,对应的是x86架构的平台

汇编语言

  • 由于指令的可读性还是太差,于是人们又发明了汇编语言
  • 用助记符代替机器指令的操作码,用地址符号或标号代替指令或者操作数的地址
  • 在不同的硬件平台,汇编语言对应着不同的机器语言指令集,通过汇编过程转换成机器指令

高级语言

  • 为了使计算机用户编程序更容易些,又出现了各种高级计算机语言,它更接近人的语言
  • 当计算机执行高级语言编写的程序是,仍然需要把程序解释和编译成机器的指令码,完成这个过程的程序就叫做解释程序或者编译程序。

虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_java_06

字节码


虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_jvm_07

某个类的字节码文件,很抽象,难翻译理解

  • 字节码是一种中间状态(中间码)的二进制代码(文件),它比机器码更抽象,需要直译器转译后才能成为机器码。
  • 字节码主要是为了实现特定软件运行和软件环境,与硬件环境无关,也就是实现跨平台。
  • 字节码实现方式是通过编译器和虚拟机器。编译器将源码编译成字节码,特定平台上的虚拟机器将字节码转译为可以直接执行的指令,对应JVM来说就是执行引擎。

虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_编译器_08

解释器

当Java虚拟机启动时会根据预定义的规范对字节码采用逐行解释的方法执行,将每条字节码文件中的内容“翻译”为对应平台的本地机器指令执行。对应“Java代码编译和执行过程”那一模块的总流程图的绿色部分。

在Java的发展历史里,一共有两套解释执行器,即古老的字节码解释器、现在普遍使用的模板解释器,具体就不详细展开说了。

在如今,基于解释器执行已经沦落为低效的代名词。为了解决这个问题,JVM平台支持一种叫做即时编译的技术,

某些被频繁执行的方法或者代码块,会被JVM认定为“热点代码”。在运行时JVM会把这些热点代码编译成与本地平台相关的机器码,并且进行各种层次的优化,以提高执行效率。完成这个任务的编译器称为即时编译器(JIT编译器)。

既然这样,那HotSpot虚拟机还要解释执行和编译执行两条线都保留使用呢?

首先要明确,当程序启动后,解释器可以马上发挥作用,省去编译的时间,立即执行。编译器要想发挥作用,把代码编译成本地代码,需要一定的执行时间。但编译为本地代码后,执行效率高。

当虚拟机启动的时候,解释器可以首先发挥作用,而不必等待即时编译器全部编译完成再执行,这样可以省去许多不必要的编译时间。并且随着程序运行时间的推移,即时编译器逐渐发挥作用,根据热点探测功能,将有价值的字节码编译为本地机器指令,以换取更高的程序执行效率。

同时,解释执行在编译器进行激进优化不成立的时候,作为编译器的“逃生门”。

而对服务端应用来说,启动时间并非是关注重点,而相对更重要的是执行性能,这种情况下,不包含解释器的JRockit VM就非常适合。

JIT编译器

就是虚拟机将源代码直接编译成和本地机器平台相关的机器语言。对应“Java代码编译和执行过程”那一模块的总流程图的蓝色部分。

热点代码探测确定使用JIT编译器

是否需要启动JIT编译器将字节码直接编译为对应平台的本地机器指令,需要根据代码被调用执行的频率而定。关于那些需要被编译为本地代码的字节码,也被称之为“热点代码”,JIT编译器在运行时会针对那些频繁被调用的“热点代码”做出深度优化,将其直接编译为对应平台的本地机器指令,以此提升Java程序的执行性能。

热点代码及探测方式

一个被多次调用的方法,或者是一个方法体内部循环次数较多的循环都可以被称之为“热点代码”,因此都可以通过JIT编译器编译为本地机器指令。由于这种编译方法发生在方法的执行过程中,因此也被称之为栈上替换,或简称为OSR(On Stack Replacement)编译。

一个方法要被调用多少次,或者一个循环体究竟需要执行多少次循环才可以达到这个标准,是由阈值决定的,这里主要依靠热点探测功能。

目前HotSpot VM所采用的的热点探测方式是基于计数器的热点探测。

采用基于计数器的热点探测,HotSpotVM会为每一个方法都建立2个不同类型的计数器:方法调用计数器和回边计数器。

方法调用计数器:用于统计方法的调用次数。默认阈值在Client模式下是1500次,在Server模式下是10000次,超过这个阈值,就会触发JIT编译。,可以通过-XX:CompileThreshold来人为设定。当一个方法被调用时,会先检查该方法是否存在被JIT编译过的版本,如果存在,则优先使用编译用编译后的本地代码来执行。如果不存在已被编译过的版本,则将此方法的调用计数器值加1,然后判断方法调用计数器与回边计数器之和是否超过方法调用计数器的阈值。如果已超过阈值,那么将会向即时编译器提交一个该方法的代码编译请求。如果不做任何设置,方法调用计数器统计的不是方法被调用的绝对次数,而是一个相对的执行频率,即一段时间之内方法被调用的次数。当超过一定的时间限度,如果方法的调用次数依然不足以让他提交给即时编译器,那这个方法的调用计数器就会被减少一半,这称为热度衰减,而这段时间就称为半衰周期。可以使用虚拟机参数-XX:-UserCounterDecay关闭热度衰减,或者设置半衰周期的时间(-XX:CounterHalfLifeTime)。

虚拟机的虚拟化引擎 虚拟机虚拟化引擎作用_java_09

回边计数器:用于统计循环体执行的循环次数。在字节码中遇到控制流向后跳转的指令成为“回边”。显然,建立回边计数器统计的目的就是为了触发OSR 编译。

HotSpot VM可以设置程序执行方式

  • -Xint:完全采用解释器模式执行程序
  • -Xcomp:完全采用即时编译器模式执行程序。如果即时编译器出现问题,解释器会介入执行。
  • -Xmixed:采用解释器+即时编译器的混合模式共同执行程序。HotSpot默认模式。

HotSpot VM中JIT分类

HotSpot VM中内嵌两个JIT编译器:Client Compiler和Server Compiler

-client:指定Java 虚拟机运行在Client模式下,并使用C1编译器。C1编译器会对字节码进行简单可靠的优化,耗时短,已达到更快地编译速度。

-server:指定Java虚拟机运行在Server模式下,并使用C2编译器。C2编译器进行耗时较长的优化,以及激进优化。但优化的代码执行效率更高。64位的JDK版本默认是在server模式下。

C1和C2编译器不同的优化策略:

C1编译器:较为轻量,只做少量性能开销比较高的优化,它占用内存较少,适合于桌面交互式应用。在寄存器分配策略上,JDK6以后采用的为线性扫描寄存器分配算法,其他方面的优化,主要有方法内联、去虚拟化、冗余消除等。

C2编译器:较为重量,采用了大量传统编译优化的技巧来进行优化,占用内存相对多一些,适合服务器端的应用。和C1的不同主要在于寄存器分配策略及优化范围,寄存器分配策略上C2采用的为传统的图着色寄存器分配算法,由于C2会收集程序运行信息,因此其优化范围更多在于全局优化,不仅仅是一个方块的优化。收集的信息主要有:分支的跳转/不跳转的频率、某条指令上出现过的类型、是否出现过空值、是否出现过异常等。逃逸分析是C2进行很多优化的基础,它根据运行状态来判断方法中的变量是否会被外部读取,如不会则认为此变量是不会逃逸的,那么在编译时会做标量替换、栈上分配和同步消除等优化。

分层编译

Java7及之后默认开启分层编译(tiered compilation)策略,由C1编译器和C2编译器相互协作共同来执行编译任务。C1编译器会对字节码进行简单和可靠的优化,以达到更快的编译速度;C2编译器会启动一些编译耗时更长的优化,以获取更好的编译质量。

(1)解释器不再收集运行状态信息,只用于启动并触发C1编译
(2)C1编译后生成带收集运行信息的代码
(3)C2编译,基于C1编译后代码收集的运行信息进行激进优化,当激进优化的假设不成立时,再退回使用C1编译的代码

总结

  • 一般来讲,JIT编译出来的机器码性能比解释器高
  • C2编译器启动时长比C1编译器慢,系统稳定执行以后,C2编译器执行速度远远快于C1编译器。

Graal编译器和AOT编译器

Graal编译器和AOT编译器分别是jdk10 和jdk9引入的新型高效编译器,具有实验性,有兴趣的可以自行去了解。