java访谈报告 java调研

转载

jiecho 2023-11-10 00:41:14

文章标签 java访谈报告 java log log4j 日志输出 文章分类 Java 后端开发

日志框架调研

历史

Java在设计的时候,借鉴了很多其他语言不错的特性和优点,唯独没有设计日志系统,
但是日志是不可或缺的,一旦程序运行起来运行结果与预期不一致,基本就是出Bug了,这个
时候需要进行Bug排查,一般有两种排查方式:1 断点调试,这种办法虽然精准,但是费时费
力,而且项目如果是运行在生产环境下,无法进行此模式的排查.2 将重要的信息输出到指定的文件,也就是日志.这种方式就算是项目在生产环境下也适用.

Java的IO在最初的时候提供了System.out.println来打印日志,但是这种方式只能打印在控制台,让控制台变成一堆垃圾.

于是,有一位战士出手了,他受够了控制台无休无止的垃圾,决定设计一个通用的日志处理系统.该系统必须有四个功能:

日志除了能打印到控制台,还可以输出到文件,甚至可以通过邮件发送出去(如生产环境出错的消息)
日志内容可以格式化,如纯文本,XML,HTML等格式
对于不同的Java class,不同的package,以及不同级别的日志,应该可以灵活地输出到不同的文件中
能对日志进行分级,有些日志纯属debug,在本机或测试环境下使用,方便程序进行调试,生产环境完全不需要.有些日志是描述错误(error)的,在生产环境下出错必须记录下来,帮助后续的分析.

根据上面的需求分了几个模块

日志类
LoggingEvent 保存当前时间戳日志消息
日志输出类型
LogAppender 可以输出到控制台,文件,邮件等
日志格式化类
Formatter 把日志内容格式化为文本,XML,HTML等
日志输出位置
Logger 想要输出日志就必须获取一个Logger,而获取一个Logger就必须传入一个类名或包名,一个Logger可以有多个Appender,同一条日志消息可以输出到多个位置.

Logger log1 = Logger.getLogger("com.test");
    Logger log2 = Logger.getLogger(Test.class);
    log1.info("he");
    log2.info("h3");

日志分级
Priority 定义了5个常量DEBUG,INFO,WARN,ERROR,FATAL.所有的ERROR级别日志都输出到error.log里,为此在Appender中增加Priority,如果用户要输出的DEBUG级别,但是Appender是ERROR级别,那么该日志就不会输出,因为ERROR级别比DEBUG高.Logger同理.

这样设计的系统形成了正交性,每一部分的变化都是相对独立的,不会影响到其他部分.
自此Log for Java诞生了,叫做Log4j.在JDK1.4时,Java提供了java.util.logging包用于记录日志,其中的核心概念和Log4j非常相似.

后来Log4j开源了,后来又写了Logback,有了前面Log4j的经验,Logback速度更快了.然后想到如果用户想要切换日志工具怎么办,就又写了一个抽象层,用户根据抽象层的API来写日志,至于底层具体实现不用关心,这个抽象层就叫Slf4j.

Log4j2

Log4j2和Log4j是同一个作者，只不过log4j2是重新架构的一款日志组件，他抛弃了之前log4j的不足，以及吸取了优秀的logback的设计重新推出的一款新组件。

log4j 2.x版本不再支持像1.x中的.properties后缀的文件配置方式，2.x版本配置文件后缀名只能为".xml",".json"或者".jsn".

系统选择配置文件的优先级(从先到后)如下：

1. resources下的名为log4j2-test.json 或者log4j2-test.jsn的文件.
2. resources下的名为log4j2-test.xml的文件.
3. resources下名为log4j2.json 或者log4j2.jsn的文件.
4. resources下名为log4j2.xml的文件.

一般默认使用log4j2.xml进行命名。如果本地要测试，可以把log4j2-test.xml放到resources，而正式环境使用log4j2.xml，则在打包部署的时候不要打包log4j2-test.xml即可。

缺省配置

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" monitorinterval="30">
<Appenders>
 <Console name="Console" target="SYSTEM_OUT">
   <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n"/>
 </Console>
</Appenders>
<Loggers>
 <Root level="error">
   <AppenderRef ref="Console"/>
 </Root>
</Loggers>
</Configuration>

结构

* Configuration 
    * properties
    * Appenders 
        * Console 
            * PatternLayout
        * File
        * RollingRandomAccessFile
        * Async
    * Loggers 
        * Logger
        * Root 
            * AppenderRef

Configuration 根节点

status 用于指定log4j本身的打印日志的级别

status的值有 “trace”, “debug”, “info”, “warn”, “error” and “fatal",如果设置较低的级别就会看到很多关于log4j2本身的日志，如加载log4j2配置文件的路径等信息

monitorinterval 用于指定自动重新配置的检测间隔时间,单位是s,最小是5s

properties 用来定义常量，以便在其他配置的时候引用，该配置是可选的，例如定义日志的存放位置
Appenders 输出源用于定义日志输出的位置.log4j2支持的输出源有很多，有控制台Console、文件File、RollingRandomAccessFile、MongoDB、Flume 等

Console 控制台输出源是将日志打印到控制台上，开发的时候一般都会配置，以便调试
File 文件输出源，用于将日志写入到指定的文件，需要配置输入到哪个位置（例如：D:/logs/mylog.log）
RollingRandomAccessFile 该输出源也是写入到文件，不同的是比File更加强大，可以指定当文件达到一定大小（如20MB）时，另起一个文件继续写入日志，另起一个文件就涉及到新文件的名字命名规则，因此需要配置文件命名规则
这种方式更加实用，因为你不可能一直往一个文件中写，如果一直写，文件过大，打开就会卡死，也不便于查找日志。

fileName 指定当前日志文件的位置和文件名称
filePattern 指定当发生Rolling时，文件的转移和重命名规则
SizeBasedTriggeringPolicy 指定当文件体积大于size指定的值时，触发Rolling
DefaultRolloverStrategy 指定最多保存的文件个数
TimeBasedTriggeringPolicy 这个配置需要和filePattern结合使用，注意filePattern中配置的文件重命名规则是${FILE_NAME}-%d{yyyy-MM-dd HH-mm}-%i，最小的时间粒度是mm，即分钟
TimeBasedTriggeringPolicy指定的size是1，结合起来就是每1分钟生成一个新文件。如果改成%d{yyyy-MM-dd HH}，最小粒度为小时，则每一个小时生成一个文件

NoSql MongoDb, 输出到MongDb数据库中
Flume 输出到Apache Flume（Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
Async 异步，需要通过AppenderRef来指定要对哪种输出源进行异步（一般用于配置RollingRandomAccessFile）

<!-- <AsyncLogger></AsyncLogger> 或 <AsyncRoot></AsyncRoot> -->
      
<AsyncLogger name="LoggingTest" level="error" includeLocation="true">
    <AppenderRef ref="RandomAccessFile"/>
</AsyncLogger>

Policies 策略，表示日志什么时候应该产生新日志，可以有时间策略和大小策略等
PatternLayout 控制台或文件输出源（Console、File、RollingRandomAccessFile）都必须包含一个PatternLayout节点，用于指定输出文件的格式（如日志输出的时间文件方法行数等格式），例如 pattern=”%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n”

%d{HH:mm:ss.SSS} 表示输出到毫秒的时间
%t 输出当前线程名称
%-5level 输出日志级别，-5表示左对齐并且固定输出5个字符，如果不足在右边补0
%logger 输出logger名称，因为Root Logger没有名称，所以没有输出
%msg 日志文本
%n 换行
其他常用的占位符有：
%F 输出所在的类文件名，如Log4j2Test.java
%L 输出行号
%M 输出所在方法名
%l 输出语句所在的行数, 包括类名、方法名、文件名、行数
    ```

Loggers 日志器分根日志器Root和自定义日志器，当根据日志名字获取不到指定的日志器时就使用Root作为默认的日志器，自定义时需要指定每个Logger的名称name（对于命名可以以包名作为日志的名字，不同的包配置不同的级别等），日志级别level，相加性additivity（是否继承下面配置的日志器），对于一般的日志器（如Console、File、RollingRandomAccessFile）一般需要配置一个或多个输出源AppenderRef

<Logger name="rollingRandomAccessFileLogger" level="trace" additivity="true">  
    <AppenderRef ref="RollingRandomAccessFile" />  
</Logger>

Log4j2对系统性能的影响程度主要体现在以下几方面：

日志输出的目的地，输出到控制台的速度比输出到文件系统的速度要慢。
日志输出格式不一样对性能也会有影响，如简单输出布局(SimpleLayout)比格式化输出布
局(PatternLayout)输出速度要快。可以根据需要尽量采用简单输出布局格式输出日志信息。
日志级别越低输出的日志内容就越多，对系统系能影响很大。
日志输出方式的不同，对系统性能也是有一定影响的，采用异步输出方式比同步输出方式性能要高。
每次接收到日志输出事件就打印一条日志内容比当日志内容达到一定大小时打印性能要低。

针对上述影响,对日志配置文件进行优化:

设置日志缓存,以及缓存大小
设置日志输出为异步方式

不同级别日志输出到不同文件

<?xml version="1.0" encoding="UTF-8"?>
<!--日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->
<!--Configuration后面的status，这个用于设置log4j2自身内部的信息输出，可以不设置，当设置成trace时，你会看到log4j2内部各种详细输出-->
<!--monitorInterval：Log4j能够自动检测修改配置 文件和重新配置本身，设置间隔秒数-->
<Configuration status="WARN" monitorInterval="500">
    <!--定义日志储存文件目录-->
    <properties>
        <property name="LOG_HOME">logs</property>
    </properties>
    <Appenders>
        <!--控制台输出所有日志-->
        <Console name="Console" target="SYSTEM_OUT">
            <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
        </Console>
        <!--Info级别日志输出-->
        <RollingRandomAccessFile name="InfoFile"
                                 fileName="${LOG_HOME}/info/info.log"
                                 filePattern="${LOG_HOME}/info-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="warn" onMatch="DENY" onMismatch="NEUTRAL"/>  
                <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY" />
            </Filters>
            <PatternLayout pattern="%date{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread][%file:%line] - %msg%n" />
            <Policies>
                <TimeBasedTriggeringPolicy />
                <SizeBasedTriggeringPolicy size="10 MB" />
            </Policies>
            <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件，这里设置了20 -->
            <DefaultRolloverStrategy max="20" />
        </RollingRandomAccessFile>
         <!--warn级别日志输出-->
        <RollingRandomAccessFile name="WarnFile"
                                 fileName="${LOG_HOME}/warn/warn.log"
                                 filePattern="${LOG_HOME}/warn-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="error" onMatch="DENY" onMismatch="NEUTRAL"/>  
                <ThresholdFilter level="warn" onMatch="ACCEPT" onMismatch="DENY"/>
            </Filters>
            <PatternLayout pattern="%date{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread][%file:%line] - %msg%n" />
            <Policies>
                <TimeBasedTriggeringPolicy />
                <SizeBasedTriggeringPolicy size="10 MB" />
            </Policies>
            <DefaultRolloverStrategy max="20" />
        </RollingRandomAccessFile>

        <!--Error级别日志输出-->
        <RollingRandomAccessFile name="ErrorFile"
                                 fileName="${LOG_HOME}/error/error.log"
                                 filePattern="${LOG_HOME}/error-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY" />
            </Filters>
            <PatternLayout pattern="%date{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread][%file:%line] - %msg%n" />
            <Policies>
                <TimeBasedTriggeringPolicy />
                <SizeBasedTriggeringPolicy size="10 MB" />
            </Policies>
            <DefaultRolloverStrategy max="20" />
        </RollingRandomAccessFile>
    </Appenders>
    
 <!--然后定义logger，只有定义了logger并引入的appender，appender才会生效-->
    <Loggers>
         <!--过滤掉spring的一些无用的DEBUG信息-->
        <logger name="org.springframework" level="INFO"></logger>
        <Root level="Debug">
            <AppenderRef ref="Console" />
            <AppenderRef ref="InfoFile" />
            <AppenderRef ref="WarnFile" />
            <AppenderRef ref="ErrorFile" />
        </Root>
    </Loggers>

</Configuration>

压测

mac开发机 i7 2.2GHz 6核 16GB 
    
500w条日志数据 50个线程
    
Logging 101339ms
Log4j   26870ms
Logback 43715ms
Log4j2 同步 20629ms  异步 12204ms

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：嵌套多线程java 线程可以嵌套吗

下一篇：画桃心Python 画桃心怎么画好看

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯