hive语句解析器 hive源码解析

转载

网络安全战士 2023-07-26 14:29:40

文章标签 hive语句解析器 hive遍历 java词法分析用c++自制词法分析器 hive 文章分类 Hive 大数据

背景：上一篇介绍了hive执行和运行过程。这一篇将对antlr进行介绍，讲解hive是如何将sql转化成AST tree 的。

hive借助Antlr定义SQL的词法规则和语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree。HiveSql后续的编译过程全都基于AST Tree,所以我们想要完整理解hive sql的编译过程，需要前置了解一下antlr是怎么工作的

hive语句解析器 hive源码解析_hive语句解析器

词法分析器（Lexer）：词法分析器的工作是分析量化那些本来毫无意义的字符流，将他们翻译成离散的字符组（也就是一个一个的Token），供语法分析器使用。

语法分析器（Parser）：语法分析器将把收到的Tokens组织起来，并转换成语法规则定义的所允许的结构。

树分析器(TreeParser)：树分析器可以用于对语法分析生成的抽象语法树进行遍历，并能执行一些相关的操作。

antlr环境准备

下载antlr ：ANTLRWorks 1.5开发
运行antlrworks-1.5.1.jar。

准备代码

grammar

点击debug按钮运行。

hive语句解析器 hive源码解析_hive_02

debug

点击按钮，看到如下图说明运行成功了。

hive语句解析器 hive源码解析_hive_03

运行

这就是antlr解析的原理。通过提前定义好识别字符流的词法规则和用于解析token流的语法分析规则。然后，antlr会根据我们提供的语法文件自动生成相应的词法/语法分析器。利用他们讲输入的文本进行编译，最后转化为抽象的语法书AST Tree。

idea集成antlr

plugins下载antlr组件

hive语句解析器 hive源码解析_hive_04

idea安装antlr

idea创建Demo.g4文件

grammar Demo;
//parser
prog:stat
;
stat:expr|NEWLINE
;

expr:multExpr(('+'|'-')multExpr)*
;
multExpr:atom(('*'|'/')atom)*
;
atom:'('expr')'
    |INT
    |ID
;
//lexer
ID:('a'..'z'|'A'..'Z')+;
INT:'0'..'9'+;
NEWLINE:'r'?'n';
WS:(' '|'t'|'n'|'r')+{skip();};
//expr;

1、点击右键Demo.g4，选择Configure ANTLR，配置output路径。

hive语句解析器 hive源码解析_用c++自制词法分析器_05

configure antlr

hive语句解析器 hive源码解析_hive_06

配置output

pom.xml文件配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>hive</artifactId>
        <groupId>org.apache.hive</groupId>
        <version>2.1.1</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>antlr-my</artifactId>

    <dependencies>

        <dependency>
            <groupId>org.antlr</groupId>
            <artifactId>antlr4-runtime</artifactId>
            <version>4.8</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.1.1</version>
            <scope>compile</scope>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.antlr</groupId>
                <artifactId>antlr4-maven-plugin</artifactId>
                <version>4.3</version>
                <executions>
                    <execution>
                        <id>antlr</id>
                        <goals>
                            <goal>antlr4</goal>
                        </goals>
                        <phase>none</phase>
                    </execution>
                </executions>
                <configuration>
                    <outputDirectory>src/test/java</outputDirectory>
                    <listener>true</listener>
                    <treatWarningsAsErrors>true</treatWarningsAsErrors>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>