浅谈递归下降解析器

原创

bruce_xiaowei 2024-11-27 07:46:11 博主文章分类：笔记 ©著作权

文章标签 递归解析器语法树 python 文章分类 代码人生 yyds干货盘点

©著作权归作者所有：来自51CTO博客作者bruce_xiaowei的原创作品，请联系作者获取转载授权，否则将追究法律责任

浅谈递归下降解析器

递归下降解析器是一种自顶向下的解析技术，通常用于编译器和解释器中，用于分析程序的源代码。它通过一组递归函数来处理语法规则，从而构建出语法树。此解析器适用于上下文无关文法（CFG），尤其是 LL(1) 文法。

基本概念

在计算机科学中，解析是一种将输入字符串（如源代码）转换为某种结构（通常是语法树或抽象语法树）的过程。递归下降解析器使用递归调用来处理文法中的每个产生式。

主要特征

自顶向下：从整个输入开始逐步深入到更多的细节。
简单性：实现相对简单，易于理解和调试。
可读性：具有清晰的结构和直观的逻辑。

工作原理

递归下降解析器的核心思想是为文法中的每个非终结符创建一个函数，这些函数通过调用彼此来解析输入。这些函数会根据输入字符来决定哪个产生式被应用。

示例文法

考虑一个简单的算术表达式文法：

expr   ::= term (( '+' | '-' ) term)*
term   ::= factor (( '*' | '/' ) factor)*
factor ::= NUM | '(' expr ')'
NUM    ::= [0-9]+

解析过程

以下是如何使用递归下降方法解析 3 + 5 * (2 - 4) 的步骤：

从 expr 开始。
调用 term 来处理左侧的 3。
识别加号并继续处理下一个 term，即 5 * (2 - 4)。
继续进行，直到所有的输入都被处理完。

实现示例

下面是使用 Python 实现的简单递归下降解析器，解析上述文法：

class Parser:
    def __init__(self, text):
        self.tokens = text.replace('(', ' ( ').replace(')', ' ) ').split()
        self.current_token = None
        self.pos = -1
        self.next_token()

    def next_token(self):
        """移动到下一个标记"""
        self.pos += 1
        if self.pos < len(self.tokens):
            self.current_token = self.tokens[self.pos]
        else:
            self.current_token = None

    def parse(self):
        """开始解析"""
        return self.expr()

    def expr(self):
        """expr ::= term (( '+' | '-' ) term)*"""
        node = self.term()
        while self.current_token in ('+', '-'):
            op = self.current_token
            self.next_token()
            right = self.term()
            node = (op, node, right)
        return node

    def term(self):
        """term ::= factor (( '*' | '/' ) factor)*"""
        node = self.factor()
        while self.current_token in ('*', '/'):
            op = self.current_token
            self.next_token()
            right = self.factor()
            node = (op, node, right)
        return node

    def factor(self):
        """factor ::= NUM | '(' expr ')'"""
        token = self.current_token
        if token.isdigit():
            self.next_token()
            return int(token)
        elif token == '(':
            self.next_token()
            node = self.expr()
            if self.current_token != ')':
                raise Exception("Expected ')'")
            self.next_token()
            return node
        raise Exception(f"Unexpected token: {token}")

# 使用示例
parser = Parser("3 + 5 * ( 2 - 4 )")
result = parser.parse()
print(result)  # 输出: ('+', 3, ('*', 5, ('-', 2, 4)))