引言

在 RAG（检索增强生成）应用中，文档分割是一个至关重要的步骤。合适的分割策略可以显著提高检索的准确性和生成内容的质量。本文将深入探讨 LangChain 中的各种文档分割技术，比较它们的优缺点，并分析适用场景。

LangChain 中的文档分割器概览

LangChain 提供了多种文档分割器，主要包括：

  1. 字符分割器（CharacterTextSplitter）
  2. 递归字符文本分割器（RecursiveCharacterTextSplitter）
  3. 语义文档分割器（SemanticChunker）
  4. 其他专用分割器（如 MarkdownHeaderTextSplitter）

接下来，我们将详细介绍这些分割器的使用方法和特点。

字符分割器（CharacterTextSplitter）

字符分割器是最基本的分割方法，它按照指定的字符数来分割文本。

使用示例

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(
    separator="\n\n",
    chunk_size=1000,
    chunk_overlap=200,
    length_function=len,
)

text = "Your long text here..."
docs = text_splitter.create_documents([text])

特点

  • 简单直接，易于理解和实现
  • 可能会打断语义完整性
  • 适用于结构简单、语义不太复杂的文本

递归字符文本分割器（RecursiveCharacterTextSplitter）

递归字符文本分割器是一种更智能的分割方法，它尝试在特定分隔符处分割文本，以保持更好的语义完整性。

使用示例

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    length_function=len,
    separators=["\n\n", "\n", " ", ""]
)

text = "Your long text here..."
docs = text_splitter.split_text(text)

特点

  • 尝试在自然断点处分割文本
  • 比简单的字符分割更能保持语义完整性
  • 适用于结构化程度较高的文本，如 Markdown、HTML 等

运行流程

  1. 首先尝试使用第一个分隔符（如 "\n\n"）分割文本
  2. 如果分割后的块仍然过大，则使用下一个分隔符继续分割
  3. 重复此过程，直到达到指定的 chunk_size 或用完所有分隔符

语义文档分割器（SemanticChunker）

语义文档分割器使用语义理解来分割文本，这是一种更高级的分割方法。

使用示例

from langchain.text_splitter import SemanticChunker
from langchain.embeddings import OpenAIEmbeddings

text_splitter = SemanticChunker(
    embeddings=OpenAIEmbeddings()
)

text = "Your long text here..."
docs = text_splitter.split_text(text)

特点

  • 基于语义相似性分割文本
  • 能够更好地保持语义完整性
  • 计算成本较高，处理大量文本时可能效率较低
  • 适用于需要高度语义理解的场景

其他专用分割器

LangChain 还提供了一些针对特定格式的分割器，如 MarkdownHeaderTextSplitter。这些分割器能够识别特定格式的结构，从而实现更精确的分割。

MarkdownHeaderTextSplitter 示例

from langchain.text_splitter import MarkdownHeaderTextSplitter

headers_to_split_on = [
    ("#", "Header 1"),
    ("##", "Header 2"),
    ("###", "Header 3"),
]

markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on)

markdown_text = "# Header 1\nSome text\n## Header 2\nMore text\n### Header 3\nEven more text"
docs = markdown_splitter.split_text(markdown_text)

分割策略的选择与优化

选择合适的分割策略对 RAG 应用的性能至关重要。以下是一些选择和优化建议：

  1. 文档类型考虑：
  • 对于结构化文档（如 Markdown、HTML），使用 RecursiveCharacterTextSplitter 或专用分割器
  • 对于非结构化文本，可以使用 CharacterTextSplitter 或 SemanticChunker
  1. 性能与准确性平衡：
  • SemanticChunker 提供最好的语义完整性，但计算成本高
  • CharacterTextSplitter 速度最快，但可能影响语义完整性
  • RecursiveCharacterTextSplitter 是一个很好的折中方案
  1. chunk_size 和 chunk_overlap 的调整：
  • chunk_size 过大可能导致检索不精确，过小可能丢失上下文
  • chunk_overlap 有助于保持上下文连贯性，但会增加存储和处理成本
  1. 自定义分割逻辑：
  • 对于特定领域的文档，可能需要开发自定义分割器
  • 考虑使用正则表达式或特定领域的规则来优化分割

结语

文档分割是 RAG 应用中的关键环节，直接影响检索和生成的质量。通过深入理解 LangChain 提供的各种分割技术，并根据具体应用场景选择合适的策略，我们可以显著提升 RAG 系统的整体性能。在实际应用中，建议进行充分的测试和对比，找到最适合您特定需求的分割方法。