Python 删除 txt 文件重复行

在日常工作和学习中，经常会遇到需要处理大量文本文件的情况。而在处理文本文件时，我们可能会遇到一个常见的问题，即如何删除文件中的重复行。本文将介绍使用 Python 编程语言来解决这个问题的方法。

问题描述

假设我们有一个名为 data.txt 的文本文件，其内容如下：

apple
banana
apple
orange
banana

我们希望将文件中的重复行删除，得到如下结果：

apple
banana
orange

解决方法

下面我们将介绍两种常见的方法来解决这个问题。

方法一：使用集合

我们可以使用 Python 中的集合数据结构来去除重复行。集合是一种无序、不重复的数据集合，它可以用来快速判断元素是否存在。

下面是使用集合来删除重复行的代码示例：

def remove_duplicates(filename):
    lines = set()
    with open(filename, 'r') as file:
        for line in file:
            line = line.strip()  # 去除行首和行尾的空格
            if line not in lines:
                lines.add(line)

    with open(filename, 'w') as file:
        for line in lines:
            file.write(line + '\n')

上述代码中，我们首先创建了一个空的集合 lines 来存储不重复的行。然后，我们打开文件并逐行读取文件内容，将每行去除首尾空格后与集合中的元素进行比较。如果集合中不存在该行，则将该行添加到集合中。最后，我们再次打开文件，并将集合中的行写入文件中。

方法二：使用字典

除了使用集合，我们还可以使用字典来删除重复行。字典是一种键值对的数据结构，我们可以使用字典的键来存储不重复的行。

下面是使用字典来删除重复行的代码示例：

def remove_duplicates(filename):
    lines = {}
    with open(filename, 'r') as file:
        for line in file:
            line = line.strip()  # 去除行首和行尾的空格
            lines[line] = True

    with open(filename, 'w') as file:
        for line in lines.keys():
            file.write(line + '\n')

上述代码中，我们创建了一个空的字典 lines 来存储不重复的行。然后，我们打开文件并逐行读取文件内容，将每行去除首尾空格后作为字典的键。由于字典的键是唯一的，重复的行会被自动删除。最后，我们再次打开文件，并将字典中的键写入文件中。

使用示例

假设我们有一个名为 data.txt 的文本文件，内容如下：

apple
banana
apple
orange
banana

我们可以使用以下代码来去除文件中的重复行：

remove_duplicates('data.txt')

执行以上代码后，data.txt 文件将被修改为：

apple
banana
orange

总结

本文介绍了两种使用 Python 删除文本文件中重复行的方法。通过使用集合或字典，我们可以快速去除文件中的重复行。在实际应用中，我们可以根据具体情况选择适合的方法。+

journey
    title 删除 txt 文件重复行

    section 问题描述
        描述[问题描述]
    
    section 解决方法
        描述[解决方法一：使用集合]
        描述[解决方法二：使用字典]
    
    section 使用示例
        描述[示例代码]
    
    section 总结
        描述[总结]

classDiagram
    remove_duplicates() -- filename