# -*- coding: utf-8 -*-
#1. 概念:把数据结构中,行相同的数据只保留一行。
# 语法: drop_duplicates 该方法返回一个去重后的数据框对象from pandas import read_csv
df = read_csv("D:/python/workspace/pythonStudy/8.csv")
#找出行重复的位置(索引值)
dIndex = df.duplicated() #返回一列布尔值。如果某行数据没有出现过,则返回False,否则返回True#找出列重复位置
dIndex = df.duplicated('id') #返回id这一列重复的位置dIndex = df.duplicated(['id','key']) #这两列同时重复的位置
#根据上面的返回值,把重复数据提取出来
df[dIndex] #删除重复值
#默认根据所有的列,进行删除(当某两行所有列的数据都重复时,会删除其中一行)
newDf = df.drop_duplicates()#当然也可以指定某一列或多列,进行重复值删除
newDf = df.drop_duplicates("id")
newDf = df.drop_duplicates(["id","key"])
python删除重复值的代码 python如何删除重复值
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
删除数组重复值
删除数组重复值
删除数组重复值 -
删除重复值python 删除重复值的函数
Pandas去重函数:drop_duplicates()“去重”通过字面意思不难理解,就是删除重复的数据。在一个数据集中,找出重复的数据删并将其删除,最终只保存一个唯一存在的数据项,这就是数据去重的整个过程。删除重复数据是数据分析中经常会遇到的一个问题。通过数据去重,不仅可以节省内存空间,提高写入性能,还可以提升数据集的精确度,使得数据集不受重复数据的影响。Panda DataFrame 对象提供
删除重复值python Pandas去重函数 drop_duplicates Pandas Python去重函数