Python DataFrame 判断 NaN 值和空值

在处理数据分析和机器学习任务时，经常会遇到需要处理缺失值的情况。在Python中，pandas是一个广泛使用的数据分析库，其中的DataFrame是一个非常实用的数据结构。本文将介绍如何使用pandas来判断DataFrame中的NaN值和空值，并给出相应的代码示例。

什么是NaN和空值？

NaN（Not a Number）是一种特殊的数据类型，表示缺失或无效的数值。空值是指没有任何数值的情况。

在数据分析中，缺失值可能由于各种原因产生，如数据采集错误、传感器故障或错误的数据转换等。处理缺失值是数据分析中非常重要的一部分，因为缺失值会对结果产生不确定性和偏差。因此，我们需要能够准确地判断DataFrame中的NaN值和空值。

判断NaN值

在pandas中，可以使用isna()或isnull()函数来判断DataFrame中的NaN值。这两个函数是等价的，都会返回一个布尔值的DataFrame，其中的元素为True表示对应位置是NaN值，否则为False。

下面是一个示例代码，演示如何判断DataFrame中的NaN值：

import pandas as pd

# 创建一个包含NaN值的DataFrame
data = {'A': [1, 2, None, 4],
        'B': [5, None, 7, 8],
        'C': [None, None, None, None]}
df = pd.DataFrame(data)

# 判断DataFrame中的NaN值
nan_df = df.isna()
print(nan_df)

输出结果为：

       A      B     C
0  False  False  True
1  False   True  True
2   True  False  True
3  False  False  True

可以看到，返回的结果是一个与原始DataFrame形状相同的DataFrame，其中的元素为True表示对应位置是NaN值，否则为False。

判断空值

判断DataFrame中的空值与判断NaN值的方法类似，同样可以使用isna()或isnull()函数来实现。不过，与判断NaN值不同的是，判断空值还可以使用empty属性来判断整个DataFrame是否为空。empty属性是一个布尔值，如果DataFrame为空，则返回True，否则为False。

下面是一个示例代码，演示如何判断DataFrame中的空值：

import pandas as pd

# 创建一个空的DataFrame
df = pd.DataFrame()

# 判断DataFrame是否为空
empty = df.empty
print(empty)

# 创建一个包含空值的DataFrame
data = {'A': [],
        'B': [],
        'C': []}
df = pd.DataFrame(data)

# 判断DataFrame中的空值
empty_df = df.isna()
print(empty_df)

输出结果为：

True
       A     B     C
0  False  True  True

可以看到，当DataFrame为空时，empty属性返回True；当DataFrame中有空值时，isna()函数返回一个与原始DataFrame形状相同的DataFrame，其中的元素为True表示对应位置是空值，否则为False。

处理NaN值和空值

判断NaN值和空值只是处理缺失值的第一步，我们通常还需要进一步处理这些缺失值。在pandas中，可以使用dropna()函数来删除包含NaN值的行或列，也可以使用fillna()函数来填充NaN值。

下面是一个示例代码，演示如何处理DataFrame中的NaN值和空值：

import pandas as pd

# 创建一个包含NaN值和空值的DataFrame
data = {'A': [1, 2, None, 4],
        'B': [5, None, 7, 8],
        'C': [None, None, None, None]}
df = pd.DataFrame(data)

# 删除包含NaN值的行
clean_df = df.dropna()
print(clean_df)

# 填充NaN值为指定值
fill_df = df.fillna(0)
print(fill_df)

输出结果为：

     A   B     C
0  1.0   5  None

     A    B  C
0  1.0