深入解析：Python中的特征工程——从入门到精通

精选原创

mb669d1092c16ee 2024-10-28 10:11:35 博主文章分类：Python ©著作权

文章标签 Python 文章分类 Python 后端开发 yyds干货盘点

©著作权归作者所有：来自51CTO博客作者mb669d1092c16ee的原创作品，请联系作者获取转载授权，否则将追究法律责任

在数据科学和机器学习领域，特征工程是一个至关重要的环节。它不仅能够显著提升模型的性能，还能帮助我们更好地理解数据的内在结构。本文将从基础概念出发，逐步深入到实际应用，带你全面掌握Python中的特征工程技巧。

引言

特征工程的重要性

特征工程是指通过对原始数据进行处理和转换，生成对机器学习模型更有意义的新特征的过程。一个好的特征可以大幅提高模型的预测能力，减少过拟合的风险，甚至在某些情况下，简单的模型加上优秀的特征工程也能胜过复杂的模型。

应用场景

特征工程广泛应用于各种数据科学任务中，例如：

分类任务：通过特征工程提取关键信息，提高分类准确率。
- 回归任务：优化特征表示，提升回归模型的预测精度。
- 聚类任务：生成更具代表性的特征，改善聚类效果。
- 推荐系统：构建用户和物品的特征，提高推荐的个性化程度。

基础语法介绍

核心概念

特征工程的核心在于如何从原始数据中提取有用的信息。常见的特征工程步骤包括：

数据清洗：处理缺失值、异常值和重复值。
1. 特征选择：选择最相关的特征，减少噪声。
1. 特征转换：对特征进行标准化、归一化或编码。
1. 特征构造：创建新的特征，增强模型的表达能力。

基本语法规则

在Python中，Pandas库是进行特征工程的主要工具。以下是一些常用的操作：

处理缺失值：
import pandas as pd df = pd.read_csv('data.csv') df.fillna(0, inplace=True) # 用0填充缺失值


- **标准化**：
-   ```python
-   from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df['feature'] = scaler.fit_transform(df[['feature']])

独热编码：
df = pd.get_dummies(df, columns=['category'])

基础实例

问题描述

假设我们有一个包含用户购买记录的数据集，其中包括用户的年龄、性别和购买金额。我们的目标是预测用户是否会再次购买。

代码示例

读取数据：
import pandas as pd df = pd.read_csv('purchase_data.csv') print(df.head())


2. **处理缺失值**：
3.    ```python
4.    df.fillna({'age': df['age'].mean(), 'gender': 'unknown'}, inplace=True)
5.    ```
3. **独热编码**：
4.    ```python
5.    df = pd.get_dummies(df, columns=['gender'])
6.    ```
4. **标准化**：
5.    ```python
6.    from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df[['age', 'amount']] = scaler.fit_transform(df[['age', 'amount']])

特征选择：
features = ['age', 'amount', 'gender_unknown', 'gender_male', 'gender_female']
X = df[features]
y = df['rebuy']

进阶实例

问题描述

在一个更复杂的场景中，假设我们有一个包含用户行为日志的数据集，其中包括用户的点击次数、停留时间和页面浏览量。我们的目标是预测用户是否会购买某个产品。

高级代码实例

读取数据：
import pandas as pd df = pd.read_csv('user_behavior.csv') print(df.head())


2. **时间特征提取**：
3.    ```python
4.    df['timestamp'] = pd.to_datetime(df['timestamp'])
5.    df['hour'] = df['timestamp'].dt.hour
6.    df['day_of_week'] = df['timestamp'].dt.dayofweek
7.    ```
3. **聚合特征**：
4.    ```python
5.    agg_features = df.groupby('user_id').agg({
6.        'clicks': ['sum', 'mean', 'max'],
7.        'duration': ['sum', 'mean', 'max'],
8.        'page_views': ['sum', 'mean', 'max']
9.    }).reset_index()
10.    agg_features.columns = ['user_id', 'total_clicks', 'avg_clicks', 'max_clicks', 'total_duration', 'avg_duration', 'max_duration', 'total_page_views', 'avg_page_views', 'max_page_views']
11.    ```
4. **特征交互**：
5.    ```python
6.    agg_features['clicks_per_page_view'] = agg_features['total_clicks'] / agg_features['total_page_views']
7.    agg_features['duration_per_click'] = agg_features['total_duration'] / agg_features['total_clicks']
8.    ```
5. **特征选择**：
6.    ```python
7.    features = ['total_clicks', 'avg_clicks', 'max_clicks', 'total_duration', 'avg_duration', 'max_duration', 'total_page_views', 'avg_page_views', 'max_page_views', 'clicks_per_page_view', 'duration_per_click', 'hour', 'day_of_week']
8.    X = agg_features[features]
9.    y = agg_features['purchased']
10.    ```
## 实战案例

### 问题描述

在一个真实的电商项目中，我们需要预测用户是否会购买某个商品。数据集中包含了用户的浏览历史、搜索关键词、购买记录等信息。

### 解决方案

1. **数据预处理**：
2.    - 处理缺失值和异常值。
3.    - 将文本特征（如搜索关键词）进行词嵌入表示。
2. **特征提取**：
3.    - 提取用户的行为特征，如点击次数、停留时间、页面浏览量。
4.    - 提取用户的社交特征，如关注的商品类别、好友关系。
3. **特征选择**：
4.    - 使用相关性分析和特征重要性评估，选择最相关的特征。
4. **模型训练**：
5.    - 使用随机森林、XGBoost等模型进行训练和验证。
### 代码实现

```python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# 读取数据
df = pd.read_csv('ecommerce_data.csv')

# 数据预处理
df.fillna(0, inplace=True)
df['search_keywords'] = df['search_keywords'].apply(lambda x: ' '.join(x.split()[:5]))  # 取前5个关键词

# 特征提取
df['hour'] = pd.to_datetime(df['timestamp']).dt.hour
df['day_of_week'] = pd.to_datetime(df['timestamp']).dt.dayofweek

# 特征选择
features = ['clicks', 'duration', 'page_views', 'hour', 'day_of_week', 'search_keywords']
X = df[features]
y = df['purchased']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 模型训练
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 模型评估
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy:.2f}')