/%E7%89%B9%E5%BE%81%E5%B7%A5%E7%A8%8B/ Recent content in 特征工程 on 老张开工了 Hugo zh-cn Fri, 17 Jan 2025 00:00:00 +0000 /posts/2025/01/feature-engineering/ Fri, 17 Jan 2025 00:00:00 +0000 /posts/2025/01/feature-engineering/ 在机器学习领域，有一个广为流传的说法：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。” 特征工程就是将原始数据转化为最能代表问题的特征的过程。它往往是机器学习项目中最耗时但也是最有价值的部分。 为什么特征工程如此重要？ 优秀特征带来的提升往往比换一个复杂模型更为显著。特征工程能： 提升模型精度：好的特征让模式更容易被模型捕捉 降低数据需求：好的特征可以用更简单的模型达到同等的效果 提升可解释性：有意义的特征让模型决策更容易理解 减少过拟合：去除噪音特征，让模型聚焦于真正的信号 特征编码 机器学习模型通常只能处理数值数据。原始数据中的类别、文本等信息需要转换为数值形式。 One-Hot 编码 最常用的类别编码方式。将 K 个类别的特征转换为 K 个二进制特征。 import pandas as pd import numpy as np from sklearn.preprocessing import OneHotEncoder, LabelEncoder, OrdinalEncoder from sklearn.feature_extraction import FeatureHasher # 示例数据 data = pd.DataFrame({ 'color': ['red', 'blue', 'green', 'blue', 'red'], 'size': ['S', 'M', 'L', 'XL', 'M'], 'price': [100, 150, 200, 250, 180] }) # One-Hot 编码 onehot = OneHotEncoder(sparse_output=False, drop='first') # drop='first' 避免多重共线性 encoded = onehot.