/eda/ Recent content in EDA on 老张开工了 Hugo zh-cn Wed, 08 Jan 2025 00:00:00 +0000 /posts/2025/01/exploratory-data-analysis/ Wed, 08 Jan 2025 00:00:00 +0000 /posts/2025/01/exploratory-data-analysis/ 拿到一份干净的数据后，你的第一反应是什么？很多人会立刻跑模型、调参数，但这是本末倒置。在建模之前，你需要先回答两个问题：这些数据长什么样？里面有什么规律？ 探索性数据分析（EDA）就是回答这两个问题的过程。它不是一次性的步骤，而是一个反复提问、画图、计算、再提问的循环。好的 EDA 能帮你发现数据质量问题、验证假设、指导特征工程，甚至直接决定选什么模型。 EDA 的核心方法论 EDA 没有固定脚本，但有一个可循的工作流： 概览：数据有多大？每列是什么类型？有没有明显的缺失和异常？ 单变量分析：每个变量各自的分布如何？ 双变量分析：两个变量之间有什么关系？ 多变量分析：多个变量综合起来能发现什么？ 总结与假设：形成分析假设，进入建模阶段。 我们以 Kaggle 的 Titanic 数据集为例，一步步走完 EDA 流程。 环境与数据加载 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore') # 设置中文字体 plt.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus'] = False sns.set_theme(style='whitegrid', palette='muted') 我们直接加载 Titanic 数据集： # 从 seaborn 加载 df = sns.load_dataset('titanic') print('数据集大小:', df.shape) print('\n前 5 行:') print(df.head()) 第一步：快速概览 # 基本信息 print(df.info()) # 数值统计 print(df.