/%E5%9B%9E%E5%BD%92/ Recent content in 回归 on 老张开工了 Hugo zh-cn Tue, 14 Jan 2025 00:00:00 +0000 /posts/2025/01/regression-analysis/ Tue, 14 Jan 2025 00:00:00 +0000 /posts/2025/01/regression-analysis/ 回归分析是机器学习中最基础也最强大的工具之一。它用来预测连续数值型目标变量，比如房价、温度、销售额。虽然概念简单，但回归分析包含了机器学习中许多核心思想，是理解更复杂模型的重要基石。 什么是回归分析？ 回归分析研究的是自变量（特征）与因变量（目标）之间的定量关系。它的核心目标是找到一个函数，能够根据输入特征预测输出值。 简单线性回归 只有一个自变量的线性回归称为简单线性回归。它的数学形式是： $$y = \beta_0 + \beta_1 x + \varepsilon$$ 其中 $\beta_0$ 是截距，$\beta_1$ 是斜率（系数），$\varepsilon$ 是误差项。 最小二乘法是最常用的参数估计方法。它的目标是最小化所有数据点的预测值与真实值之间的平方差之和： $$\min \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$ import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression # 生成模拟数据 np.random.seed(42) X = np.random.rand(50, 1) * 10 # 0-10之间的随机数 y = 2.5 * X.squeeze() + 1 + np.random.randn(50) * 1.5 # y = 2.5x + 1 + 噪声 # 训练模型 model = LinearRegression() model.