/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/ Recent content in 机器学习 on 老张开工了 Hugo zh-cn Mon, 13 Jan 2025 00:00:00 +0000 /posts/2025/01/ml-overview/ Mon, 13 Jan 2025 00:00:00 +0000 /posts/2025/01/ml-overview/ 经过前面十二篇文章的学习，我们已经掌握了数据分析的核心技能：从数据采集、清洗、探索性分析到可视化。但数据分析的终极目标不仅是描述过去，更是预测未来。这就是机器学习登场的时刻。 什么是机器学习？ 机器学习是一门让计算机从数据中自动学习规律和模式的学科，无需人为显式编程。传统编程中，我们输入规则和数据，得到答案。而在机器学习中，我们输入数据和答案，让计算机自己总结出规则。 传统编程: 规则 + 数据 → 答案 机器学习: 数据 + 答案 → 规则 这个能力让机器学习能够处理传统编程难以解决的问题：识别图片中的猫、理解语音命令、预测股票走势、推荐你可能喜欢的电影。 机器学习与数据分析的关系 很多人会问：机器学习和数据分析有什么区别？ 简单来说，数据分析重在描述和诊断，而机器学习重在预测和决策。 描述性分析（前几篇文章的重点）：回答"发生了什么？"——如销售额同比下降了15%。 诊断性分析：回答"为什么发生？"——如是因为用户流失还是客单价下降。 预测性分析（机器学习的强项）：回答"未来会发生什么？"——如下个月预计销售额。 规范性分析：回答"我们应该怎么做？"——如应该给哪些用户发放优惠券。 机器学习和数据分析并非割裂的。实际上，机器学习是数据分析的自然延伸。你掌握的数据清洗、可视化、统计检验等技能，在机器学习项目中同样至关重要。 三大学习范式 机器学习按照学习方式可以分为三大类。 监督学习 监督学习使用带有标签的数据进行训练。就像老师带着标准答案教学生一样，模型学习输入到输出之间的映射关系。 回归任务：预测连续值（如房价、温度） 分类任务：预测类别标签（如垃圾邮件检测、疾病诊断） 常见的监督学习算法包括线性回归、决策树、随机森林、支持向量机、神经网络等。 无监督学习 无监督学习处理没有标签的数据，模型需要自己发现数据中的结构和模式。 聚类任务：将相似的数据点分组（如客户分群） 降维任务：压缩数据维度同时保留关键信息（如数据可视化） 常见的无监督学习算法包括 K-Means、DBSCAN、主成分分析（PCA）等。 强化学习 强化学习通过智能体与环境交互，根据奖励信号学习最优策略。它在游戏、机器人控制、自动驾驶等领域表现出色。 强化学习与传统监督学习的区别在于：没有现成的"正确答案"，智能体需要通过试错来学习。AlphaGo 击败李世石、OpenAI 的 Dota 2 机器人，都是强化学习的经典案例。 算法分类一览 下面这张表格帮你快速建立机器学习算法的全局认知： 类别 算法 典型应用 线性回归 普通最小二乘、Ridge、Lasso 价格预测、趋势分析 基于树的模型 决策树、随机森林、梯度提升树 分类、回归、特征重要性分析 支持向量机 SVC、SVR 文本分类、图像识别 基于距离的模型 KNN（K近邻） 推荐系统、模式识别 神经网络 MLP、CNN、RNN、Transformer 图像、语音、自然语言处理 聚类算法 K-Means、DBSCAN、层次聚类 客户分群、异常检测 降维算法 PCA、t-SNE、UMAP 数据可视化、特征压缩 集成方法 Bagging、Boosting、Stacking 提升预测精度 机器学习工作流 一个完整的机器学习项目通常包含以下步骤。