主页

略

2.1 感知机 看模型的范式 多元线性回归 问题是什么 线性、分类问题 模型是什么 线性模型 优化指标 误分类点到分离超平面的距离 求解方法 随机梯度下降法 评价模型   感知机（perceptron）是二分类的线性分类模型，属于监督学习算法。输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机旨在求出将输入空间中的实例划分为两类的分离超平面。为求得超平面，感知机导入了基于误分类的损失...

4 核回归 看模型的范式 核回归 问题是什么 回归问题 模型是什么 线性模型 优化指标 间隔最大化（最大化支持面之间的距离） 求解方法 （序列最小最优化算法）smo 评价模型   核回归是一种非参数回归方法，不需要事先假设回归函数的具体形式，核回归是放弃寻找一个全局模型（比如线性回归），转而相信“物以类聚”：要预测一个点$ x$ 的值，我们应该更多地参考那些在 $x$ 附近点的值，而远离$ x$...

3 Lasso 回归 看模型的范式 Lasso 回归 问题是什么 回归拟合 模型是什么 线性模型 优化指标 最小二乘损失的基础上+ L1 正则化项 求解方法 坐标下降法 评价模型   首先，lasso与岭回归都是正则化目标函数。但是，与岭回归不同，Lasso 使用L1正则化，这会带来特征选择的特性——将不重要特征的系数压缩至零，也就是生成稀疏解。 Lasso 在最小二乘损失的基础上添加 L1 正...

2 岭回归 看模型的范式 岭回归 问题是什么 回归拟合 模型是什么 线性模型 优化指标 最小二乘损失＋L2正则化项 求解方法 极大似然估计，求导得闭式解 评价模型 $R^2$ 岭回归模型的基本原理: 岭回归是一种用于处理多重共线性问题的线性回归扩展方法。它在最小二乘回归的基础上，引入了 L2 正则化项，通过惩罚回归系数的大小，防止模型过拟合，提高模型的稳健性和泛化能力。岭回归的目标是最小化损失函...

1.多元线性回归 看模型的范式 多元线性回归 问题是什么 回归拟合问题 模型是什么 线性模型 优化指标 最小二乘损失，最小化均方误差 求解方法 最小二乘法 评价模型 $R^2$ 当对总体中 $n$ 个个体观测时候, 记第 $j$ 次观测样本的解释变量为$ x_{j1}, x_{j2}, …, x_{j(p-1)}$， 而响应变量记为 $y_{j} = [y_{j1}, y_{j2}, …, y_...

欢迎来到我的机器学习笔记小栈 ， 写在2025年夏末的起点 这里是我学习机器学习过程中的思考和笔记。我会在这里记录下核心的概念、有趣的发现以及一些实战中的小技巧。 希望这些零散的碎片能为你带来一些启发，也期待能与你一起交流、成长。 —— danperion 2025年8月6日 于实验室的小工位