机器学习基石CH14:Regularization CH14:RegularizationRegularized Hypothesis Set 我们之前由于overfit造成了右边图所示的状况,我们今天要把右图转化为左图通过:Regularization 因此我们要从高次的hypothesis走回到低次的hypothesis,因此我们想找一种方法可以提供一种指标使得高次走回到低次。 因此我们可以看出:低次多项式其实就是高次多项式 加上了一些限 2021-01-25 机器学习
机器学习基石CH13:Hazard of Overfitting CH13:Hazard of OverfittingWhat is overfitting 比如我们现在的数据是通过一个二次曲线+noise 造出来的数据,然后我们用这个数据进行机器学习,假如你用了5次曲线(即一定可以经过上述的五个点),那么我们就会画出图中红色的曲线(且$E_{in}=0$) 但是她和我们的target function蓝色线差距很大。 一个overfitting的例子: o 2021-01-24 机器学习
《线性代数及其应用》CH3:行列式 第三章 行列式3.1 行列式介绍注: $det \ A$ 代表行列式A的值 一个矩阵展开成代数余子式可以按行或者列展开(即 定理1) 定理2: 3.2 行列式的性质行变换的性质: 可逆与行列式的联系: 列变换: 有了定理5我们不难想到,行列变换规则是一样的。 行列式乘积: 例题: 行列式函数的一个有趣的线性性质: 证明:(2)这个其实就是列变换,显而易见 2021-01-24 线性代数
机器学习基石CH12:Nonlinear Transformation CH12:Nonlinear TransformationQuadratic Hypotheses(二次假设)Linear Hypothesis 线性模型可以算一个分数,它最大的好处是$d_{VC}$ 可以被控制,当然线性模型在某些数据上每条线都做不到效果很好。 我们这里用一个圈就可以很好地进行分类。 那么我们可以设一个圆形的PLA,可是图形是千变万化的,我们不可能每个都设计出来一个PLA 2021-01-23 机器学习
机器学习基石CH11:Linear Models for Classification CH11:Linear Models for ClassificationBinary Classification我们回顾一下线性模型: 我们看一下三个error function在做classification时的区别: $ys$代表着正确的分数。 下面我们画个图来看一下3个error function的图像: 这个cross-entropy可以稍微移动下,移动到ys=0的那个阶梯直角 2021-01-21 机器学习
机器学习基石CH10:Logistic Regression CH10:Logistic RegressionLogistic Regression Problem(逻辑回归)我先我们看两个例子,看一看 他们的不同: 根据一些指标来预策是否会有心脏病, 很明显是一个分类的问题,我们关心的是错误率为多少。 再看看看这个问题,求心脏病出现的可能性。 这不在是一个简单的二元分类问题,而是需要给出概率,我们称之为: soft binary classificat 2021-01-20 机器学习
机器学习基石CH9:Linear Regression CH9: Linear RegressionLinear Regression Problem(线性回归)首先我们要知道线性回归要反映在一个具体的实数上才可以做回归,因此我们要把数据通过某种方式整合成实数。 加权计算一个分数是一种方法: $W^T$ 是权重 ,$x$是顾客的信息,这样算出来一个加权的分数。 所以: 我们的hypothesis对于二维时,即我们找了一个$f(x)$,作为计算 2021-01-18 机器学习
《线性代数及其应用》CH2:矩阵代数 [toc] 第二章 矩阵代数2.1 矩阵运算对角矩阵,零矩阵定义: 矩阵与标量的乘法: 一些矩阵乘法的相关性质: 矩阵转置: 转置的相关性质: 前三个很简单,最后一个证明从定义入手: 2.2 矩阵的逆矩阵可逆: 不可逆矩阵 = 奇异矩阵 可逆矩阵 = 废弃及矩阵 判断矩阵是否可逆: 方程唯一解 与 矩阵可逆: c.证明: 初等变换 的等价: 对于一个单位矩阵$I$, 2021-01-17 线性代数
机器学习基石CH8:Noise and Error CH8: Noise and Error[toc] Noise and Probabilistic Target我们之前对于机器学习的流程如下图: 那么在加上noise后是否会影响机器学习呢? 原来的瓶子里抽弹珠是确定的,即输入x,出来就是f(x) : 现在出来可能有一些不是f(x)了,即出现了噪声: 但是这并不影响我们估计一个。 那么: VC Bound依然适用。 我们以前的机器学习 2021-01-16 机器学习
机器学习基石CH7:The VC Dimension CH7: The VC DimensionDefinition of VC Dimension 上述推导就是VC bound带入了$m_H(N)$的范围。 因此我们需要什么可以使得$E{out}$和$E{in}$近似呢? 一个好的$H$,也就是growth function要有break point ,即$m_H(N)$在k处break 一个好的$D$, 也就是说N要足够大 要想可以机器学 2021-01-15 机器学习