机器学习基石CH9：Linear Regression CH9: Linear RegressionLinear Regression Problem(线性回归)首先我们要知道线性回归要反映在一个具体的实数上才可以做回归，因此我们要把数据通过某种方式整合成实数。 加权计算一个分数是一种方法： $W^T$ 是权重 ，$x$是顾客的信息，这样算出来一个加权的分数。 所以： 我们的hypothesis对于二维时，即我们找了一个$f(x)$,作为计算 2021-01-18 机器学习
《线性代数及其应用》CH2：矩阵代数 [toc] 第二章 矩阵代数2.1 矩阵运算对角矩阵，零矩阵定义： 矩阵与标量的乘法： 一些矩阵乘法的相关性质： 矩阵转置： 转置的相关性质： 前三个很简单，最后一个证明从定义入手： 2.2 矩阵的逆矩阵可逆： 不可逆矩阵 = 奇异矩阵 可逆矩阵 = 废弃及矩阵 判断矩阵是否可逆： 方程唯一解 与 矩阵可逆： c.证明： 初等变换 的等价: 对于一个单位矩阵$I$, 2021-01-17 线性代数
机器学习基石CH8：Noise and Error CH8: Noise and Error[toc] Noise and Probabilistic Target我们之前对于机器学习的流程如下图： 那么在加上noise后是否会影响机器学习呢？ 原来的瓶子里抽弹珠是确定的，即输入x，出来就是f(x) ： 现在出来可能有一些不是f(x)了，即出现了噪声： 但是这并不影响我们估计一个。 那么： VC Bound依然适用。 我们以前的机器学习 2021-01-16 机器学习
机器学习基石CH7:The VC Dimension CH7: The VC DimensionDefinition of VC Dimension 上述推导就是VC bound带入了$m_H(N)$的范围。 因此我们需要什么可以使得$E{out}$和$E{in}$近似呢？ 一个好的$H$,也就是growth function要有break point ，即$m_H(N)$在k处break 一个好的$D$, 也就是说N要足够大 要想可以机器学 2021-01-15 机器学习
机器学习基石CH6:Theory of Generalization CH6: Theory of GeneralizationRestriction of break point还是回到上节，我们做出了以下的猜想： 我们做出了以下的猜想： 我们思考,当$break \ point = 2$的时候： 那么 N=1的时候小于break point，所以还是符合$2^N$的规律。 N=2 ,也就是break point，此时 $m_H(N)<2^N$,也就 2021-01-14 机器学习
《线性代数及其应用》CH1：线性代数中的线性方程组 [TOC] 第1章 线性代数中的线性方程组1.1 线性方程组 线性方程的解有三种情况 无解 唯一解 无穷多解 当方程组有解，我们称线性方程组是相容的。反之无解称之为不相容的。 我们称 为系数矩阵，称为增广矩阵。 解方程的方法：我们可以通过变换先变成 然后通过第三行消去第二行的$x_3$，然后用只包含$x_2$的第二行和只包含$x_3$的第三行消去第一行的$x_2$和$x_3$ 最后得到： 2021-01-13 线性代数
机器学习基石Ch5：Training VS Testing Ch5：Training VS TestingRecap and preview 回顾 上图是我们所希望做到的。 回到第四章问题：如果$M$变为无限大，怎么办呢？ 我们所想做到的： 建立一种有限的量替代M 证明M为无限时学习的可行性 这个$m_H$的选择会帮助我们更好的学习hypothesis的选择 Effective Number Of Lines 我们在以上不等式 用了union bo 2021-01-12 机器学习
机器学习基石CH4:Feasibility of Learning（学习可行性） CH4:Feasibility of Learning（学习可行性）Learning is impossible？对于有些问题，机器学习给出的答案可能并不是对的，因为样本自身可能符合多个hypothesis，对于不同的hypothesis有不同的结果，这使得结果具有不确定性。 Probability to the Rescue 我们估测一个大瓶子里的橘色圆球占比可以通过随机抓一把求橘色圆球占比来 2021-01-11 机器学习
机器学习基石CH3：Types of Learning CH3：Types of LearningLearning with Different Output Space二元分类我们成为Binary Classification 多分类问题： 回归预策分析问题： 结构学习：例如自然语言 Learning with Different Data Label监督学习/无监督学习： 半监督学习： 强化学习： Learning with Di 2020-11-26 机器学习
机器学习基石CH2：Learning to Answer Yes/No CH2：Learning to Answer Yes/NoPerceptron Hypothesis Set $x$为 顾客的特征向量， $y$为是否发卡。 $y$取值为${+1,-1}$。 最后我们得到一个假说Hypothesis $h(x)$, $sign$函数是一个符号函数，在0，=0分别取-1，1，0。$threshold$为是否发卡的阈值。 我们为了书写简单，把$threshold$ 2020-11-24 机器学习
