机器学习技法CH11：Gradient-Boosted-Decision-Tree CH11：Gradient Boosted Decision TreeAdaBoost Decision Tree 我们在AdaBoost-DTree中的第二步的DTree算法中加入了权重$u^{(t)}$。 如何实现这个呢 ？ 我们回想一下在bootstrap中，我们把$u_n$代表着每个数据被选到的数量。但是我们现在的DTree算法没有权重这一说，我们又想要加上权重这个概念，那怎么办呢？ 我们 2021-02-28 机器学习
机器学习技法CH10：Random Forest CH10：Random ForestRandom Forest Algorithm首先回顾： random forest是两部分组成： 流程是： 首先对数据做bootstrap，处理数据 然后用处理完的数据去跑decision tree，获得很多个$g_t$ 最后uniform的合并这些树，也就是uniform的合并$g_t$ 这个算法的特点： 我们可以看到用decision tree 2021-02-25 机器学习
机器学习技法CH9：Decision Tree CH9：Decision TreeDecision Tree Hypothesis 一个decision tree的例子： $g_t(x)$：称为base hypothesis，叶子节点，一个常数，代表路径$t$的终点的常量，也就是最后做的决定。 $q_t(x)$: 称为condition， 判断$x$是否在路径$t$上。 我们可以把一棵树看成如下的样式： 那么上图这种一个节点对应着三 2021-02-22 机器学习
机器学习技法CH8：Adaptive Boosting CH8：Adaptive BoostingMotivation of Boosting我们假设一个老师教学生认苹果的场景： 其中上半部分是苹果，下半部分是其他水果。 1.首先A提出按照形状判别苹果： 那么A做对了一部分，但是蓝色方块的水果里判别犯了错误。 2.我们为了减少这些错误，我们可以把已经做对的变得小一些(表示我们减轻一些对这些图片的注意力，着重看我们犯错的地方) 我们又提出一种判别的 2021-02-22 机器学习
机器学习技法CH7：Blending and Bagging CH7：Blending and BaggingMotivation of Aggregation现在有这样一个问题：有15个人来指导我买股票，我怎么选则是否买呢？ 首先是最直观的 ：选择一个以前买股票表现最好的的，也就是在做validation时最好的那一个： 让他们投票说明股票是否会涨，每个人一票： 由于一些人水平会高一些，每个人的票数不应该一样： 这里面是包含了以上两种的选择方式 2021-02-20 机器学习
机器学习技法CH6：Support Vector Regression CH6：Support Vector RegressionKernel Ridge Regression 如上一节所说，我们可以把最优解的$w_*$看作$z_n$的线性组合 因此我们可以解最优的$\beta$即可求出$w_*$. 这部分我们怎么求来的呢？ 首先第一部分： 我们可以化为矩阵的形式来表达这个式子：$\beta K\beta$, 其中$\beta$是一个$1N$矩阵，$K$是一个$ 2021-02-18 机器学习
机器学习技法CH5：Kernel Logistic Regression CH5：Kernel Logistic RegressionSoft-Margin SVM as Regularzied 当$(x_n,y_n)$越过边界时，错误就是$1-y_n(w^Tz_n+b)$,当$(x_n,y_n)$没有越过边界时，说明他是正确的没有错误，即$\xi=0$,那么我们综上所述：可以把$\xi$换成另一种写法：$max(1-y_n(w^Tz_n+b),0)$ 此时我们的SVM 2021-02-17 机器学习
机器学习技法Quiz1(homework+code) QUIZ 1:Q1 Q2 12345678910111213141516171819202122from cvxopt import solvers, matriximport numpy as npimport matplotlib.pyplot as pltdef z1(x1,x2): return x2**2 - 2*x1 + 3def z2(x1,x2): return x1* 2021-02-10 机器学习
机器学习技法CH4：Soft-Margin Support Vector Machine CH4：Soft-Margin Support Vector MachineMotivation and Primal 我们不能一直追求全部正确，数据也不一定可分。 在pocket中我们选择容忍一些错误： 因此我们让SVM上min的目标不仅包含$\frac{1}{2}w^Tw$ ,也包括错误的数量，这个C代表着这两者的权衡，如果你不在意多错一点，想要使得$\frac{1}{2}w^T 2021-02-07 机器学习
机器学习技法CH3：Kernel-Support-Vector-Machine CH3：Kernel Support Vector MachineKernel Trick回顾上节的内容： 我们看似Dual SVM已经与$\tilde{d}$无关了，可是在计算时我们会发现$q_{n,m}=y_my_mz_n^Tz_m$这个式子中的$z$却包含了$\tilde{d}$, 如果这个$\tilde{d}$非常大，我们算的还是非常慢。 我们想做的是这一步，做得快一点： $\phi$ 2021-02-05 机器学习
