CS231n-CH2-损失函数/最优化/特征提取 CS231n:Computer Science损失函数和优化损失函数(Loss Function) 我们这里使用了multiclass SVM loss(hinge loss function),如果属于$y_i$类别的图像在$y_i$类得到的分数比在$j$类中得到的分数多1(这个1可以看作两类差距的一个阈值margin,毕竟如果两类如果差距不大,说明分类还是有些问题的,此时loss也 2021-04-07 计算机视觉CV
CS231n-CH1-图像分类 CS231n:Computer Science图像分类数据驱动方法 800*600*3, 其中3代表三个channels(R,G,B)。 我们可以把图像分类想成这两个大的部分: 第一个是训练部分:放进去(图像,label),训练得到模型 123def train(imgs, labels): #Machine Learning return model 第二个是预策部分:有了模型 2021-04-06 计算机视觉CV
机器学习技法CH15:Matrix Factorization CH15:Matrix FactorizationLinear Network Hypothesis 还记得Netflix推荐系统那个问题吗,他给出的数据$D$ 有两个东西,一个是$\tilde x$,代表着用户的ID,例如:1126,5566,6211 另一个是ID为$n$的人,对电影$m$的评分,我们记为$r_{nm}$。 类似于ID,血型,编程语言 这种feature都是categoric 2021-03-20 机器学习
机器学习技法CH14:Radial Basis Function Network CH14:Radial Basis Function NetworkRBF Network Hypothesis首先回忆一下Gaussian Kernel在SVM中的应用 我们在$x_n$处找$\alpha_n$ 来组合Gaussian Kernel,使得实现最大边界。 高斯核也叫径向基(Radial Basis Function,RBF)核。其中radial代表我们今天算的和距离有关,也就 2021-03-18 机器学习
机器学习技法CH13:Deep Learning CH13:Deep LearningDeep Neural Network Deep NNet特点 : 训练很难 结构复杂,很多层很难决定结构 模型效果很好 层数变多可以获得更多的实际物理意义 实际物理意义举个例子,如下 : 每一层的神经元都有他自己的物理意义,向着从简单到复杂feature的转换。 一些Deep Learning的chllenges和keys: 结构复杂 比如 2021-03-17 机器学习
机器学习技法CH12:Neural Network CH12:Neural NetworkMotivation 我们可以自由决定$w$和$\alpha$ . 首先这种aggregation操作可以做到logic operation(逻辑运算): AND运算: 我们的这种aggregation of Perceptron是很复杂度 : 上图发现,我们用足够多的perceptron就可以得到一个近似于target boundary的结果,因此它 2021-03-16 机器学习
机器学习技法CH11:Gradient-Boosted-Decision-Tree CH11:Gradient Boosted Decision TreeAdaBoost Decision Tree 我们在AdaBoost-DTree中的第二步的DTree算法中加入了权重$u^{(t)}$。 如何实现这个呢 ? 我们回想一下在bootstrap中,我们把$u_n$代表着每个数据被选到的数量。但是我们现在的DTree算法没有权重这一说,我们又想要加上权重这个概念,那怎么办呢? 我们 2021-02-28 机器学习
机器学习技法CH10:Random Forest CH10:Random ForestRandom Forest Algorithm首先回顾: random forest是两部分组成: 流程是: 首先对数据做bootstrap,处理数据 然后用处理完的数据去跑decision tree,获得很多个$g_t$ 最后uniform的合并这些树,也就是uniform的合并$g_t$ 这个算法的特点: 我们可以看到用decision tree 2021-02-25 机器学习
机器学习技法CH9:Decision Tree CH9:Decision TreeDecision Tree Hypothesis 一个decision tree的例子: $g_t(x)$:称为base hypothesis,叶子节点,一个常数,代表路径$t$的终点的常量,也就是最后做的决定。 $q_t(x)$: 称为condition, 判断$x$是否在路径$t$上。 我们可以把一棵树看成如下的样式: 那么上图这种一个节点对应着三 2021-02-22 机器学习
机器学习技法CH8:Adaptive Boosting CH8:Adaptive BoostingMotivation of Boosting我们假设一个老师教学生认苹果的场景: 其中上半部分是苹果,下半部分是其他水果。 1.首先A提出按照形状判别苹果: 那么A做对了一部分,但是蓝色方块的水果里判别犯了错误。 2.我们为了减少这些错误,我们可以把已经做对的变得小一些(表示我们减轻一些对这些图片的注意力,着重看我们犯错的地方) 我们又提出一种判别的 2021-02-22 机器学习