统计计算

挑战最快 SVM！ReHLine 算法诞生记

挑战最快 SVM！ReHLine 算法诞生记

邱怡轩 / 2023-12-22

本文由邱怡轩主笔，内容素材源自邱怡轩和戴奔共同讨论的结果。 […] 武林至尊，宝刀屠龙。长久以来，机器学习江湖中一直流传着两件神器——LibSVM 和 Liblinear，它们都是用来求解支持向量机（SVM）问题的，且都是由台湾大学的林智仁教授及其团队开发和维护。两者的不同在于，LibSVM 支持各类基于核函数的 SVM，而 Liblinear 只能计算线性 SVM。但从计算效率上来……

推荐文章

“支持向量机系列” 的番外篇二: Kernel II

“支持向量机系列” 的番外篇二: Kernel II

张驰原 / 2014-05-08

原文链接请点击这里在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况，那里用到的方法就是通过一个非线性映射 $\phi(\cdot)$ 将原始数据进行映射，使得原来的非线性问题在映射之后的空间中变成线性的问题。然后我们利用核函数来简化计算，使得这样的方法在实际中变得可行。不过，从线性到非线性的推广我们并没有把 SVM 的式子从头推导一遍，而只是直接把最终……

推荐文章

“支持向量机系列” 的番外篇一: Duality

“支持向量机系列” 的番外篇一: Duality

张驰原 / 2014-03-19

原文链接请点击这里在之前关于 support vector 的推导中，我们提到了 dual，这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题，而是对于所有带约束的优化问题都适用的，是优化理论中的一个重要部分。简单来说，对于任意一个带约束的优化都可以写成这样的形式： $$ \begin{aligned} \min&f_0(x) \\ s.t. &f_i(x)\leq……

推荐文章

支持向量机系列五：Numerical Optimization

支持向量机系列五：Numerical Optimization

张驰原 / 2014-03-06

原文链接请点击这里作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别是牵涉到实现细节的时候，干巴巴地讲算法不太好玩，有时候讲出来每个人实现得结果还不一样，提一下方法，再结合实际的实现代码的话，应该会更加明……

推荐文章

支持向量机系列四：Outliers

支持向量机系列四：Outliers

张驰原 / 2014-02-22

原文链接请点击这里在最开始讨论支持向量机的时候，我们就假定，数据是线性可分的，亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据，使用 Kernel 方法对原来的线性 SVM 进行了推广，使得非线性的的情况也能处理。虽然通过映射 \(\phi(\cdot)\) 将原始数据映射到高维空间之后，能够线性分隔的概率大大增加，但是对于某些情况还是很难处理。例如可能并不是因为数据本身是非线……

推荐文章

支持向量机系列三：Kernel

支持向量机系列三：Kernel

张驰原 / 2014-02-17

原文链接请点击这里前面我们介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。例如图中的两类数据，分别分布为两个圆圈的形状，不论是任何高级的分类器，只要它是线性的，就没法处理，SVM 也不行。因为这样的数据本身就是线性不可分的。对于这个数据集，我可以悄悄透露一下：我生成它的时候就是用两个半径不同的圆圈加……

推荐文章

支持向量机系列二: Support Vector

支持向量机系列二: Support Vector

张驰原 / 2014-01-25

原文链接请点击这里上一次介绍支持向量机，结果说到 Maximum Margin Classifier ，到最后都没有说 “支持向量” 到底是什么东西。不妨回忆一下上次最后一张图：可以看到两个支撑着中间的 gap 的超平面，它们到中间的 separating hyper plane 的距离相等（想想看：为什么一定是相等的？），即我们所能得到的最大的 geometrical margin……

推荐文章

支持向量机系列一: Maximum Margin Classifier

支持向量机系列一: Maximum Margin Classifier

张驰原 / 2014-01-23

原文链接请点击这里支持向量机即 Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起，然后再做成一个 Machine ，一听就很玄了！不过后来我才知道，原来 SVM 它并不是一头机器，而是一种算法，或者，确切地说，是一类算法，当然，这样抠字眼的……