统计学习理论（ Statistical Learning Theory ， SLT ）是一种专门研究有限样本情况下的统计理论 。该理论针对有限样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。 V. Vapnik 等人从 20 世纪 70 年代开始致力于此方面研究，到 20 世纪 90 年代中期，随着其理论的不断发展和成熟，也由于神经网络等方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。 同时，在统计学习理论基础上发展了一种新的通用预测方法支持向量机（ Support Vector Machines ， SVM ），已初步表现出很多优于已有方法的性能 ，它能将很多现有方法（比如多项式逼近、径向基函数方法、多层感知器网络）纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极值问题等）。 SLT 和 SVM 正在成为继神经网络研究之后新的研究热点，并将推动数据挖掘与机器学习理论和技术的重大发展 。 参考文献： 1. V. Vapnik. The nature of statistical learning theory. Springer-Verlag, 1995. 2. V. Vapnik. Statistical learning theory. John Wiley and Sons, Inc., 1998. 3. B. E. Boser, I. Guyon, V. Vapnik. A training algorithm for optimal margin classifiers. In: D. Haussler, Editor, Proceedings of the Fifth Annual ACM Workshop of Computational Learning Theory, 144-152, ACM Press, 1992. 4. C. Cortes, V. Vapnik. Support-vector networks. Machine Learning, 1995, 20, 273-297 5. J. C. Burges. A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 1998, 2(2), 121-167
标签: 统计学习理论
