去年读了机器学习大拿Pedro Domingos的文章“A Few Useful Things to Know About Machine Learning”，当时的有些地方不是很理解。今天读了刘知远老师发表在中国计算机学会通讯题为《机器学习那些事》的翻译后，对Domingos的文章有了更深入的理解，自我感觉比较重要的几点如下：

（1）过拟合并不是噪声引起的，但是噪声会加剧过拟合。

（2）对奥坎姆剃刀法则的理解应该是，并不是因为简单模型能够带来精度的增加，而是简单本身就是我们选择模型的一种偏好；

（3）可表示并不意味着可学习，所以三层BP神经网络能够实现对任意非线性函数进行逼近，并不意味所有任务都可以用神经网络来学习；

（4) 将泛化作为目标给机器学习带来一个有趣的结果。 与其他大部分优化问题不同， 机器学习无法获得希望优化的那个函数！另一个意思就是， 一些算法的目标函数和任务的目标不同，但是仍然可能有比较好的效果；