之前学习和数据挖掘的时候，很多都是知道这些的设计机制，对数学推导和求解过程依然是一知半解，最近看了一些机器学习算法的求解和各种优化算法，也发现了这些算法设计和公式推导背后的数学精妙之处和随处可见的最优化的影子。还是决定从最优化理论开始补起，本文主要内容如下：

 

 

 

参考文献：

 

—1.  《最优化理论与方法》 第二版 陈宝林

 

2. 泰勒级数、牛顿展开、求解根号： http://www.linuxidc.com//2012-09/71467.htm

3. 拉格朗日乘子：http://baike.baidu.com/view/2415642.htm?fr=aladdin

4. 深入理解拉格朗日乘子和KKT法：http://blog.csdn/xianlingmao/article/details/7919597

5. 拉格朗日对偶： http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495689.html

6. 牛顿法和梯度下降法：http://blog.csdn/luoleicn/article/details/6527049

7. 共轭梯度法： http://baike.baidu.com/view/2565822.htm?fr=aladdin

8. —拉格朗日乘子与KKT条件：

9.  无约束最优化方法 ：http://www.cnblogs.com/zhangchaoyang/articles/2600491.html

10. 梯度下降法与非线性规划求解