Python3入门机器学习

3.1 简单线性回归

1.线性回归算法的优点：

• 解决回归问题
• 思想简单，实现容易
• 许多强大的非线性模型的基础
• 结果具有很好的可解释性
• 蕴含机器学习中的很多重要思想

2.什么是线性回归算法？

寻找一条直线，最大程度的“拟合”样本特征和样本输出标记之间的关系。其中，房屋面积为样本特征，价格为输出标记。
样本特征只有一个，称为：简单线性回归。以上就是简单线性回归。
样本特征有多个称为多元线性回归。

3.一类机器学习算法的基本思路：

以上的过程就是一类机器学习算法的基本思路。找到某一些参数值使得某一个函数尽可能的小，这是典型的一种机器学习算法的推导思路。换句话说，我们所谓的建模的过程其实就是找到一个模型最大程度的拟合我们的数据。在线性回归算法中，这个模型就是一个直线方程。
所谓的最大拟合我们的数据，其实本质是找到这样一个函数。我们称这个函数叫做损失函数（loss function），也就是说度量出我们的模型没有拟合住我们的样本的这一部分，也就是损失的那一部分。但是在有的算法中，度量的是拟合的程度，在这个情况下称这个函数为效用函数（utility function）。
机器学习就是通过分析问题，确定问题的损失函数或者效用函数，以上两种函数统称为目标函数。通过最优化损失函数或者效用函数，获得机器学习的模型。对于损失函数，我们希望它尽可能的小，而对于效用函数我们希望它尽可能的大。
近乎所有参数学习算法都是这样的套路。很多算法都是如此，比如线性回归、多项式回归、逻辑回归、SVM、神经网络等。