所以线性回归的概率密度函数为：
则似然函数为：
上面假设过每条记录误差都是独立同分布的，所以数据集的联合密度为：
按照惯例直接求解似然函数比较麻烦所以求解对数似然函数：
然后求L关于w的偏导数，令其等于0求拐点
：
把式子转为向量形式：
所以
到这一步我们已经求得到了
，这与前面我们通过最小二乘法求得的矩阵方程一样，所以w也一定是我们这里求得的w正确解；
使用最大似然法求解问题的步骤为：
一、确定问题的随机变量类型是离散随机变量还是连续随机变量
二、得出问题的概率分布
三、概率函数转为似然函数
四、似然函数取对数
五、求关于某变量的偏导数
六、解似然方程
参考资料：
http://zh.wikipedia.org/zh-hans/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0
a first course in machine learning