??极大似然估计，我们也把它叫做最大似然估计(Maximum Likelihood Estimation)，英文简称MLE。它是机器学习中常用的一种参数估计方法。它提供了一种给定观测数据来评估模型参数的方法。也就是模型已知，参数未定。
??在我们正式讲解极大似然估计之前，我们先简单回顾以下两个概念：
??连续型随机变量的概率密度函数(pdf)是一个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是一个区间的概率)。给个最简单的概率密度函数的例子，均匀分布密度函数。
对于一个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:
其图像为：
其中横轴为随机变量的取值，纵轴为概率密度函数的值。
也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。这个函数虽然不是完全连续的函数，但是它可以积分。而随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。
Tips:
??官方一点解释似然函数是，它是一种关于统计模型中的参数的函数，表示模型参数的似然性(likelyhood)。 相信看着这句话的同志们都挺懵的，这是在说什么鬼话，啥叫关于参数的函数？？啥叫似然性？？
咱们这就来解释：
“似然性”它 与 ("或然性"或 “概率性”或”概率“)意思相近，都是指事件发生的可能性。但是 似然性 和 概率 在统计学中还是有明确的区分。
按照上面的说法，其实我们很容易联想到的就是条件概率。我们也可以将似然函数理解为条件概率的逆反。
在已知某个参数B时，事情A会发生的概率为
又贝叶斯定理可得
我们可以反过来构造来表示似然性的方法：已知有事情A发生，运用似然函数 \(L(B|A)\)，我们估计参数B的不同值的可能性。形式上，似然函数也是一种条件概率函数，但是我们关注的变量改变了
注意： 这里并不要求似然函数满足归一性：即
（在1.3的例子中会作出解释）
一个似然函数乘以一个正的常数之后仍然是似然函数。对所有的\(\alpha>0\)，都可以有似然函数：
其中，\(\alpha = \frac{P(B)}{P(A)}\)
??以经典的投掷硬币试验为例子。已知掷出一枚硬币，正面朝上和反面朝上的概率相同，正面向上概率为\(p_{H}\)。比如说，连续扔两次都是正面向上的概率是0.25,如果我们用条件概率表示就是：
显然，如果\(p_{H}=0.6\)的话，我们看到两个正面的机会比较高。而根据试验我们已经知道三次实验中，确切的是有两枚硬币正面向上。虽然我们不知道实际上\(p_{H}\)的值具体是多少，可能是0.62 or 0.58 等等，但是我们至少知道 \(p_{H}\)是0.6的可能性比是0.5的可能性还要高。因此我们合理的估计 \(p_{H}\)比较可能是0.6而不是0.5。
因此，我们进一步理解了似然性的概念：
似然性代表某个参数为特定值的可能性。由上面例子知，在观察到事件A的情况下，参数\(p_{H}\)在不同值的可能性或似然性为：
所以当我们投掷硬币三次，其中两次是正面，则\(p_{H}=0.5\)的似然性是\(L(p_{H}=0.5|A) = P(A|p_{H}=0.5) = 0.375\)。而\(p_{H}=0.6\)的似然性是\(L(p_{H}=0.6|A) = P(A|p_{H}=0.6) = 0.432\)。注意，\(L(p_{H}=0.5|A) = 0.375\)并不是说已知A发生了，则\(p_{H}为0.5\)的概率是0.375。似然性和概率具有不同的意义，上面已经谈过。 如果单独看0.375和0.432数字是没有意义的。因为似然性并不是概率，也并不是介于0-1之间的，而所有可能的p_{H}的似然性加起来也不是1，所以单独看0.375或者0.432这个数字是没有意义的。似然性是把各种可能的\(p_{H}\)值放在一起去比较，来得知哪个\(p_{H}\)值的可能性比较高。而似然函数除了用于计算似然性之外，还用来了解当参数\(p_{H}\)变化时，似然性怎么变换，由此来寻找最大可能性的\(p_{H}\)的值会是多少。
由该式子可知，我们知道当\(p_{x}= \frac{2}{3}\)时，其值最大（可以通过求导来计算），也就是说最大似然性发生在了\(p_{H}= \frac{2}{3}\)。所以当我们投掷了三次硬币得到两次正面，最合理的猜测应该是 \(p_{H} = \frac{2}{3}\)。
因此，我们得出结论：
对同一个似然函数，其所代表的模型中，某项参数值具有多种可能，但如果存在一个参数值，使得概似函数值达到最大的话，那么这个值就是该项参数最为“合理”的参数值。
??最大似然估计是似然函数最初的应用。上面已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数 （一般是概率密度函数或概率质量函数），整理之后求最大值点。实际应用中一般会取似然函数的 对数 作为求最大值的函数，这样求出的最大值点和直接求最大值点得到的结果是相同的。似然函数的最大值点不一定唯一，也不一定存在。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。
??极大似然估计假设连续数据服从正态分布，虽然由于中心极限定理在样本量足够大的时候这一假设都能够满足，但当样本量过小且数据不服从正态分布时，估计误差会比较大。另一个缺点就是当样本服从的概率分布过于复杂时算法的计算也非常复杂而且耗时（可以了解一下EM算法和准极大似然估计，这两种算法都是基于简化计算的思想而发明的）
??在了解最大似然估计方法后，我们就会对机器学习的经典算法有更深的理解，朴素贝叶斯、决策树等等算法，在进行参数估计是都会使用到最大似然估计。上面有提到最大似然估计的瓶颈，但是它也有自己的优势：一致性、渐进正态性、泛函不变性。在初期学习时，我们学的是如何套用这种算法；学到深处，我们要考虑如何通过具体场景、具体问题，选择合适的算法来提高性能，这也是融会贯通的一种表现吧。
Reference：
极大似然估计-机器之心
最大似然估计-维基百科
似然函数-维基百科
