| 对比 | 判别式模型 | 生成式模型 | |
|---|---|---|---|
| 特点 | 寻找不同类别之间的最优分类面，反映异类数据之间的差异 | 对后验概率建模，以统计的角度表示数据的分布情况，能够反映同类数据本身的相似度 | |
| 区别（假如输入特征x,类别标签y） | 估计的是条件概率分布 `P(y | x)` | 估计的是联合概率分布 P(x,y) |
| 联系 | 由判别式模型不能得到生成式模型 | 由生成式模型可以得到判别式模型（贝叶斯公式） | |
| 优势 | (1)能清晰地分辨出多类或某一类与其他类之间的差异特征；（2）适用于较多类别的识别；（3）模型更简单 | （1）研究单类问题比判别式模型更灵活；（2）模型可以通过增强学习得到；（3）能用于数据不完整的情况。 | |
| 缺点 | 不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，没法把整个场景描述出来 | 学习和计算过程比较复杂 | |
| 性能 | 较好（因为利用了训练数据的类别标识信息） | 较差 | |
| 常见模型举例 | KNN，SVM，决策树，线性回归，LR，boosting，线性判别分析（LDA），条件随机场，感知机，传统神经网络 | 朴素贝叶斯，隐马尔科夫模型，高斯混合模型，限制玻尔兹曼机 | |
| 主要应用场景 | 图像文本分类，时间序列预测 | NLP，医疗诊断 |
总结一句话，生成模型是预测联合概率分布，判别模型则直接预测出结果。
