资源描述：
《机器学习面试题（卷）目》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、WORD格式可编辑1、有监督学习和无监督学习的区别有监督学习：对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预测。（LR,SVM,BP,RF,GBDT）无监督学习：对未标记的样本进行训练学习，比发现这些样本中的结构知识。(KMeans,DL)2、正则化正则化是针对过拟合而提出的，以为在求解模型最优的是一般优化最小的经验风险，现在在该经验风险上加入模型复杂度这一项（正则化项是模型参数向量的范数），并使用一个rate比率来权衡模型复杂度与以往经验风险的权重，如果模型复杂度越高，结构化的经验风险会越大，现在的目标就变为了
2、结构经验风险的最优化，可以防止模型训练过度复杂，有效的降低过拟合的风险。奥卡姆剃刀原理，能够很好的解释已知数据并且十分简单才是最好的模型。过拟合如果一味的去提高训练数据的预测能力，所选模型的复杂度往往会很高，这种现象称为过拟合。所表现的就是模型训练时候的误差很小，但在测试的时候误差很大。产生的原因过拟合原因：1.样本数据的问题。样本数量太少；抽样方法错误，抽出的样本数据不能有效足够代表业务逻辑或业务场景。比如样本符合正态分布，却按均分分布抽样，或者样本数据不能代表整体数据的分布；样本里的噪音数据干扰过大2.模型问题模型复杂度高、参数太
3、多决策树模型没有剪枝权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征.解决方法1.样本数据方面。增加样本数量，对样本进行降维，添加验证数据抽样方法要符合业务场景清洗噪声数据2.模型或训练问题控制模型复杂度，优先选择简单的模型，或者用模型融合技术。利用先验知识，添加正则项。L1正则更加容易产生稀疏解、L2正则倾向于让参数w趋向于0.4、交叉验证技术资料专业整理WORD格式可编辑不要过度训练，最优化求解时，收敛之前停止迭代。决策树模型没有剪枝权值衰减5、泛化能力泛化能力是指模型对未知数
4、据的预测能力6、生成模型和判别模型1.生成模型：由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y
5、X)作为预测的模型，即生成模型：P(Y
6、X)=P(X,Y)/P(X)。（朴素贝叶斯、Kmeans）生成模型可以还原联合概率分布p(X,Y)，并且有较快的学习收敛速度，还可以用于隐变量的学习2.判别模型：由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y
7、X)作为预测的模型，即判别模型。（k近邻、决策树、SVM）直接面对预测，往往准确率较高，直接对数据在各种程度上的抽象，所以可以简化模型7、线性分类器与非线性分类器的区别
8、以及优劣如果模型是参数的线性函数，并且存在线性分类面，那么就是线性分类器，否则不是。常见的线性分类器有：LR,贝叶斯分类，单层感知机、线性回归常见的非线性分类器：决策树、RF、GBDT、多层感知机SVM两种都有(看线性核还是高斯核)线性分类器速度快、编程方便，但是可能拟合效果不会很好非线性分类器编程复杂，但是效果拟合能力强8、特征比数据量还大时，选择什么样的分类器？线性分类器，因为维度高的时候，数据一般在维度空间里面会比较稀疏，很有可能线性可分对于维度很高的特征，你是选择线性还是非线性分类器？理由同上对于维度极低的特征，你是选择线性还
9、是非线性分类器？非线性分类器，因为低维空间可能很多特征都跑到一起了，导致线性不可分1.如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是LinearKernel的SVM2.如果Feature的数量比较小，样本数量一般，不算大也不算小，选用SVM+GaussianKernel3.如果Feature的数量比较小，而样本数量很多，需要手工添加一些feature变成第一种情况9、ill-condition病态问题训练完的模型测试样本稍作修改就会得到差别很大的结果，就是病态问题（这简直是不能用啊）技术资料专业整理WORD格式可
10、编辑10、L1和L2正则的区别，如何选择L1和L2正则http://blog.csdn.NET/xbmatrix/article/details/61624196他们都是可以防止过拟合，降低模型复杂度L1是在lossfunction后面加上模型参数的1范数（也就是
11、xi
12、）L2是在lossfunction后面加上模型参数的2范数（也就是sigma(xi^2)），注意L2范数的定义是sqrt(sigma(xi^2))，在正则项上没有添加sqrt根号是为了更加容易优化L1会产生稀疏的特征L2会产生更多地特征但是都会接近于0L1会趋向于产生
13、少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。L1在特征选择时候非常有用，而L2就只是一种规则化而已。L1求解最小角回归算法：LARS算法11、越小的参数说明模型越简单过拟合的，拟合会经过
