文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！

\

1、讲一下改进的tf-idf

TF-IDF中的IDF是一种试图抑制噪声的加权，单纯的以为文本频率小的单词就越重要，文本频率越大的单词就越无用，这一方式会在同类语料库中存在巨大弊端，一些同类文本的关键词容易被掩盖。例如：语料库 D 中教育类文章偏多，而文本 j 是一篇属于教育类的文化在那个，那么教育类相关词语的IDF值就会较小，使提取本文关键词的召回率更低。

改进方法： TF−IWF (Term Frequency-Inverse Word Frequency)

\

2、讲一下k-means与谱聚类

聚类算法属于无监督的机器学习算法，即没有类别标签y，需要根据数据特征将相似的数据分为一组。K-means聚类算法即随机选取k个点作为聚类中心，计算其他点与中心点的距离，选择距离最近的中心并归类，归类完成后计算每类的新中心点，重新计算每个点与中心点的聚类并选择距离最近的归类，重复此过程，直到中心点不再变化。

谱聚类的思想是将样本看作顶点，样本间的相似度看作带权的边，从而将聚类问题转为图分割问题：找到一种图分割的方法使得连接不同组的边的权重尽可能低（这意味着组间相似度要尽可能低），组内的边的权重尽可能高（这意味着组内相似度要尽可能高），从而达到聚类的目的。

\

3、蒸馏的思想，为什么要蒸馏？

知识蒸馏就是将已经训练好的模型包含的知识，蒸馏到另一个模型中去。具体来说，知识蒸馏，可以将一个网络的知识转移到另一个网络，两个网络可以是同构或者异构。做法是先训练一个teacher网络，然后使用这个teacher网络的输出和数据的真实标签去训练student网络。

在训练过程中，我们需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到。而大模型不方便部署到服务中去，常见的瓶颈如下:

  • 推断速度慢
  • 对部署资源要求高(内存，显存等)，在部署时，我们对延迟以及计算资源都有着严格的限制。

因此，模型压缩（在保证性能的前提下减少模型的参数量）成为了一个重要的问题。而”模型蒸馏“属于模型压缩的一种方法。

\

4、有哪些蒸馏方式? 蒸馏中的学生模型是？

以Bert模型举例：

Logit Distillation

Beyond Logit Distillation：TinyBert

Curriculum Distillation：

Dynamic Early Exit：FastBert。

\

评论区回复 “121”，七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》，免费送！

持续无限期更新大厂最新面试题，AI干货资料，目前干货组汇总了今年3月-6月份，各大厂面试题。

除此之外，小编还给大家带来一个福利！现在扫描下方二维码，即可限时免费试听第十四期「机器学习集训营」课程！

迄今为止，专为就业或转行AI量身定做的「机器学习集训营」已经举办了十四期。每一期都涌现出了很多offer，或应届研究生高薪就业，或从Java等传统IT行业成功转型AI…

第十五期在前十四期的基础上，继续维持着：

  • 第一： 直播教学面试辅导就业推荐并重，且提供CPU和GPU双云